自动驾驶车道线检测系列-3D-LaneNet：端对端三维多车道检测-3.D-LaneNet

我们的方法以安装在车辆上的前置摄像头拍摄的单张图像作为输入，如图3所示。我们假设已知相机的内部参数 $\kappa$（例如焦距、投影中心）。我们还假设相机相对于局部地平面安装时的滚转角度为零度。由于车辆动态变化，我们不假设已知的相机高度和俯仰角。道路场景中的车道可以通过每条车道的中心线集合 $C_i{i=1}^{N_C}$ 和车道分界线集合 $D_i{i=1}^{N_D}$ 描述，如图5所示。每个这样的车道实体（中心线或分界线）都是用相机坐标系（$C_{\text{camera}}$）表示的3D曲线。任务是根据图像检测车道中心线和/或车道分界线的集合。

3.1 俯视图投影

我们简要回顾一下逆透视映射（IPM）。简而言之，IPM是一种单应性变换，将前视图图像扭曲为虚拟俯视图图像，如图1左上角图像所示。它相当于应用相机旋转单应性（视图向下旋转）然后进行各向异性缩放【11】。在我们的实现中，我们希望确保俯视图图像中的每个像素对应于道路上的预定义位置，而不依赖于相机的内部参数及其相对于道路的姿态。

见图3以了解以下定义的示意图。相机坐标 $C_{\text{camera}}=(\tilde{x},\tilde{y},\tilde{z})$ 设置为 $\tilde{y}$ 是相机的观看方向。设 $P_{\text{road}}$ 为局部道路表面的切平面。我们定义道路坐标 $C_{\text{road}}=(x,y,z)$ 如下：$z$ 方向为 $P_{\text{road}}$ 的法线方向，$y$ 为 $\tilde{y}$ 在 $P_{\text{road}}$ 上的投影，原点为相机中心在 $P_{\text{road}}$ 上的投影。设 $T_{c2r}$ 为 $C_{\text{camera}}$ 和 $C_{\text{road}}$ 之间的6*度（3D平移和3D旋转）变换。由于我们假设相机滚转为零度，$T_{c2r}$ 由相机俯仰角 $\theta$ 和其高度 $h_{\text{cam}}$ 确定。单应性变换 $H_{r2i}:P^2\mapsto P^2$ ，将 $P_{\text{road}}$ 上的每个点映射到图像平面坐标，由 $T_{c2r}$ 和 $\kappa$ 确定（见【11】，第8.1.1节）。最后，IPM 由 $H_{r2i}$ 使用一组固定参数 $IP{M}_{Params}$ 确定俯视图区域边界并从米到像素进行各向异性缩放获得。俯视图图像使用由采样网格 $S_{IPM}$ 定义的双线性插值生成。

3.2 网络结构

3D-LaneNet的概览如图4所示。信息在两个并行流或路径中处理：图像视图路径和俯视图路径。我们称之为双路径主干。图像视图路径处理并保留图像中的信息，而俯视图路径提供具有平移不变性的特征，用于预测3D车道检测输出。图像视图路径的架构基于VGG16【31】，而俯视图路径则结构相似。信息通过四个投影变换层流向俯视图路径。

3.2.1 投影变换层

我们架构中的一个主要构建块是图4中标记为蓝色的投影变换层。这个层是空间变换模块【14】的一种特定实现，具有轻微的变化。它通过对输入特征图进行可微分采样，将其空间对应于图像平面，输出特征图空间对应于场景的虚拟俯视图，同时保留通道数。可微分采样通过如第3.1节所述的网格生成，使用由道路投影预测分支预测的IPM实现。除了第一组投影特征图外，其余的投影特征图与来自俯视图路径的下游特征图连接。随后的神经元在连接的特征图上操作，结合了车道检测的以下两个理想特性。首先，在俯视图平面上的平移不变性。这很有价值，因为在俯视图中，车道在整个空间中具有相似的外观和几何形状。其次，保留双信息上下文——在图像和俯视图中。附加的图像视图上下文编码了俯视图中不存在的信息，如围栏、天际线和树木，这对于解读场景的3D结构至关重要。特别是，在远距离，图像视图上下文在视觉信息上更为丰富，并且相比于俯视图，表示了一个实际面积更大的区域。

3.2.2 投影变换层

我们架构中的一个主要构建块是图4中标记为蓝色的投影变换层。这个层是空间变换模块【14】的一种特定实现，具有轻微的变化。它通过对输入特征图进行可微分采样，将其空间对应于图像平面，输出特征图空间对应于场景的虚拟俯视图，同时保留通道数。可微分采样通过如第3.1节所述的网格生成，使用由道路投影预测分支预测的IPM实现。除了第一组投影特征图外，其余的投影特征图与来自俯视图路径的下游特征图连接。随后的神经元在连接的特征图上操作，结合了车道检测的以下两个理想特性。首先，在俯视图平面上的平移不变性。这很有价值，因为在俯视图中，车道在整个空间中具有相似的外观和几何形状。其次，保留双信息上下文——在图像和俯视图中。附加的图像视图上下文编码了俯视图中不存在的信息，如围栏、天际线和树木，这对于解读场景的3D结构至关重要。特别是，在远距离，图像视图上下文在视觉信息上更为丰富，并且相比于俯视图，表示了一个实际面积更大的区域。

3.2.3 道路投影预测分支

图像视图路径网络的第一个中间输出是对“道路投影平面” $P_{\text{road}}$ 的估计。本质上，这个分支预测了相机（$C_{\text{camera}}$）到道路（$C_{\text{road}}$）的变换 $T_{c2r}$。它是以监督方式训练的。$T_{c2r}$ 确定了俯视图的单应性 $H_{r2i}$ 和采样网格 $S_{\text{IPM}}$，如第3.1节所解释的，因此需要用于俯视图路径的前向传播步骤。在推理时，它还用于将网络输出从 $C_{\text{road}}$ 转换回 $C_{\text{camera}}$。如第3.1节所述，在我们的情况下，$T_{c2r}$ 由相机高度 $h_{\text{cam}}$ 和俯仰角 $\theta$ 确定，因此这是这个分支的两个输出。

3.3 车道预测头

在我们端到端方法的核心是基于锚点的车道表示。受目标检测的启发，我们使用锚点定义车道候选，并使用精细的几何表示来描述每个锚点的精确3D车道形状。输出坐标系是由 $h_{\text{cam}}$ 和 $\theta$ 确定的 $C_{\text{road}}$ 的估计。我们的锚点对应于该坐标系中的纵向线，并且精细的车道几何形状对应于相应锚点的3D点。如图5所示，我们通过在 $x$ 位置等间距的垂直（纵向）线 $X_i^A,i=1,\dots ,N$ 定义锚点。每个锚点 $X_i^A$ 的3D车道由2个$K$个输出神经元激活 $n_{x_i,z_i}=(\tilde{x}ij,\tilde{z}ij){j=1}^K$ 表示，这些激活与预定义的 $K$ 个 $y$ 位置（$y=y_j{j=1}^K$）的固定向量一起定义了一组3D车道点。值 $\tilde{x}ij$ 是相对于锚点位置 $X_i^A$ 的水平偏移量。也就是说，输出 $(\tilde{x}ij+X_i^A,y_j,\tilde{z}ij)\in {\mathbb{R}}^3$ 在 $C\text{road}$ 坐标中表示一个点。此外，对于每个锚点 $i$，我们输出一个置信度 $p_i$ 表示与该锚点相关的车道。我们使用预定义的纵向坐标 $Y_{\text{ref}}$ 进行关联。与车道相关的锚点 $X_i^A$ 是最接近 $y=Y_{\text{ref}}$ 处车道 $x$ 坐标的锚点。

每个锚点，网络输出多达三种类型（$t$）的车道描述符（置信度和几何形状），前两种（$c_1,c_2$）代表车道中心线，第三种类型（$d$）代表车道分界线。为每个锚点分配两个可能的中心线使网络支持合并和分离，这常常导致两个车道的中心线在 $Y_{\text{ref}}$ 处重合并在不同的道路位置分开，如图5最右侧示例所示。相比于中心线，车道分界线的拓扑通常更复杂，我们的表示不能捕获所有情况（例如车道分界线不穿过 $y=Y_{\text{ref}}$ 的情况如图5）。3D-LaneNet的预测头设计用于生成所描述的输出。通过一系列在 $y$ 维度无填充的卷积，特征图被减少，最终预测层的大小为 $3\cdot (2\cdot K+1)\times 1\times N$，使得每列 $i\in 1\dots N$ 对应于单个锚点 $X_i^A$。对于每个锚点 $X_i^A$ 和类型 $t\in c_1,c_2,d$，网络输出表示为 $y_{x_{i}t,z_{i}t,p_{i}t}$。最终预测执行了一维非极大值抑制，这在目标检测中很常见：只保留在置信度上局部最大（与左右相邻锚点比较）的车道。每个剩余的车道由少量（$K$）个3D点表示，并使用样条插值转换为平滑曲线。

3.4 训练和真实值关联

给定一个图像示例及其对应的3D车道曲线 $C_i{i=1}^{N_C}$（中心线）和 $D_i{i=1}^{N_D}$（分界线），训练过程如下进行。首先，使用已知的俯仰角（$\hat{\theta }$）和相机高度（$\hat{h}\text{cam}$），为局部道路切平面定义真实值（GT）坐标系 $C\text{road}$，如第3.1节所述。接下来，每条车道曲线投影到 $C_{\text{road}}$ 的 $xy$ 平面，并与 $Y_{\text{ref}}$ 处最接近的锚点相关联。最左边的车道分界线和与锚点相关联的最左边中心线被分配给该锚点的输出类型 $c1$ 和 $d$。如果还有另一条中心线与同一个锚点相关联，则它被分配给输出类型 $c2$。这种分配以与输出相同的格式定义了每个示例的GT：每个锚点 $X_i^A$ 和类型 $t$ 的关联GT表示为 $\hat{y}{x}_{i}t,\hat{z}it,\hat{p}it$，其中 $\hat{p}it$ 是锚点/类型分配指示符，以及 $C_{\text{road}}$ 中的坐标。

无论是在训练时还是在评估时，如果整个车道没有穿过有效俯视图图像边界内的 $Y_{\text{ref}}$，则忽略整个车道；如果车道点被地形遮挡（即在山顶之后），则忽略这些车道点。网络的整体损失函数如公式1所示。它结合了三个等权重的损失项：车道检测（交叉熵损失）、车道几何和道路平面估计（L1损失）。