In One Post | 利用全景/鱼眼摄像头实现低速自动驾驶的近场传感（识别+重构+定位+工程）（上） - 近场传感系统介绍

自动停车系统

自动停车系统是短距离传感的主要用例之一，图4描述了一些典型的停车用例。早期商业半自动泊车系统采用超声波传感器或radar，然而，最近，全景摄像头正成为自动停车的主要传感器之一。超声波和毫米波雷达传感器用于自动停车的一个主要限制是，只能根据存在的其他障碍物来识别停车位（图5）。此外，环视相机系统允许在存在可视停车标记（如涂漆线标记）的情况下停车，同时也被视为实现代客泊车系统的关键技术。

交通拥堵辅助系统

由于大部分事故都是低速追尾碰撞，交通拥堵情况被认为是短期内可以带来好处的驾驶领域之一，尽管目前的系统可能缺乏鲁棒性。在自动交通拥堵辅助系统中，车辆在交通拥堵情况下控制纵向和横向位置（图6）。此功能通常用于低速环境，最高速度为∼60kph，但建议更低的最高速度为40kph。虽然交通拥堵援助通常考虑高速公路场景，但已经对城市交通拥堵救援系统进行了调查。鉴于此应用的低速特性，全景摄像头是理想的传感器，尤其是在城市环境中，例如，行人可以尝试从传统前向摄像头或radar系统视野之外的区域穿过。图7显示了使用全景相机进行交通堵塞辅助的示例。除了检测其他道路使用者和标记外，深度估计和SLAM等特征对于推断到物体的距离和控制车辆位置也很重要。

低速制动

一项研究表明，自动后向制动显著降低了碰撞索赔率，配备后摄像头、驻车辅助和自动制动的车辆报告碰撞减少了78%。全景相机系统对于低速制动非常有用，因为深度估计和目标检测的组合是实现此功能的基础。

鱼眼相机

鱼眼相机为自动驾驶应用提供了明显的优势，由于视野极广，可以用最少的传感器观察车辆的整个周围。通常，360°范围只需要四个摄像头覆盖。然而，考虑到更为复杂的投影几何体，这一优势带来了成本。过去的几篇论文综述了如何建模鱼眼几何形状，例如[34]。论文不打算在此重复这一点，而是关注鱼眼相机技术的使用给自动驾驶视觉带来的问题。

在标准视场相机中，直线投影和透视的原理非常接近，具有常见的透视特性，即现实世界中的直线在图像平面上投影为直线。平行的直线组被投影为一组直线，这些直线在图像平面上的一个消失点上会聚。通过光学畸变的偏离很容易纠正。许多汽车数据集提供的图像数据消除了光学畸变，具有简单的校正方法，或几乎不可察觉的光学畸变。因此，大多数汽车视觉研究都隐含了直线投影的假设，鱼眼透视图与直线透视图有很大不同。相机场景中的一条直线被投影为鱼眼图像平面上的一条曲线，平行线集被投影为一组在两个消失点处会聚的曲线[38]。然而，失真并不是唯一的影响，图8显示了环视系统中安装在镜子上的典型摄像头的图像。在鱼眼相机中，物体图像中的方向取决于它们在图像中的位置。在本例中，左侧的车辆旋转了近90◦ 与右侧车辆相比，这对目标检测卷积方法中假定的平移不变性有影响。在标准相机中，平移不变性是可以接受的假设。然而，如图8所示，鱼眼图像并非如此，在任何计算机视觉算法设计中，必须仔细考虑如何处理这一点。

解决这些问题的自然方法是以某种方式纠正图像。可以立即放弃对单个平面图像的校正，因为首先，过多的视野必然会丢失，从而抵消鱼眼图像的优势，其次，插值和透视伪影将很快占据校正输出的主导地位。一种常见的方法是使用多平面校正，即鱼眼图像的不同部分被扭曲成不同的平面图像。例如可以定义一个立方体，并将图像扭曲到立方体的曲面上。图9显示了两个此类表面上的翘曲。即使在这里，插值和透视效果也是可见的，必须处理曲面过渡的复杂性。

另一种校正方法是考虑圆柱表面的warping ，如图10所示，在这种warping 中，圆柱轴线的配置使其垂直于地面。观察结果表明，汽车场景中的大多数感兴趣对象都位于近似水平的平面上，即路面上。因此希望保留水平视野，同时允许牺牲一些垂直视野，这带来了有趣的几何组合。

垂直是通过线性透视投影，因此场景中的垂直线在图像中投影为垂直线。图像中较远或较小的对象在视觉上类似于透视相机，甚至有人建议，通过这种变形，可以使用标准透视相机训练网络，并在鱼眼图像上直接使用它们，而无需训练[39]。然而，在水平方向上，新图像中存在失真，大型近景物体表现出强烈的失真，有时甚至比原始鱼眼图像中的失真还要大。

如图11所示，当我们处理透视相机时，当物体与相机以恒定的Z距离移动时，就会产生平移，也就是说，在与图像平面平行的平面上。然而，在圆柱形图像中，水平面上的距离必须保持不变，才能进行图像平移（对象必须绕圆柱体轴旋转）。相比之下，在原始鱼眼图像中，不清楚什么对象运动会导致图像平移。

WoodScape dataset

WoodScape全景数据集在两个不同的地理位置采集的：美国和欧洲。虽然大多数数据是从轿车中获得的，但运动型多用途车中有很大一部分数据可确保传感器机械配置的强大组合，驾驶场景分为高速公路、城市驾驶和停车用例。数据集中为所有传感器以及时间戳文件提供内部和外部校准，以实现数据同步，包括相关车辆的机械数据（例如，车轮周长、轴距）。为该数据集记录的传感器如下所示：

• 1）4x 1MPx RGB鱼眼摄像头（190◦ 水平视野）
• 2）1x激光雷达，20Hz旋转（Velodyne HDL-64E）
• 3）1x全球导航卫星系统/惯性测量装置（NovAtel Propak6和SPAN-IGM-A1）
• 4）1x带SPS的GNSS定位（Garmin 18x）
• 5）来自车辆总线的里程表信号