自动驾驶：激光雷达三维传感器点云数据和二维图像数据的融合注释--三维到二维的投影

硬件

我们从Motional提供的最全面的开源数据集开始：nuScenes数据集。它包括六个摄像头，前面三个，后面三个。捕获频率为12 Hz。像素分辨率为1600x900。图像编码为每个像素一个字节，为jpeg。相机数据以每个相机镜头1.7MB / s的速度生成。一个激光雷达被放置在汽车顶部。激光雷达的捕获频率为20 Hz。它具有32个通道（光束）。它的垂直视场为-30度到+10度。它的范围是100米。其精度为2厘米。它每秒可以收集多达140万个点。输出格式为.pcd。激光雷达的输出数据速率为26.7MB / s（20byte * 1400000）。

数据集页面：https：//www.nuscenes.org/overview

论文URL：https://arxiv.org/pdf/1903.11027.pdf

Devkit网址：https：//github.com/nutonomy/nuscenes-devkit

参考系和坐标系

为了使传感器同步，必须定义一个世界（全局）坐标系。每个传感器仪器都有自己的参考系和坐标系。

激光雷达拥有自己的参考系和坐标系L1，

每个摄像机都有自己的参考系和坐标系C1，C2，C3，C4，C5，C6。IMU具有自己的参考系和坐标系I1。

为了此处的讨论目的，自主车辆参照系与激光雷达参照系相同。

定义世界参考系和坐标系

世界参考系(W1)是全局参考系。例如，可以选择激光雷达的第一帧作为世界坐标系的中心(0,0,0)。随后，激光雷达的每一帧图像将被转换回世界坐标系统。摄像机矩阵M1, M2, M3, M4, M5, M6将从每个摄像机坐标系统C1, C2, C3, C4, C5, C6转换回世界坐标系统W1。

将3D点云数据转换为世界坐标系

通过与自我框架平移和旋转矩阵相乘，激光雷达参考系（L1）中的每个框架都将转换回世界坐标系。

从世界坐标系转换为相机坐标系

下一步是通过与摄影机旋转和平移矩阵相乘，将数据从世界参照系转换为摄影机参照系。

从3D相机坐标系转换为2D相机框

一旦数据进入相机参考框架，就需要将其从3D相机参考框架投影到2D相机传感器平面。这是通过与相机固有矩阵相乘来实现的。

结果：准确的标注

激光雷达点云数据和相机数据的融合使注释者可以利用视觉信息和深度信息来创建更准确的标注