kitti 数据集校准文件解析
1、kitti数据采集平台
KITTI数据集的数据采集平台装配有2个灰度摄像机,2个彩色摄像机,一个Velodyne64线3D激光雷达,4个光学镜头,以及1个GPS导航系统。图示为传感器的配置平面图,为了生成双目立体图像,相同类型的摄像头相距54cm安装。由于彩色摄像机的分辨率和对比度不够好,所以还使用了两个立体灰度摄像机,它和彩色摄像机相距6cm安装。(模拟双目摄像机?)
2、kitti 激光雷达、摄像头数据融合:
要将Velodyne坐标中的点x投影到左侧的彩色图像中y:
使用公式:y = P_rect_2 * R0_rect *Tr_velo_to_cam * x
将Velodyne坐标中的点投影到右侧的彩色图像中:
使用公式:y = P_rect_3 * R0_rect *Tr_velo_to_cam * x
Tr_velo_to_cam * x :是将Velodyne坐标中的点x投影到编号为0的相机(参考相机)坐标系中
R0_rect *Tr_velo_to_cam * x :是将Velodyne坐标中的点x投影到编号为0的相机(参考相机)坐标系中,再修正
P_rect_2 * R0_rect *Tr_velo_to_cam * x :是将Velodyne坐标中的点x投影到编号为0的相机(参考相机)坐标系中,再修正,然后投影到编号为2的相机(左彩色相机)
注意:
P_rect_2 (标号为2的摄像机的内参矩阵,只和相机内部参数有关,比如焦距和光心位置)
R0_rect(相机0的矫正旋转矩阵)
Tr_velo_to_cam(点云到相机的外参矩阵)
3、kitti 提供的校正文件解析:以(2011_09_26_calib文件夹中的文件为例)文件夹中包含三个文件
(1)calib_cam_to_cam.txt(相机到相机的标定):
其中
- S_xx:1x2 矫正前的图像xx的大小
- K_xx:3x3 矫正前摄像机xx的校准矩阵
- D_xx:1x5 矫正前摄像头xx的失真向量
- R_xx:3x3 (外部)的旋转矩阵(从相机0到相机xx)
- T_xx:3x1 (外部)的平移矢量(从相机0到相机xx)
- S_rect_xx:1x2 矫正后的图像xx的大小
- R_rect_xx:3x3 纠正旋转矩阵(使图像平面共面)
- P_rect_xx:3x4 矫正后的投影矩阵 (内参矩阵,前面第一行为前面四个数据,依次三行)
(2)calib_velo_to_cam.txt
其中
- R:3x3旋转矩阵
- T:3x1平移向量
- delta_f:弃用
- delta_c:弃用
- Tr_velo_to_cam = (R | T)(点云到相机的外参矩阵3x4)
(3)calib_imu_to_velo.txt
Y = P_rect_xx * R_rect_00 * (R|T)_velo_to_cam * (R|T)_imu_to_velo * X
4、 传感器标定
(1)calib_cam_to_cam.txt (P_rect_xx)
相机的标定,即为通过某个已知的目标,求取相机内参矩阵的过程。最常用的标定目标就是棋盘格。
准备好棋盘格照片之后采用matlab 自带的tools Camera Calibrator进行标定
-
单目摄像机需要标定的参数双目都需要标定
-
双目摄像机比单目摄像机多标定的参数(R和T)主要是描述两个摄像机相对位置关系的参数,这些参数在立体校正和对极几何中用处很大
(2)calib_velo_to_cam.txt
主要是得到点云到图像的旋转平移矩阵:Tr_velo_to_cam = (R | T)
推荐阅读
-
立体视觉:合成数据集的解析和工具
-
kitti 数据集校准文件解析
-
[姿势估计] 实践记录:使用 Dlib 和 mediapipe 进行人脸姿势估计 - 本文重点介绍方法 2):方法 1:基于深度学习的方法:。 基于深度学习的方法:基于深度学习的方法利用深度学习模型,如卷积神经网络(CNN)或递归神经网络(RNN),直接从人脸图像中学习姿势估计。这些方法能够学习更复杂的特征表征,并在大规模数据集上取得优异的性能。方法二:基于二维校准信息估计三维姿态信息(计算机视觉 PnP 问题)。 特征点定位:人脸姿态估计的第一步是通过特征点定位来检测和定位人脸的关键点,如眼睛、鼻子和嘴巴。这些关键点提供了人脸的局部结构信息,可用于后续的姿势估计。 旋转表示:常见的旋转表示方法包括欧拉角和旋转矩阵。欧拉角通过三个旋转角度(通常是俯仰、偏航和滚动)描述头部的旋转姿态。旋转矩阵是一个 3x3 矩阵,表示头部从一个坐标系到另一个坐标系的变换。 三维模型重建:根据特征点的定位结果,三维人脸模型可用于姿势估计。通过将人脸的二维图像映射到三维模型上,可以估算出人脸的旋转和平移信息。这就需要建立人脸的三维模型,然后通过优化方法将模型与特征点对齐,从而获得姿势估计结果。 特征点定位 特征点定位是用于检测人脸关键部位的五官基础部分,还有其他更多的特征点表示方法,大家可以参考我上一篇文章中介绍的特征点检测方案实践:人脸校正二次定位操作来解决人脸校正的问题,客户在检测关键点的代码上略有修改,坐标转换部分客户见上图 def get_face_info(image). img_copy = image.copy image.flags.writeable = False image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) results = face_detection.process(image) # 在图像上绘制人脸检测注释。 image.flags.writeable = True image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR) box_info, facial = None, None if results.detections: for detection in results. for detection in results.detections: mp_drawing.Drawing.detection = 无 mp_drawing.draw_detection(image, detection) 面部 = detection.location_data.relative_keypoints 返回面部 在上述代码中,返回的数据是五官(6 个关键点的坐标),这是用 mediapipe 库实现的,下面我们可以尝试用另一个库:dlib 来实现。 使用 dlib 使用 Dlib 库在 Python 中实现人脸关键点检测的步骤如下: 确保已安装 Dlib 库,可使用以下命令: pip install dlib 导入必要的库: 加载 Dlib 的人脸检测器和关键点检测器模型: 读取图像并将其灰度化: 使用人脸检测器检测图像中的人脸: 对检测到的人脸进行遍历,并使用关键点检测器检测人脸关键点: 显示绘制了关键点的图像: 以下代码将参数 landmarks_part 添加到要返回的关键点坐标中。
-
谷歌地球引擎 -- Landsat 5 TM_TOA 数据集 DN 值缩放、校准传感器辐射度数据集
-
谷歌地球引擎 -- Landsat 5 TM_TOA 数据集 DN 值缩放、校准传感器辐射度数据集
-
谷歌地球引擎 -- Landsat 2 MSS Collection 1 Tier 1/T2 DN 值缩放、校准传感器辐射度数据集
-
谷歌地球引擎 -- Landsat 5 TM_TOA 数据集 DN 值缩放、校准传感器辐射度数据集
-
谷歌地球引擎 -- Landsat 5 TM_TOA DN 比例校准传感器辐射度数据集
-
谷歌地球引擎 -- Landsat 5 TM_TOA DN 比例校准传感器辐射度数据集
-
自动驾驶数据集 - kitti 和 NuScene