深度学习三维重建 深度估计和三维重建

三维重建是计算机视觉立体几何方向的主要任务，本文会对基于深度图的三维重建流程做一个简单概述。

1. 获取深度图以及尺度信息

• 第一步，是获取深度图以及尺度信息，如果是结构化的双目相机，就可以直接通过深度估计得到尺度关系，如果是多视角相机，就可以通过深度估计加上相机位姿估计得到尺度关系。
• 关于其他深度估计的方法，可以参考我的另一篇文章深度估计概述。

2. 将像素坐标转换为世界坐标

• 像素坐标通过相机的内参矩阵以及第一步获得的尺度关系，可以直接得到基于这个相机的世界坐标信息。
• 更多细节可以参考我的另一篇文章相机的内参、外参以及像素坐标和世界坐标的转换

3. 通过RT矩阵转换到世界坐标并得到点云

• 经过第二步获得不同相机的世界坐标结果，接下来可以通过RT矩阵融合到同一个世界坐标系下，进而就能得到点云信息。

4. 获得三角面片

• 得到点云之后，就可以根据它的法线方向得到三角面片，再将图像的纹理信息填充到三角面片的顶点上，就完成了三维重建。
• 其中，法线方向的获取方法是：确定三维点之后，从相机中心发出的射线的反方向就是它的法线方向。

5. 总结

• 以上介绍的是基于深度图的三维重建方法，其实还有其他方法如将三维重建过程分解成一个个的子任务，包括通过图像估计出物体的深度、轮廓、法向图等，然后基于这些信息完成三维重建等。

博主会持续更新一些深度学习相关的基础知识以及工作中遇到的问题和感悟，喜欢请关注、点赞、收藏。