理解3D Gaussian Splatting：一份详细指南与总结
最编程
2024-01-20 15:03:47
...
- 从初始的SFM点云出发，以每个点为中心生成3D高斯；
- 然后用相机参数把点投影到图像平面上（Splatting）；
- 从Splatting的痕迹中进行Tile-base光栅化得到渲染图像，将渲染图像和GT图像求loss沿蓝色箭头反向传播；
- 根据传递到点上的梯度来决定是否需要对3D高斯进行克隆或分割，梯度同时也会传递到3D高斯来更新其中储存的位置（协方差矩阵、球谐函数、不透明度等参数）。
核心：构建以协方差为主导的3D高斯点云，然后围绕3D高斯点云进行渲染和优化。
感谢UP主的视频解读，可是这里贴不了小破站的链接。感兴趣的可以小破站搜【【论文讲解】用点云结合3D高斯构建辐射场，成为快速训练、实时渲染的新SOTA！】