3D 重建初探(部分信息整理和论文分享)
研究僧上了一年,虽说研究的是CV方面的东西,但基本还是处于小白阶段,忙来忙去不知道忙了些啥就这么荒废了一年(捂脸跑),最近接触了一些三维重建方面的内容,一直也对这方面的东西比较感兴趣,像什么建筑重建啦,医学影像重建啦etc,并不是对测绘遥感类的三维重建不感兴趣,而是感觉学不懂hhhhh,因为测绘方面的三维重建往往要考虑很多GIS(Geographic Information System) 的内容和地貌及一些地理专业知识,毕竟不是专业人士,所以做起来还是比较费劲的。此文是想分享一下自己入门三维重建的一些学习笔记,也引用了网上一些大牛的博客,讲的蛮清晰地,同时分享几篇论文供大家学习参考。
三维重建(3D Reconstruction)入门
1. 数学知识储备
不管哪门方向,感觉接触到CV领域,数学都是必不可少的东西(大实话)。想在CV领域有一番建树的话,数学当然是要研究的十分透彻的。对于这个领域来说,就目前而言最重要的可能还是矩阵方面(矩阵论这门课一定要好好学啊!学长没有好好学请引以为戒,所以现在备受折磨),所以需要有蛮好的线性代数基础,因为大部分是矩阵相乘及一些范数的运算。加上目前神经网络这么火,一个神经网络中大都包含一系列复杂的矩阵计算过程(因为图像通常用矩阵表示),So矩阵论算是三维重建的重中之重!务必学好数学。
2. 三维重建分类
在网络上其实可以搜到很多有关三维重建的分类,不过分类尺度不尽相同,分享一个比较细致的分类(主被动式分类)。在这篇博文中主要是分为了主动式重建和被动式重建,而在我接触目前,还主要是立体视觉重建(被动式重建中的一种方法),其主要包括直接利用测距器获取程距信息、通过一幅图像推测三维信息和利用不同视点上的两幅或多幅图像恢复三维信息等三种方式。第一种方法顾名思义,需要配合测距器获得信息;第二种方法目前为止还不成熟,因为由一幅图像想要恢复三维模型中的所有信息十分困难,一方面一幅图像包含的信息有限,另一方面推测出的信息可能会与原物体有误差。同时一般这类方法对图像要求较高,需要图像中最好本身具有深度信息,目前比较简单且能拍出深度图像的设备可以使用Kinect。第三种方法则是比较常用的重建方法,因为只需要普通的RGB图像,在原图像获取方面比较简单,但可想而知,对于仅用RGB图像恢复三维模型方法,必定会使用很多图像,且需要对图像两两匹配来达到较好的效果,所以大大延长了运算时间,导致效率不高,在下文中会进一步介绍。
3. 立体视觉法
传统的立体成像系统使用两个放在一起的摄像机,平行面向待重建的物体。此方法在概念上,类似人类借由双眼感知的图像相叠推算深度(当然实际上人脑对深度信息的感知历程会更加复杂),若已知两个摄影机的彼此间距与焦距长度,而截取的左右两张图片又能成功叠合,则深度信息可迅速推得。此方法必须依赖有效的图片像素匹配(correspondence analysis),一般使用模板比对(Block Matching)或对极几何(Epipolar Geometry)算法完成。使用两个摄影机的立体视觉法又称做双目立体视觉(Binocular Stereo Vision)。
4. 深度图像
在上文中提到过使用深度图像恢复三维模型的方法,在计算机视觉系统中,三维场景信息为图像分割、目标检测、物体跟踪等各类计算机视觉应用提供了更多的可能性,所以在此也介绍一下深度图像的概念。深度图像(Depth map)作为一种普遍的三维场景信息表达方式得到了广泛的应用,深度图像的每个像素点的灰度值可用于表征场景中某一点距离摄像机的远近。
在初步实践三维重建的过程中,由于我使用的是立体视觉法,所以对于深度图像的获取 及三维模型生成不做过于详细的介绍,只需了解深度图像的概念即可,但若能获取深度图像,则重建过程会更加方便获取位置信息,后续会进一步研究。
三维重建最主要的算法应该就是SfM了吧,使用这种方法的软件比较代表性的有 Pix4D mapper, Autodesk 123D Catch,PhotoModeler, VisualSFM。原谅po主只是初探所以只试了VisualSFM,并将介绍SfM的思想,之后可能会有更进一步的研究略略略。
SfM (Structure from Motion) 介绍
SfM是干嘛用的?关于SfM的具体介绍可以参考Wiki百科上的简介,从SfM的英文构成(运动恢复法)也可以看出,SfM采用的是通过一组图片恢复三维模型。
图片来自于Photo Tourism: Exploring Photo Collection In 3D,算是三维重建中比较出名的一篇论文了,被引量有2000+,文中比较详细的讲述了使用多幅图像重建三维建筑模型的过程,介绍了如何根据相机参数的变化确定对应点的相关关系,从而恢复三维信息,同时论文也给了short video演示。关于相机标定应用的提出应该是比较早的一篇论文Self-Calibration and Metric Reconstruction Inspite of Varying and Unknown Intrinsic Camera Parameters 。至于什么是相机标定,可以参考相机标定(Camera calibration)。成熟的SfM中最后会有Bundle Ajustment优化,中文翻译个人比较喜欢光束平差法,感觉这个翻译更贴合它的原理。关于BA优化的文章很多也很复杂,同时对BA优化的改进算法也有很多,一不小心可能会沉迷其中不能自拔,由于是初探,所以也还没有涉及那么深的内容,这篇文也只是想普及一下三维重建的一些知识而已,关于BA优化,推荐一篇讲的比较详细的论文Bundle Adjustment —A Modern Synthesis,同时也可以参考一个博主讲的BA优化原理。
讲完了一些先述知识之后,就讲一下SfM的具体流程。
SfM算法是基于无序图片的三维重建算法,在其核心算法之前首先需要挑选合适的图片来确定相机参数之后再进行核心计算。具体步骤主要有以下几步:
(1)特征提取
主要使用的是SIFT算子进行提取,SIFT 特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关,具有尺度和旋转不变性,对光线、噪声、微视角改变的容忍度相当高,鲁棒性强,适合用来提取尺度变换和旋转角度的各种图片特征点信息,其准确性强。关于SIFT的详细介绍可以参考Wiki百科。
一个SIFT特征有四个部分(位置position, 大小scale, 方向direction, 描述向量descriptor)
(2)Match and Track
每个图片的特征点被提出来以后,就需要进行图片两两之间的特征点匹配并建立track:
使用K-d tree算法计算最近邻匹配。令最近邻的距离为d1,再找到第二近的匹配对点之间距离为d2,如果两个距离d1和d2之比小于一个阈值0.5,就可以判定为可接受的匹配对。
对于图片特征点的匹配和track一篇知乎问题写的蛮详细的,贴出链接https://www.zhihu.com/question/29885222大家可以去看一下算法实现,SIFT、ANN、RANSAC也有实现代码,并且后期的BA优化算法、稠密点云实现CMVS/PMVS也有实现,也有助于理解之后的操作。匹配关系建立后,需要生成track列表,指同名点的图像集合。
(3)三维点计算
首先图像中可能匹配多个特征点,就会出现多对一的情况,实际上特征点之间应该一一对应。所以还需要一个去除重复特征点匹配对的算法去解决这种多对一的情况 (对匹配点可采用采样一致性算法RANSC八点法计算基础矩阵,剔除不满足基础矩阵的匹配对)。
用RANSAC和八点算法可以将嘈杂的匹配结果稳定化
最终可以按照两幅图像中的匹配特征点数不少于一个阈值即为图像初选匹配对。但图像初选对有时并不可靠,所以需要使用几何约束检测其可靠性。几何约束是基于事实的,不是所有的特征点都符合物理规律,所以需要计算对极几何。对极几何在上文中有给出链接,可以参考其原理。
初始化匹配对的相对定向,根据RANSC八点法计算本征矩阵,通过对本征矩阵SVD分解得到第二个图像的R、T(旋转、平移矩阵),在这一步需要进行畸变校正,然后根据R、T和矫正后的像点坐标三角计算出三维点,这里用到的方法是直接线性变换DLT。最终需要将图片中的像素坐标信息联系起来,并包含相机内参信息。
描述摄像机的外参数用到3x3的旋转矩阵R和1x3的平移向量 (或者摄像机中心坐标向量),而摄像机的内参数用一个焦距f和两个径向畸变参数k1和k2描述。
(4)稀疏重建
加入更多的图像,与之前的图像进行匹配,然后计算R、T,推算出三维点信息,从而构成稀疏点云。
(5)Bundle Ajustment
光束法平差(Bundle Adjustment),是一个非线性优化的过程。目的是使重建误差降低到最小,通过调整三维点的旋转平移矩阵及三维点信息使反向投影差最小。
Bundle Adjustment是一个迭代的过程,在一次迭代过后,将所有三维点反向投影到相应图像的像素坐标并分别与初始坐标比对,如果大于某个阈值,则应将其从track列表中去掉,如果track中已小于2个,则整个track也去掉,一直优化到没有点可去为止。
(4)、(5)是稀疏点云的重建过程,实际上在之后一般会使用CMVS/PMVS进行稠密点云重建,恢复更多的三维信息,以便于更好地建立三维模型,至于CMVS/PMVS的实现,在上文提到的知乎问题中也有讲解和实现。
VisualSFM
前文提到过,使用SfM的软件有很多,我实验的是VisualSFM。这个软件是论文Towards Linear-Time Incremental Structure from Motion中给出的开源软件,具体内容也可以在作者提供的网站上看到http://ccwu.me/vsfm/。在论文中一方面详细的讨论了SfM的框架,另一方面也讲解了对于BA优化的一种改进,引入了preconditioned conjugate gradient(PCG),从而大大减少了时间复杂度,这也是在SfM算法提出后首先出现的比较完整的且可以开放使用的三维重建软件。在安装VisualSFM之前需要配置OpenCV环境,至于软件细致安装可以参考作者提供的网站或网络上其他的安装教程,叙述相对都比较全面,且讲述了操作流程。
下面给出一些实验图,用的是LOREAL的洗面奶emmmm做了尝试,用iP7拍了58张照片,照片分辨率是3024*4032。重建稀疏点云的过程耗时并不长,但使用CMVS/PMVS进行稠密点云重建则要花费蛮长的时间。洗面奶的结构相对简单,且仅有58张照片,即使分辨率挺高的,但重建花的时间并没有很长,不过运行时间和物品的结构复杂度有关系,尝试过学校里的一个几何雕塑,用了6h左右,而且跑程序的时候电脑太卡了,一直在哀嚎,什么也做不了hhhhh
使用VisualSFM重建出来的点云数据一般需要模型软件进行操作,也有很多可供选择。我使用的是MeshLab,因为MeshLab提供源码,也可以看到一些代码的实现过程,且较为常用吧。很多人可能会问重建出来的这个也太丑了= =,讲真我也这么觉得,不过这种方法重建出来的模型,一般都需要进一步后期对模型进行优化,比如填充,圆角之类的操作,所以这也不是重建的最终态,只是出于太懒了所以还没有细化。
我觉得SfM方法三维重建中最复杂的应该是图像的特征提取与匹配、计算相机的内参外参,从而推算三维点坐标的过程。这种方法是利用点云数据堆而成的模型,所以一般在模型软件中也会先对点云的一些多余点进行去除,这样在后期的模型优化中也会更加便捷。
SfM算是三维重建的一种传统方法,因为现在的发展来看,如何分析物体的结构特征,不仅提取图像特征,还提取出图像中的结构和方位信息已经成为关注点,这样恢复出的三维模型可能会具有更精确的信息,且不用进行复杂的匹配工作,耗费时间且效率低下,根据物体的三维信息检索物体并对物体进行分析,目前也已经有一定的研究成果,在之后的研究中,可能也会关注些这方面的内容,并进行分析,blablabla~但新事物的产生并不能对传统方法全盘否定,所以对于SfM,我觉得他中间的一些步骤还是可以进行更进一步的优化的,在时间花费上可能能得到进一步的提升,或者考虑传统方法与前沿方法结合的方法可能也能达到意想不到的结果。
推荐阅读
-
3D 重建初探(部分信息整理和论文分享)
-
41 个下载免费 3D 模型的最佳网站-使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 17. Clara.io Clara.io 是一个创建 3D 内容的全球平台,也是一个培养新 3D 艺术家的社区。Clara.io 提供+100,000个免费的3D模型,包括OBJ,Blend,STL,FBX,DAE,Babylon.JS,Three.JS格式,用于 Clara.io,Unity 3D,Blender,Sketchup,Cinema 4D,3DS Max和Maya。 使用说明:免费,标准和专业帐户仅供个人使用,如果您需要将 clara.io 用于商业用途,请与销售团队联系。 18. 3DExport 3DExport是一个市场,您可以在其中购买和销售用于CG项目的3D模型,3D打印模型和纹理。它提供15 +不同的3D格式供下载,如3DS MAX(.max),Cinema4D(.c4d),Maya(.mb,.ma),Lightwave(.lwo),Softimage(.xsi),Wavefront OBJ(.obj),Autodesk FBX(.fbx)等。它还提供15种不同的语言! 使用说明:免费下载仅供个人和非商业用途。 19. 3D Warehouse 3D Warehouse是一个开放的库,允许用户共享和下载SketchUp 3D模型,用于建筑,设计,施工和娱乐!任何人都可以免费制作,修改和重新上传内容到3D仓库,您可以找到任何您能想到的东西,如家具,电子产品,室内产品等。 使用说明:3D Warehouse中的所有模型都是免费的,因此任何人都可以下载文件以用于SketchUp甚至其他软件,如AutoCAD,Revit和ArchiCAD。 20. CadNav.com CadNav是CGI平面设计师和CAD / CAM / CAE工程师的在线3D模型库,我们提供超过50000 +免费3D模型和CAD模型下载。在CadNav网站上,您可以下载高质量的多边形网格3D模型,3D CAD实体对象,纹理,Vray材料,3D作品,CAD图纸等。 使用说明:免费下载仅供个人和非商业用途。 21. All3dfree.net 就像网站名称一样,它提供免费的3D模型,还包括Vray材料,CAD块,2d和3d纹理集合,无需注册即可免费下载。它是不断更新的,因此您可以查找或请求3DS,MAX,C4D,skp,OBJ,FBX,MTL等格式的模型。 使用说明:所有资源均不允许用于商业用途,否则您将承担责任。 22. Hum3D 自2005年以来,Hum3D帮助来自3多个国家的80D艺术家节省3D建模时间,并制作逼真的3D模型,用于电影,视频游戏,AR应用程序和可视化。所有模型均由首席3D艺术家进行验证,他们检查其是否符合专业要求和最新的3D建模标准。 使用说明:免费下载仅供个人和非商业用途。 23. Artist-3D.com 艺术家-3D 库存的免费 3D 模型下载按通用类别排序。它为人体解剖学、汽车、家具、火箭、卫星等模型提供 AutoDesk 3DS Max 格式。您还可以在浏览他们的网站时找到教程和类似类型的建模。 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 24. Free the models 就像本网站的标题一样,它为3d应用程序和3d游戏引擎提供免费的内容模型。您可以为您的任何项目找到许多有趣且有用的模型!它提供3ds,wavefront,bryce,poser,lightwave,md2和unity3d格式的模型。还有一个很棒的纹理集合,可以在您最喜欢的建模和渲染程序中使用。 使用说明:您从这里下载的所有内容都可以免费使用,除非它不能包含在另一个免费的网络或CD收藏中,也不能单独出售。否则,您可以在商业游戏,3D应用程序或渲染作品中使用它。您不必提供信用,但如果您这样做,那就太好了。 25. Resources.blogscopia 本网站由一家名为Scopia的公司创建。他们制作3D图像和视频,您可以找到许多为CGI工作的信息架构设计的模型,所有这些都可以在现实生活中使用。您可以免费下载它们,但是,如果您想一次下载它们,您可以支付 3 到 9 欧元。 使用说明:您可以免费下载模型部分的所有文件。每个压缩文件都包含您也可以在此处找到的许可证。基本上,您可以对文件执行任何操作。唯一的限制是不归属于Scopia的重新分发。 26.ambientCG 1000+公共领域PBR材料适合所有人!环境CG是使用许多不同的方法和资产类型创建的,例如照片纹理(PBR),贴花(PBR),图集(PBR),照片纹理(普通),物质存档(SBSAR),雕刻画笔,3D模型和地形。您可以在所有项目中*使用它们! 使用说明:在 ambientCG 上提供下载的所有 PBR 材料、画笔、照片和 3D 模型均根据知识共享 CC0 1.0 通用许可提供。您可以复制、修改、分发和执行作品,即使是出于商业目的,也无需征得许可。信用将不胜感激。 不要满足于平庸的大理石纹理 - 立即使用我们的免费PBR大理石纹理升级您的3D设计。 27.Pixar One Twenty Eight 这是一个提供官方动画行业经典纹理的网站:皮克斯,创建于 1993 年,该纹理库包括 128 个重复纹理,现在免费提供。 它包含您来到的纹理,包括砖块和动物毛皮。肯定会有一些你可以使用的东西。 使用说明:皮克斯动画工作室的《Pixar One Twenty Eight》根据知识共享署名4.0国际许可协议进行许可。即使出于商业目的,您也可以重新混合、调整和构建您的作品,只要您以相同的条款对新创作进行信用和许可。 访问数以千计的免费纹理并提升您的设计游戏 - 立即开始下载! 28. 3DXO 即使有近 620 个免费贴纸可供下载,3DXO 也不是最大的资源,但它的内容非常有用,不需要注册。无论是简单的墙壁或地板,还是一些奇怪的小东西,您都需要的纹理都可以在此网站上看到。 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 29. 3DModelsCC0 3DModelsCC0 与其他产品的不同之处在于它包含超过 250+ 个高质量 3D 模型,并且本网站上的所有内容都是免费的,完全是公共领域!使用我们的模型时无需信用或归属! 使用说明:为每个人提供完全免费的公共领域内容。 30.Sketch up texture club Sketchup Texture Club是一个非营利性的教育和信息门户网站,由3D社区的图像促进协会管理,特别强调面向学生和建筑和室内设计专业人士的可视化和渲染技术,以及所有正在学习3D可视化的人。 使用说明:您无需支付版税或使用费。纹理可以免费下载和使用。不允许将纹理作为竞争产品出售或重新分发,即使图像被修改也是如此。 31. FlippedNormals FlippedNormal 是一个提供计算机图形和 3D 资产的市场,您可以找到许多用于雕刻、建模、纹理、概念艺术、3D 模型、游戏资产或课程的高级资产! 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 32. NASA 3D NASA 3D网站是一个在线门户,提供与太空和各种NASA任务相关的大量三维模型和模拟。该网站是用户友好的,并提供有关每个型号的详细信息。该网站允许用户探索和下载几种不同格式的模型,包括 OBJ、STL 和 FBX,只需单击下载按钮即可。 使用说明: 要下载模型,只需单击模型页面上的下载按钮并选择所需的格式。 33. 3DAGOGO (Astroprint) 3DAGOGO 是一个提供广泛 3D 模型的网站,包括角色、车辆和建筑物。3DAGOGO 的独特功能之一是它专注于适合 3D 打印的模型,使其成为希望创建物理原型或模型的设计师的绝佳资源。要使用 3DAGOGO,设计师只需在网站上搜索他们正在寻找的模型类型,然后下载 STL 格式的文件。 使用说明: 要使用 3DAGOGO,只需搜索所需的 3D 模型类型并下载 STL 格式的文件。根据需要自定义模型,并确保在将其用于商业目的之前检查使用权限。 34. FreeCAD FreeCAD是一款了不起的3D建模软件,可让您在计算机上创建令人难以置信的3D设计。该软件可免费下载和使用,它提供了广泛的工具和功能,可用于创建用于各种目的的3D模型。 该网站易于浏览,您可以找到开始使用FreeCAD的所有必要信息。此外,该网站还提供一系列教程和指南,可帮助您了解 3D 建模的来龙去脉。 使用说明: 要下载模型,请访问网站并从库中选择所需的模型。该网站还提供了一系列使用该软件的教程和指南。 35. Pinshape Pinshape是一个提供一系列3D打印模型的网站。网站上提供的型号质量很高,因此您可以确保您的最终印刷产品看起来很棒。该网站提供了广泛的模型,包括从家居用品到小雕像和珠宝的所有物品。 但这还不是Pinshape所能提供的全部!该网站还允许用户上传和共享自己的3D模型。这意味着您不仅可以下载出色的模型,还可以通过分享自己的设计为社区做出贡献。此外,Pinshape 提供了一系列自定义选项,因此您可以调整和调整模型以满足您的特定需求。 使用说明: 要下载模型,请在网站上创建一个帐户,搜索所需的模型,然后单击下载按钮。该网站还为每种型号提供了一系列定制选项。 36.Yeggi Yeggi 提供了大量免费的 3D 模型,您可以下载各种格式的模型,例如 STL、OBJ 和 FBX。该网站易于使用,您可以按关键字、类别或特定网站搜索模型。 Yeggi 对于任何寻找 3D 模型的人来说都是一个很好的资源。它提供了大量的模型集合,从日常物品到复杂的机械,以及介于两者之间的一切。该网站的收藏量在不断增长,每天都有新的型号增加。 使用说明: 要下载模型,请在网站上搜索所需的模型,然后单击下载按钮。该网站还提供指向托管模型的原始网站的链接。 37. Open3DModel 来自开放3D模型的图像 Open3DModel具有各种类别的模型,包括建筑,车辆和角色。无论您需要建筑物,汽车还是人的3D模型,都可以在此网站上找到。 该网站易于浏览,您可以按类别或关键字搜索模型。每个模型都附带预览图像和详细信息,例如文件格式、大小和多边形数量。此信息可以帮助您选择适合您需求的模型。 使用说明: 要下载模型,请访问网站,从库中选择所需的模型,然后单击下载按钮。 使用最好的 3D 资产管理工具简化您的 3D 制作流程。立即试用它们,将您的 3D 项目提升到一个新的水平! 38. 3DExport 对于那些为其 3D 设计项目寻找 3D 模型、纹理和其他资源的人来说,该平台是一个很好的资源。该网站有大量模型可供选择,包括 3D 打印对象、游戏资产等。用户可以按类别、文件格式或价格范围浏览,以找到适合其项目的完美资源。此外,3DExport 还提供一系列教程和其他 3D 资源,以帮助用户提高技能并创建更令人印象深刻的设计。 使用说明: 要使用 3DExport,只需创建一个帐户并浏览可用型号。您可以按类别、格式和价格进行搜索,以找到所需的型号。找到喜欢的模型后,只需下载它并开始在您的项目中使用它。 39.Blend Swap Blend Swap是一个社区驱动的市场,提供与Blender软件兼容的各种免费3D模型。该平台允许用户共享和下载模型、纹理和其他资产,以便在他们的项目中使用。 使用说明: 创建免费帐户后,您可以浏览社区上传的大量3D模型。当您找到要使用的一个时,只需下载它并将其导入您选择的 3D 软件即可。 40. 3DShook 3DShook 是一个高级 3D 模型市场,提供一系列用于建筑、游戏等各个行业的高质量模型。该平台提供基于订阅的模型,具有不同的定价计划,允许用户访问一系列模型。 使用说明: 注册免费帐户后,只需浏览3D模型库,选择您喜欢的模型,然后以您需要的格式下载它们。 41. Smithsonian X 3D 史密森尼 X 3D 对于正在寻找历史文物和文物的高质量 3D 模型的设计师来说,这是一个独特的资源。该平台提供了大量3D模型,这些模型是根据史密森尼博物馆和研究中心中的真实物体扫描创建的。 使用说明: