探索基于 NeRF 的 3D 现实重建技术
转载自:亚信科技新技术探索
编辑:东岸因为@一点人工一点智能公众号
NeRF作为一种新型的视场合成和三维重建方法,在多个领域中都有广泛的应用,如城市测绘、机器人技术、虚拟现实/增强现实、电影制作和游戏开发。本文重点介绍了NeRF的构建流程以及目前比较流行的NeRF三维实景建模库,旨在帮助读者更好地理解和应用NeRF三维实景重建技术,为NeRF三维实景重建技术落地提供参考。
01 引言
自然资源部于2022年8月发布了《实景三维中国建设总体实施方案(2022-2025年)》,该方案明确了建设任务、技术路线与方法、主要成果与汇集、组织实施等,并提出到2025年,50%以上的*决策、生产调度和生活规划可通过线上实景三维空间完成,2035年这一目标提升至80%。这标志着实景三维将作为国家重要的新型基础设施,全面加速开展布局建设,未来的市场发展空间不可限量。
何谓实景三维?实景三维是对人类生产、生活和生态空间进行真实、立体、时序化反映和表达的数字虚拟空间,是新型基础测绘标准化产品,是国家新型基础设施建设的重要组成部分,为经济社会发展和各部门信息化提供统一的空间基底。
NeRF(神经辐射场)是一种神经网络模型,用于从2D图像中学习并生成连续的3D场景模型。利用NeRF技术,可以在二维数据的基础上自动化构建三维模型,并进行纹理映射、光照渲染等操作,生成具有真实感和视觉冲击力的实景三维模型,克服传统方法的限制,在实景三维领域具有广泛的应用前景。
02 NeRF概述
NeRF通过深度学习的方法,将三维空间表示为一组可学习且连续的辐射场。在已知视角下,对场景进行一系列的捕获(包括拍摄到的图像以及每张图像对应的内外参),不需要中间三维重建的过程,仅根据位姿内参和图像,合成新视角下的图像。不同于传统的三维重建方法把场景表示为点云、网格、体素等显式的表达,NeRF独辟蹊径,将场景建模成一个连续的5D辐射场隐式存储在神经网络中,只需输入稀疏的多角度的2D图像,就可以通过训练得到一个神经辐射场模型,根据这个模型可以渲染出任意视角下的清晰照片。
NeRF神经辐射场的优势主要包括:
高质量渲染:NeRF能够生成高度逼真的3D场景,使用神经网络模型以少量数据集为基础进行训练,从而生成高质量的渲染效果。
连续函数表示:NeRF使用连续函数表示3D场景,这种表示方法可以从任意角度进行渲染,产生令人惊叹的高质量渲染效果。
表达能力强:NeRF能够自然地表达物体的颜色和透明度,以任意精度和分辨率来表示3D模型,使得在3D重建和视图合成等任务上具有非常高的性能。
自监督学习:NeRF的训练过程不需要人工标注,仅通过一组2D图片(通常是同一个3D场景的不同视角的图片)作为输入,然后通过优化算法调整网络的参数,使得网络输出的3D辐射场能够最好地重现这组2D图片。
此外,因为NeRF生成的是连续的3D模型,而不是像传统的3D重建方法那样生成离散的3D体素或三角形网格,所以NeRF生成的模型可以具有更高的解析度和更细的细节。当然,NeRF也有一些局限性,例如训练和渲染过程需要大量的计算资源,而且对于有大量动态内容和复杂反射的场景,NeRF可能无法处理得很好。
03 NeRF构建过程
要构建NeRF,首先要从整个环境或物体周围的不同角度拍摄一系列照片。在某些情况下,录制视频更方便。这允许使用无人机捕获的视频或任何其他预先录制的内容制作NeRF,甚至可以使用这项技术重新捕获3D游戏内容作为NeRF。
通常来讲照片的生成质量比视频要好一些,前提是照片是进行特定拍摄,无明显模糊。视频操作则会更加简单一些,但是运动模糊会显著降低重建质量,为了达到最佳效果,慢慢移动手机,尽量避免快速移动,尤其是旋转。为了获得最佳效果,应该从尽可能多的独特视角捕捉物体或场景。此外,在拍摄时最好移动手机(在3D空间中),而不是从静止位置旋转它,站在同一个地方,在一个球体中向外捕捉通常不太好。
构建NeRF的流程如下:
1. 数据收集:收集一组2D图像,这些图像从不同的角度和位置捕获了同一场景。这些图片都是对同一3D场景的拍摄,所以在这个场景中,每个物体都会在多个图像中出现,只是视角和位置不同。
2. 预处理:对于每张图像,需要知道相机的参数,包括相机的位置和方向。这些参数可以用来确定从相机位置出发,经过图像上每个像素,向场景中射出的视线的方向。
3. 神经网络训练:使用这些数据训练一个深度神经网络。这个网络的目标是能够根据3D坐标和视线方向预测出那个位置的颜色和体密度。在训练过程中,使网络预测的颜色值和真实的2D图像尽可能一致,神经网络就能学习到场景的3D表示。而为了实现这个目标,通过比较网络预测的颜色和图像中的真实颜色来计算误差,然后通过反向传播算法来更新网络的参数。神经网络的输入是每个3D位置和相应的视线方向,输出是预测的颜色和密度值。
04 三维实景建模库介绍
目前比较流行的三维实景重建库有Luma AI、NVIDIA Instant NeRF、NeRFStudio三种。
· Luma AI
Luma AI是一家专注于3D媒体生成和应用的服务商,它的核心技术是NeRF。Luma AI网页版是可以免费使用的,网页版视频和图片(ZIP压缩包)体积最大限制5GB;视频转3D API单次收费1美元。
Luma AI支持导出GLTF、OBJ、点云,并且导出的GLTF、OBJ模型是带有纹理的;Luma AI提供了插件可以将NeRF与Unreal Engine相结合,使用该插件用户可以在Unreal Engine中加载Luma AI生成的三维模型。
图2是使用HUAWEI P40 Pro拍摄的实景视频,图3是通过Luma AI网页版训练的结果,图4是将Luma AI网页版训练结果导出,加载到Unreal Engine 5中的效果。
· NVIDIA Instant NeRF
NVIDIA Instant NeRF是一种将2D图像转换为3D场景的神经渲染技术,它基于NeRF模型。它极大地提高了3D捕获和共享的速度、易用性和范围,被认为是迄今为止最快的NeRF技术,它在2022年被美国《时代》周刊评为年度最佳发明。
NVIDIA Instant NeRF是开源项目,在GitHub上,目前提供了几种特定显卡型号的安装包,如果是其他型号的显卡,则需要下载源码进行编译。Instant NeRF可以导出自有格式.ingp,也可以导出Mesh,但是导出的Mesh没有纹理。
如果拍摄的是视频,需要使用colmap2nerf进行抽帧以及生成transform.json文件(记录每张图像的相机参数),处理后的数据才能被Instant NeRF训练。
图5是使用官方测试数据训练的结果,训练机器的显卡型号为:NVIDIA GeForce RTX3070。
· NeRFStudio
NeRFStudio是一个用于创建、训练和可视化神经辐射场(NeRF)的开源软件库。它提供了API,可以简化创建、训练和可视化NeRF的端到端过程。目前支持多种模型,其中Nerfacto是NeRFStudio提出的,是NeRFStudio的默认模型,也是最推荐使用的模型。
NeRFStudio没有提供安装包,如果想使用需要在GitHub上,下载源码进行编译。NeRFStudio支持导出Mesh、点云,下载扩展Volinga extension for NeRFStudio可以支持Unreal Engine,但是需要通过Volinga网站进行格式转换。
05 总结与展望
NeRF三维实景建模是一种利用神经网络技术对真实世界进行三维建模的方法,它通过分析大量的图像和视频数据,能够构建出高质量的三维模型,为各个领域的应用提供了广阔的可能性。
总的来说,NeRF三维实景建模是一种非常有前途的技术,未来可能会在更多的领域得到应用和发展。同时,随着技术的不断进步和应用场景的不断扩大,它也将会面临着更多的挑战和机遇。
推荐阅读
-
CVPR 2021 | pixelNeRF:基于 NeRF 的多视角 3D 重建网络
-
探索基于 NeRF 的 3D 现实重建技术
-
41 个下载免费 3D 模型的最佳网站-使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 17. Clara.io Clara.io 是一个创建 3D 内容的全球平台,也是一个培养新 3D 艺术家的社区。Clara.io 提供+100,000个免费的3D模型,包括OBJ,Blend,STL,FBX,DAE,Babylon.JS,Three.JS格式,用于 Clara.io,Unity 3D,Blender,Sketchup,Cinema 4D,3DS Max和Maya。 使用说明:免费,标准和专业帐户仅供个人使用,如果您需要将 clara.io 用于商业用途,请与销售团队联系。 18. 3DExport 3DExport是一个市场,您可以在其中购买和销售用于CG项目的3D模型,3D打印模型和纹理。它提供15 +不同的3D格式供下载,如3DS MAX(.max),Cinema4D(.c4d),Maya(.mb,.ma),Lightwave(.lwo),Softimage(.xsi),Wavefront OBJ(.obj),Autodesk FBX(.fbx)等。它还提供15种不同的语言! 使用说明:免费下载仅供个人和非商业用途。 19. 3D Warehouse 3D Warehouse是一个开放的库,允许用户共享和下载SketchUp 3D模型,用于建筑,设计,施工和娱乐!任何人都可以免费制作,修改和重新上传内容到3D仓库,您可以找到任何您能想到的东西,如家具,电子产品,室内产品等。 使用说明:3D Warehouse中的所有模型都是免费的,因此任何人都可以下载文件以用于SketchUp甚至其他软件,如AutoCAD,Revit和ArchiCAD。 20. CadNav.com CadNav是CGI平面设计师和CAD / CAM / CAE工程师的在线3D模型库,我们提供超过50000 +免费3D模型和CAD模型下载。在CadNav网站上,您可以下载高质量的多边形网格3D模型,3D CAD实体对象,纹理,Vray材料,3D作品,CAD图纸等。 使用说明:免费下载仅供个人和非商业用途。 21. All3dfree.net 就像网站名称一样,它提供免费的3D模型,还包括Vray材料,CAD块,2d和3d纹理集合,无需注册即可免费下载。它是不断更新的,因此您可以查找或请求3DS,MAX,C4D,skp,OBJ,FBX,MTL等格式的模型。 使用说明:所有资源均不允许用于商业用途,否则您将承担责任。 22. Hum3D 自2005年以来,Hum3D帮助来自3多个国家的80D艺术家节省3D建模时间,并制作逼真的3D模型,用于电影,视频游戏,AR应用程序和可视化。所有模型均由首席3D艺术家进行验证,他们检查其是否符合专业要求和最新的3D建模标准。 使用说明:免费下载仅供个人和非商业用途。 23. Artist-3D.com 艺术家-3D 库存的免费 3D 模型下载按通用类别排序。它为人体解剖学、汽车、家具、火箭、卫星等模型提供 AutoDesk 3DS Max 格式。您还可以在浏览他们的网站时找到教程和类似类型的建模。 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 24. Free the models 就像本网站的标题一样,它为3d应用程序和3d游戏引擎提供免费的内容模型。您可以为您的任何项目找到许多有趣且有用的模型!它提供3ds,wavefront,bryce,poser,lightwave,md2和unity3d格式的模型。还有一个很棒的纹理集合,可以在您最喜欢的建模和渲染程序中使用。 使用说明:您从这里下载的所有内容都可以免费使用,除非它不能包含在另一个免费的网络或CD收藏中,也不能单独出售。否则,您可以在商业游戏,3D应用程序或渲染作品中使用它。您不必提供信用,但如果您这样做,那就太好了。 25. Resources.blogscopia 本网站由一家名为Scopia的公司创建。他们制作3D图像和视频,您可以找到许多为CGI工作的信息架构设计的模型,所有这些都可以在现实生活中使用。您可以免费下载它们,但是,如果您想一次下载它们,您可以支付 3 到 9 欧元。 使用说明:您可以免费下载模型部分的所有文件。每个压缩文件都包含您也可以在此处找到的许可证。基本上,您可以对文件执行任何操作。唯一的限制是不归属于Scopia的重新分发。 26.ambientCG 1000+公共领域PBR材料适合所有人!环境CG是使用许多不同的方法和资产类型创建的,例如照片纹理(PBR),贴花(PBR),图集(PBR),照片纹理(普通),物质存档(SBSAR),雕刻画笔,3D模型和地形。您可以在所有项目中*使用它们! 使用说明:在 ambientCG 上提供下载的所有 PBR 材料、画笔、照片和 3D 模型均根据知识共享 CC0 1.0 通用许可提供。您可以复制、修改、分发和执行作品,即使是出于商业目的,也无需征得许可。信用将不胜感激。 不要满足于平庸的大理石纹理 - 立即使用我们的免费PBR大理石纹理升级您的3D设计。 27.Pixar One Twenty Eight 这是一个提供官方动画行业经典纹理的网站:皮克斯,创建于 1993 年,该纹理库包括 128 个重复纹理,现在免费提供。 它包含您来到的纹理,包括砖块和动物毛皮。肯定会有一些你可以使用的东西。 使用说明:皮克斯动画工作室的《Pixar One Twenty Eight》根据知识共享署名4.0国际许可协议进行许可。即使出于商业目的,您也可以重新混合、调整和构建您的作品,只要您以相同的条款对新创作进行信用和许可。 访问数以千计的免费纹理并提升您的设计游戏 - 立即开始下载! 28. 3DXO 即使有近 620 个免费贴纸可供下载,3DXO 也不是最大的资源,但它的内容非常有用,不需要注册。无论是简单的墙壁或地板,还是一些奇怪的小东西,您都需要的纹理都可以在此网站上看到。 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 29. 3DModelsCC0 3DModelsCC0 与其他产品的不同之处在于它包含超过 250+ 个高质量 3D 模型,并且本网站上的所有内容都是免费的,完全是公共领域!使用我们的模型时无需信用或归属! 使用说明:为每个人提供完全免费的公共领域内容。 30.Sketch up texture club Sketchup Texture Club是一个非营利性的教育和信息门户网站,由3D社区的图像促进协会管理,特别强调面向学生和建筑和室内设计专业人士的可视化和渲染技术,以及所有正在学习3D可视化的人。 使用说明:您无需支付版税或使用费。纹理可以免费下载和使用。不允许将纹理作为竞争产品出售或重新分发,即使图像被修改也是如此。 31. FlippedNormals FlippedNormal 是一个提供计算机图形和 3D 资产的市场,您可以找到许多用于雕刻、建模、纹理、概念艺术、3D 模型、游戏资产或课程的高级资产! 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 32. NASA 3D NASA 3D网站是一个在线门户,提供与太空和各种NASA任务相关的大量三维模型和模拟。该网站是用户友好的,并提供有关每个型号的详细信息。该网站允许用户探索和下载几种不同格式的模型,包括 OBJ、STL 和 FBX,只需单击下载按钮即可。 使用说明: 要下载模型,只需单击模型页面上的下载按钮并选择所需的格式。 33. 3DAGOGO (Astroprint) 3DAGOGO 是一个提供广泛 3D 模型的网站,包括角色、车辆和建筑物。3DAGOGO 的独特功能之一是它专注于适合 3D 打印的模型,使其成为希望创建物理原型或模型的设计师的绝佳资源。要使用 3DAGOGO,设计师只需在网站上搜索他们正在寻找的模型类型,然后下载 STL 格式的文件。 使用说明: 要使用 3DAGOGO,只需搜索所需的 3D 模型类型并下载 STL 格式的文件。根据需要自定义模型,并确保在将其用于商业目的之前检查使用权限。 34. FreeCAD FreeCAD是一款了不起的3D建模软件,可让您在计算机上创建令人难以置信的3D设计。该软件可免费下载和使用,它提供了广泛的工具和功能,可用于创建用于各种目的的3D模型。 该网站易于浏览,您可以找到开始使用FreeCAD的所有必要信息。此外,该网站还提供一系列教程和指南,可帮助您了解 3D 建模的来龙去脉。 使用说明: 要下载模型,请访问网站并从库中选择所需的模型。该网站还提供了一系列使用该软件的教程和指南。 35. Pinshape Pinshape是一个提供一系列3D打印模型的网站。网站上提供的型号质量很高,因此您可以确保您的最终印刷产品看起来很棒。该网站提供了广泛的模型,包括从家居用品到小雕像和珠宝的所有物品。 但这还不是Pinshape所能提供的全部!该网站还允许用户上传和共享自己的3D模型。这意味着您不仅可以下载出色的模型,还可以通过分享自己的设计为社区做出贡献。此外,Pinshape 提供了一系列自定义选项,因此您可以调整和调整模型以满足您的特定需求。 使用说明: 要下载模型,请在网站上创建一个帐户,搜索所需的模型,然后单击下载按钮。该网站还为每种型号提供了一系列定制选项。 36.Yeggi Yeggi 提供了大量免费的 3D 模型,您可以下载各种格式的模型,例如 STL、OBJ 和 FBX。该网站易于使用,您可以按关键字、类别或特定网站搜索模型。 Yeggi 对于任何寻找 3D 模型的人来说都是一个很好的资源。它提供了大量的模型集合,从日常物品到复杂的机械,以及介于两者之间的一切。该网站的收藏量在不断增长,每天都有新的型号增加。 使用说明: 要下载模型,请在网站上搜索所需的模型,然后单击下载按钮。该网站还提供指向托管模型的原始网站的链接。 37. Open3DModel 来自开放3D模型的图像 Open3DModel具有各种类别的模型,包括建筑,车辆和角色。无论您需要建筑物,汽车还是人的3D模型,都可以在此网站上找到。 该网站易于浏览,您可以按类别或关键字搜索模型。每个模型都附带预览图像和详细信息,例如文件格式、大小和多边形数量。此信息可以帮助您选择适合您需求的模型。 使用说明: 要下载模型,请访问网站,从库中选择所需的模型,然后单击下载按钮。 使用最好的 3D 资产管理工具简化您的 3D 制作流程。立即试用它们,将您的 3D 项目提升到一个新的水平! 38. 3DExport 对于那些为其 3D 设计项目寻找 3D 模型、纹理和其他资源的人来说,该平台是一个很好的资源。该网站有大量模型可供选择,包括 3D 打印对象、游戏资产等。用户可以按类别、文件格式或价格范围浏览,以找到适合其项目的完美资源。此外,3DExport 还提供一系列教程和其他 3D 资源,以帮助用户提高技能并创建更令人印象深刻的设计。 使用说明: 要使用 3DExport,只需创建一个帐户并浏览可用型号。您可以按类别、格式和价格进行搜索,以找到所需的型号。找到喜欢的模型后,只需下载它并开始在您的项目中使用它。 39.Blend Swap Blend Swap是一个社区驱动的市场,提供与Blender软件兼容的各种免费3D模型。该平台允许用户共享和下载模型、纹理和其他资产,以便在他们的项目中使用。 使用说明: 创建免费帐户后,您可以浏览社区上传的大量3D模型。当您找到要使用的一个时,只需下载它并将其导入您选择的 3D 软件即可。 40. 3DShook 3DShook 是一个高级 3D 模型市场,提供一系列用于建筑、游戏等各个行业的高质量模型。该平台提供基于订阅的模型,具有不同的定价计划,允许用户访问一系列模型。 使用说明: 注册免费帐户后,只需浏览3D模型库,选择您喜欢的模型,然后以您需要的格式下载它们。 41. Smithsonian X 3D 史密森尼 X 3D 对于正在寻找历史文物和文物的高质量 3D 模型的设计师来说,这是一个独特的资源。该平台提供了大量3D模型,这些模型是根据史密森尼博物馆和研究中心中的真实物体扫描创建的。 使用说明: