基于图像的三维物体重建:深度学习时代三维表面解码的最新技术和趋势综述
作者:Longway
来源:公众号@3D视觉工坊
链接: 基于图像的三维物体重建:在深度学习时代的最新技术和趋势综述之三维曲面解码
1.三维曲面解码
基于体积表示的方法在计算上非常浪费,因为信息只在三维形状的表面或其附近丰富。直接处理曲面时的主要挑战是,网格或点云等常见表示没有规则的结构,因此,它们不容易适应深度学习体系结构,特别是使用CNN的体系结构。本节介绍用于解决此问题的技术,将最新技术分为三大类:基于参数化、基于模板变形和基于点的方法。
1.1基于参数化的三维重建
与直接使用三角形网格不同,我们可以将三维形状X的表面表示为映射ζ:D→R3,其中D是正则参数化域。然后,3D重建过程的目标是从输入I中恢复形状函数ζ。当D是3D域时,这类方法属于第4节中描述的体积技术。
这里,重点讨论D是正则2D域的情况,它可以是二维平面的子集,例如D=[0,1]2,或者是单位球面,即D=S2。在第一种情况下,可以使用标准的2D卷积操作来实现编码器-解码器架构。在后一种情况下,必须使用球面卷积,因为域是球面的。
球面参数化和几何图像是最常用的参数化。然而,它们只适用于0属和盘状表面。任意拓扑的曲面需要切割成圆盘状的曲面片,然后展开成规则的二维区域。找到给定曲面的最佳切割,更重要的是,在同一类别的形状之间找到一致的切割是一项挑战。事实上,单纯地为形状类别创建独立的几何图像并将其输入深层神经网络将无法生成连贯的三维形状曲面。
基于参数化方法仅限于低属曲面,它们适合于重建属于给定形状类别的对象,例如人脸和身体。
1.2基于形变的三维重建
取一个输入I,并估计一个变形场∆,当它作用于一个模板三维形状时,得到重构的三维模型X。现有的技术在它们使用的变形模型的类型、模板的定义方式以及用于估计变形场∆的网络体系结构方面有所不同。在下面的内容中,假设一个三维形状X=(V,F),有n个顶点V={v1,,vn}和面F。设X~= (V~, F)表示模板形状。
1.2.1变形模型
(1)顶点变形:这个模型假设一个三维的形状X可以用模板的单个顶点的线性位移来表示,即∀v i∈V,vi=v~i+δi,其中δi∈R3。变形场定义为∆=(δ1,…,δn)。这个变形模型,如下图所示,已经在多个地方使用。假设形状X的顶点与模板X的顶点之间存在一对一的对应关系;形状X的拓扑结构与模板X的拓扑结构相同。
(2)形变模型模型:可以使用学习的变形模型来参数化三维网格,而不是使用通用模板。设V˜为平均形状,∧1,,∧K是一组正交基。任何形状V都可以用以下形式表示:
上式的第二项可以看作是一个变形场,应用于平均形状的顶点V˜。学习可变形模型的一种方法是对一组干净的三维网格样本使用主成分分析(PCA)。最近的技术表明,仅使用2D注释,就可以从2D轮廓或2D图像构建特定类别的3D可变形模型。这些方法需要对目标进行有效的检测和分割,并使用基于CNN的技术进行摄像机姿态估计。
(3)*变形(FFD)。不必直接变形模板X˜的顶点,可以变形模板周围的空间,如下图所示。可以通过定义在X˜周围的m个控制点的一组集合P∈R m×3,称为变形处理。当变形场∆=(δ1,…,δm),m<<n,应用于这些控制点时,它们使形状周围的整个空间变形,因此,它们也根据以下等式使形状的顶点V变形:
其中变形矩阵B∈Rn×m是一组多项式基,Φ是一个m×m矩阵,用于在FFD场中施加对称性,而∆是位移。
*变形的主要优点是不需要形状和模板之间的一一对应关系。然而,可以被模板的FFD近似的形状只是那些具有与模板相同的拓扑结构的形状。
1.2.2定义模板
Henderson[1] 定义了两种类型的模板:抽象为立方基元的复杂形状和细分为多个顶点的立方体。前者适用于具有多个组件的人造形状,后者适用于表示属0形状,与使用球体或椭球体相比没有优势。
为了加快收敛速度,Kuryenkov[2]引入DeformNet,它以图像为输入,从数据库中搜索最近的形状,然后使用上式方程的FFD模型对检索到的模型进行变形,以匹配查询图像,这种方法允许保留细节的三维重建。
Pontes[3]使用了类似于DeformNet的方法。然而,一旦FFD字段被估计并应用于模板,则通过添加定义为从字典中检索的一些3D模型的加权和的残差来进一步细化结果。深度神经网络的作用是学习如何估计变形场∆和用于计算求精残差的权重。
另一种方法是学习模板,或者分别使用统计形状分析技术(例如,PCA)对一组训练数据进行学习,或者使用深度学习技术与变形场联合学习。Kanazawa[4]同时学习平均形状和变形场。因此,该方法不需要单独的3D训练集来学习可变形模型。在这种情况下,重建结果都缺乏细节,仅限于汽车和鸟类等热门类别。
1.2.3网络架构
基于变形的方法同样使用编码器-解码器架构。编码器使用连续卷积运算将输入映射到隐变量x,它可以是离散的或连续的,解码器通常由完全连接的层组成。
Kuryenkov[2]从数据库中检索与输入I最相似的三维模型,然后估算使其变形以匹配输入所需的FFD,而不是对球体或椭圆进行变形。检索到的模板首先进行体素化,并使用3D CNN编码到另一个隐变量xt中。然后,使用上卷积网络将输入图像的隐表示和检索到的模板的隐表示连接起来并解码为定义在体素网格顶点上的FFD场。
Pontes[3]使用了类似的方法,但是隐变量x被用作分类器的输入,该分类器从数据库中找到与输入最接近的模型。同时,使用前馈网络将隐变量解码成变形场∆和权重αi,i=1,,K。然后使用∆和CAD模型字典的加权组合与权重αi,对检索到的模板进行变形。
注意,可以为这些方法设计多个变体。例如,可以使用特定于类的平均形状,而不是使用从数据库检索的三维模型作为模板。在这种情况下,隐变量x可用于将输入分类为形状类别之一,然后选择该类别的学习平均形状作为模板。
基于参数化和变形的技术只能重建固定拓扑的曲面。前者仅限于低属的曲面,后者仅限于模板的拓扑结构。
1.3基于点的技术
3D形状可以用无序集合S= {(xi , yi , zi)} (1≤i≤N)的N个点来表示。这种基于点的表示方法很简单,但是在内存需求方面很有效,它非常适合于精细细节的对象。
1.3.1模型表示
点云的主要挑战在于它们不是规则结构,不容易融入利用空间规则性的卷积结构。为了克服这一限制,提出了三种模型表示方法:
•点集表示将点云视为大小为N×3的矩阵;
•一个或多个尺寸为H×W×3的三通道网格。网格中的每个像素编码(x,y,z)三维点的坐标;
•多视角深度图。
后两种表示(以下称为网格表示)非常适合卷积网络,它们也具有计算效率,因为它们只使用二维卷积进行推断。
1.3.2网络架构
与基于体积和表面的表示类似,使用基于点的表示的技术遵循编码器-解码器模型。虽然它们都对编码器使用相同的架构,但它们在解码器的类型和架构上有所不同,如下图所示。
通常,网格表示使用卷积网络来解码隐变量,见下图a和b。点集表示(图c)使用完全连接的层,因为点云是无序的。全连接层的主要优点是它们捕获全局信息。然而,与卷积运算相比,它们在计算上是昂贵的。
Fan[5]提出了一种结合点集表示和网格表示的生成深度网络(上图a)。该网络由一系列编码器-解码器块组成:
•第一个块获取输入图像并将其映射为隐表示,然后将其解码为大小为H×W的三通道图像。每个像素处的三个值是一个点的坐标。
•随后的每个块获取其先前块的输出,并进一步将其编码和解码为大小为H×W的3通道图像。
•最后一个块是编码器,与前一个块类型相同,然后是由两个分支组成的预测器。第一个分支是解码器,它预测大小为H×W(在本例中为32×24)的三通道图像,其中每个像素处的三个值是点的坐标。第二个分支是全连通网络,它预测一个N×3大小的矩阵,每行是一个3D点(N=256)。
•两个分支的预测使用集合联合合并,生成一个大小为1024的3D点集。
其他两个网络遵循同样的想法,这里就不再详细介绍。基于点的表示可以处理任意拓扑的三维形状。然而,它们需要一个后处理步骤,例如泊松曲面重建,来检索感兴趣的3D曲面网格,从输入到获得最终网格的过程也无法进行端到端的训练。
【1】P. Henderson and V. Ferrari,“Learning to generate and reconstruct 3D meshes with only 2D supervision,”BMVC, 2018.
【2】A.Kurenkov, J. Ji, A. Garg, V. Mehta, J. Gwak, C. Choy, and S. Savarese,“DeformNet: Free-Form Deformation Network for 3D Shape Reconstruction from aSingle Image,” IEEE WACV, 2018.
【3】J. K.Pontes, C. Kong, S. Sridharan, S. Lucey, A. Eriksson, and C. Fookes,“Image2Mesh: A Learning Framework for Single Image 3D Reconstruction,” ACCV,2018.
【4】A.Kanazawa, S. Tulsiani, A. A. Efros, and J. Malik, “Learning Category-SpecificMesh Reconstruction from Image Collections,” ECCV, 2018.
【5】H. Fan, H.Su, and L. Guibas, “A point set generation network for 3D object reconstructionfrom a single image,” in IEEE CVPR, vol. 38, 2017.
本文仅做学术分享,如有侵权,请联系删文。
推荐阅读
-
基于图像的 3D 物体深度学习时代的性能比较和未来研究方向:最新技术与趋势概览
-
基于图像的 3D 物体深度学习时代的人脸重建和场景分析:最新技术与趋势
-
基于图像的三维物体重建:深度学习时代三维表面解码的最新技术和趋势综述
-
基于图像的三维物体重建:深度学习时代的最新技术和训练趋势概览
-
基于图像的 3D 物体深度学习时代的性能比较和未来研究方向:最新技术与趋势概览
-
最新回顾:深度学习图像三维重建的最新方法和未来趋势
-
利用深度学习进行基于图像的三维重建的最新进展综述
-
41 个下载免费 3D 模型的最佳网站-使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 17. Clara.io Clara.io 是一个创建 3D 内容的全球平台,也是一个培养新 3D 艺术家的社区。Clara.io 提供+100,000个免费的3D模型,包括OBJ,Blend,STL,FBX,DAE,Babylon.JS,Three.JS格式,用于 Clara.io,Unity 3D,Blender,Sketchup,Cinema 4D,3DS Max和Maya。 使用说明:免费,标准和专业帐户仅供个人使用,如果您需要将 clara.io 用于商业用途,请与销售团队联系。 18. 3DExport 3DExport是一个市场,您可以在其中购买和销售用于CG项目的3D模型,3D打印模型和纹理。它提供15 +不同的3D格式供下载,如3DS MAX(.max),Cinema4D(.c4d),Maya(.mb,.ma),Lightwave(.lwo),Softimage(.xsi),Wavefront OBJ(.obj),Autodesk FBX(.fbx)等。它还提供15种不同的语言! 使用说明:免费下载仅供个人和非商业用途。 19. 3D Warehouse 3D Warehouse是一个开放的库,允许用户共享和下载SketchUp 3D模型,用于建筑,设计,施工和娱乐!任何人都可以免费制作,修改和重新上传内容到3D仓库,您可以找到任何您能想到的东西,如家具,电子产品,室内产品等。 使用说明:3D Warehouse中的所有模型都是免费的,因此任何人都可以下载文件以用于SketchUp甚至其他软件,如AutoCAD,Revit和ArchiCAD。 20. CadNav.com CadNav是CGI平面设计师和CAD / CAM / CAE工程师的在线3D模型库,我们提供超过50000 +免费3D模型和CAD模型下载。在CadNav网站上,您可以下载高质量的多边形网格3D模型,3D CAD实体对象,纹理,Vray材料,3D作品,CAD图纸等。 使用说明:免费下载仅供个人和非商业用途。 21. All3dfree.net 就像网站名称一样,它提供免费的3D模型,还包括Vray材料,CAD块,2d和3d纹理集合,无需注册即可免费下载。它是不断更新的,因此您可以查找或请求3DS,MAX,C4D,skp,OBJ,FBX,MTL等格式的模型。 使用说明:所有资源均不允许用于商业用途,否则您将承担责任。 22. Hum3D 自2005年以来,Hum3D帮助来自3多个国家的80D艺术家节省3D建模时间,并制作逼真的3D模型,用于电影,视频游戏,AR应用程序和可视化。所有模型均由首席3D艺术家进行验证,他们检查其是否符合专业要求和最新的3D建模标准。 使用说明:免费下载仅供个人和非商业用途。 23. Artist-3D.com 艺术家-3D 库存的免费 3D 模型下载按通用类别排序。它为人体解剖学、汽车、家具、火箭、卫星等模型提供 AutoDesk 3DS Max 格式。您还可以在浏览他们的网站时找到教程和类似类型的建模。 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 24. Free the models 就像本网站的标题一样,它为3d应用程序和3d游戏引擎提供免费的内容模型。您可以为您的任何项目找到许多有趣且有用的模型!它提供3ds,wavefront,bryce,poser,lightwave,md2和unity3d格式的模型。还有一个很棒的纹理集合,可以在您最喜欢的建模和渲染程序中使用。 使用说明:您从这里下载的所有内容都可以免费使用,除非它不能包含在另一个免费的网络或CD收藏中,也不能单独出售。否则,您可以在商业游戏,3D应用程序或渲染作品中使用它。您不必提供信用,但如果您这样做,那就太好了。 25. Resources.blogscopia 本网站由一家名为Scopia的公司创建。他们制作3D图像和视频,您可以找到许多为CGI工作的信息架构设计的模型,所有这些都可以在现实生活中使用。您可以免费下载它们,但是,如果您想一次下载它们,您可以支付 3 到 9 欧元。 使用说明:您可以免费下载模型部分的所有文件。每个压缩文件都包含您也可以在此处找到的许可证。基本上,您可以对文件执行任何操作。唯一的限制是不归属于Scopia的重新分发。 26.ambientCG 1000+公共领域PBR材料适合所有人!环境CG是使用许多不同的方法和资产类型创建的,例如照片纹理(PBR),贴花(PBR),图集(PBR),照片纹理(普通),物质存档(SBSAR),雕刻画笔,3D模型和地形。您可以在所有项目中*使用它们! 使用说明:在 ambientCG 上提供下载的所有 PBR 材料、画笔、照片和 3D 模型均根据知识共享 CC0 1.0 通用许可提供。您可以复制、修改、分发和执行作品,即使是出于商业目的,也无需征得许可。信用将不胜感激。 不要满足于平庸的大理石纹理 - 立即使用我们的免费PBR大理石纹理升级您的3D设计。 27.Pixar One Twenty Eight 这是一个提供官方动画行业经典纹理的网站:皮克斯,创建于 1993 年,该纹理库包括 128 个重复纹理,现在免费提供。 它包含您来到的纹理,包括砖块和动物毛皮。肯定会有一些你可以使用的东西。 使用说明:皮克斯动画工作室的《Pixar One Twenty Eight》根据知识共享署名4.0国际许可协议进行许可。即使出于商业目的,您也可以重新混合、调整和构建您的作品,只要您以相同的条款对新创作进行信用和许可。 访问数以千计的免费纹理并提升您的设计游戏 - 立即开始下载! 28. 3DXO 即使有近 620 个免费贴纸可供下载,3DXO 也不是最大的资源,但它的内容非常有用,不需要注册。无论是简单的墙壁或地板,还是一些奇怪的小东西,您都需要的纹理都可以在此网站上看到。 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 29. 3DModelsCC0 3DModelsCC0 与其他产品的不同之处在于它包含超过 250+ 个高质量 3D 模型,并且本网站上的所有内容都是免费的,完全是公共领域!使用我们的模型时无需信用或归属! 使用说明:为每个人提供完全免费的公共领域内容。 30.Sketch up texture club Sketchup Texture Club是一个非营利性的教育和信息门户网站,由3D社区的图像促进协会管理,特别强调面向学生和建筑和室内设计专业人士的可视化和渲染技术,以及所有正在学习3D可视化的人。 使用说明:您无需支付版税或使用费。纹理可以免费下载和使用。不允许将纹理作为竞争产品出售或重新分发,即使图像被修改也是如此。 31. FlippedNormals FlippedNormal 是一个提供计算机图形和 3D 资产的市场,您可以找到许多用于雕刻、建模、纹理、概念艺术、3D 模型、游戏资产或课程的高级资产! 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 32. NASA 3D NASA 3D网站是一个在线门户,提供与太空和各种NASA任务相关的大量三维模型和模拟。该网站是用户友好的,并提供有关每个型号的详细信息。该网站允许用户探索和下载几种不同格式的模型,包括 OBJ、STL 和 FBX,只需单击下载按钮即可。 使用说明: 要下载模型,只需单击模型页面上的下载按钮并选择所需的格式。 33. 3DAGOGO (Astroprint) 3DAGOGO 是一个提供广泛 3D 模型的网站,包括角色、车辆和建筑物。3DAGOGO 的独特功能之一是它专注于适合 3D 打印的模型,使其成为希望创建物理原型或模型的设计师的绝佳资源。要使用 3DAGOGO,设计师只需在网站上搜索他们正在寻找的模型类型,然后下载 STL 格式的文件。 使用说明: 要使用 3DAGOGO,只需搜索所需的 3D 模型类型并下载 STL 格式的文件。根据需要自定义模型,并确保在将其用于商业目的之前检查使用权限。 34. FreeCAD FreeCAD是一款了不起的3D建模软件,可让您在计算机上创建令人难以置信的3D设计。该软件可免费下载和使用,它提供了广泛的工具和功能,可用于创建用于各种目的的3D模型。 该网站易于浏览,您可以找到开始使用FreeCAD的所有必要信息。此外,该网站还提供一系列教程和指南,可帮助您了解 3D 建模的来龙去脉。 使用说明: 要下载模型,请访问网站并从库中选择所需的模型。该网站还提供了一系列使用该软件的教程和指南。 35. Pinshape Pinshape是一个提供一系列3D打印模型的网站。网站上提供的型号质量很高,因此您可以确保您的最终印刷产品看起来很棒。该网站提供了广泛的模型,包括从家居用品到小雕像和珠宝的所有物品。 但这还不是Pinshape所能提供的全部!该网站还允许用户上传和共享自己的3D模型。这意味着您不仅可以下载出色的模型,还可以通过分享自己的设计为社区做出贡献。此外,Pinshape 提供了一系列自定义选项,因此您可以调整和调整模型以满足您的特定需求。 使用说明: 要下载模型,请在网站上创建一个帐户,搜索所需的模型,然后单击下载按钮。该网站还为每种型号提供了一系列定制选项。 36.Yeggi Yeggi 提供了大量免费的 3D 模型,您可以下载各种格式的模型,例如 STL、OBJ 和 FBX。该网站易于使用,您可以按关键字、类别或特定网站搜索模型。 Yeggi 对于任何寻找 3D 模型的人来说都是一个很好的资源。它提供了大量的模型集合,从日常物品到复杂的机械,以及介于两者之间的一切。该网站的收藏量在不断增长,每天都有新的型号增加。 使用说明: 要下载模型,请在网站上搜索所需的模型,然后单击下载按钮。该网站还提供指向托管模型的原始网站的链接。 37. Open3DModel 来自开放3D模型的图像 Open3DModel具有各种类别的模型,包括建筑,车辆和角色。无论您需要建筑物,汽车还是人的3D模型,都可以在此网站上找到。 该网站易于浏览,您可以按类别或关键字搜索模型。每个模型都附带预览图像和详细信息,例如文件格式、大小和多边形数量。此信息可以帮助您选择适合您需求的模型。 使用说明: 要下载模型,请访问网站,从库中选择所需的模型,然后单击下载按钮。 使用最好的 3D 资产管理工具简化您的 3D 制作流程。立即试用它们,将您的 3D 项目提升到一个新的水平! 38. 3DExport 对于那些为其 3D 设计项目寻找 3D 模型、纹理和其他资源的人来说,该平台是一个很好的资源。该网站有大量模型可供选择,包括 3D 打印对象、游戏资产等。用户可以按类别、文件格式或价格范围浏览,以找到适合其项目的完美资源。此外,3DExport 还提供一系列教程和其他 3D 资源,以帮助用户提高技能并创建更令人印象深刻的设计。 使用说明: 要使用 3DExport,只需创建一个帐户并浏览可用型号。您可以按类别、格式和价格进行搜索,以找到所需的型号。找到喜欢的模型后,只需下载它并开始在您的项目中使用它。 39.Blend Swap Blend Swap是一个社区驱动的市场,提供与Blender软件兼容的各种免费3D模型。该平台允许用户共享和下载模型、纹理和其他资产,以便在他们的项目中使用。 使用说明: 创建免费帐户后,您可以浏览社区上传的大量3D模型。当您找到要使用的一个时,只需下载它并将其导入您选择的 3D 软件即可。 40. 3DShook 3DShook 是一个高级 3D 模型市场,提供一系列用于建筑、游戏等各个行业的高质量模型。该平台提供基于订阅的模型,具有不同的定价计划,允许用户访问一系列模型。 使用说明: 注册免费帐户后,只需浏览3D模型库,选择您喜欢的模型,然后以您需要的格式下载它们。 41. Smithsonian X 3D 史密森尼 X 3D 对于正在寻找历史文物和文物的高质量 3D 模型的设计师来说,这是一个独特的资源。该平台提供了大量3D模型,这些模型是根据史密森尼博物馆和研究中心中的真实物体扫描创建的。 使用说明: