[论文阅读] TensoRF：张量辐射场 张量辐射场相关工作

张量分解

最广泛使用的分解是Tucker分解和CP分解，二者都可以看做是矩阵奇异值分解（SVD）的推广。CP分解可以看作特殊的Tucker分解，其核心张量是对角的。通过结合CP和Tucker分解，块项分解（BTD）及其许多变体被提出。这项工作中，直接应用了CP分解，此外引入了一种新的向量矩阵分解，也可以看做一种特殊的BTD。

场景表示和辐射场

各种场景表示，包括网格、点云、体积、隐函数，近年来得到了广泛的研究。很多神经表示的方法被提出用于高质量渲染或者自然信号表示。NeRF引入了辐射场来解决新颖的视图合成问题并实现照片级真实感质量。这种表达方式已经快速拓展并且应用于各种图形和视觉应用，包括生成模型、外观获取、表面重建、快速渲染、外观编辑、动态捕捉等。虽然NeRF具有逼真的渲染和紧凑的模型，但是它纯基于MLP的表示在重建和渲染速度缓慢方面存在局限性。最近一些方法在辐射场重建中利用了体素特征网格，实现了快速渲染。然而，这些基于网格的方法仍然需要较长的重建时间，甚至导致较高的内存成本，牺牲了NeRF的紧凑性。基于特征网格，本文提出一种新颖的张量场景表示，利用张量分解技术实现快速重建和紧凑建模。

其他方法设计了跨场景训练的通用网络模块，以实现图像相关的辐射场渲染和快速重建。本文方法侧重于辐射场表示，并且仅考虑每个场景的优化（类似NeRF）。本文方法已经可以实现高效的辐射场重建，而不需要任何跨场景的泛化。将通用设置的拓展留作未来工作。

同期工作

辐射场建模领域发展迅速。DVGO和Plenoxels也优化了特征的体素网格来实现快速辐射场重建。然而它们仍然像以前基于体素的方法一样直接优化每个体素的特征，因此需要大量内存。不同的是，本文方法将特征网格分解成紧凑的组件，并显著提高了内存效率。Instant-NGP使用多分辨率哈希进行高效编码，同样获得了很高的紧凑表达。该技术和本文基于饮食分解的技术是垂直的，这里的每个向量矩阵因子都可以用这种散列技术进行编码，这将作为未来的工作。EG3D使用了三平面表示3D GAN，它们的表示类似于VM分解，可以看作具有恒定向量的特殊版本。