知识神经辐射场（Knowledge NeRF）：面向动态关节物体的少样本新视角合成技术及其在三维重建中的应用

　　本文提出了一种名为Knowledge NeRF的创新框架，针对动态关节物体（articulated objects）的少样本新视角合成（novel view synthesis）问题提出突破性解决方案。该方法通过构建预训练的姿势特定神经辐射场（NeRF）作为知识库，并设计轻量化投影模块，仅需5张输入图像即可实现高质量动态三维重建，其渲染效果媲美百图训练的NeRF模型。该技术对增强现实（AR）、虚拟现实（VR）及医学三维可视化等领域具有重要应用价值。

　　

Highlight

我们提出Knowledge NeRF——一种专为动态关节物体设计的少样本新视角合成框架。传统动态NeRF方法需依赖长时单目视频学习变形场，在稀疏观测条件下性能急剧下降。我们的核心创新在于复用高质量姿势特异性NeRF作为知识库，并为每个新姿态训练轻量化投影模块，将当前状态的三维点映射至规范空间对应点。通过冻结预训练辐射场并仅用五张图像训练该模块，Knowledge NeRF的渲染质量可与百图训练的NeRF相媲美。实验结果验证了本方法仅用5张图像重建动态三维场景的有效性。Knowledge NeRF为动态关节物体的新视角合成提供了全新范式与可行解决方案。

Introduction

从少量视角输入中重建动态三维场景并实现任意视角重渲染，是增强现实（AR）、虚拟现实（VR）、三维内容生产、体育分析、医疗（如手术规划）及影视工业领域的长期挑战。在动态目标中，关节运动因涉及机器人操控、沉浸式VR/AR体验及人机交互而备受关注。虽然神经辐射场（NeRF）在静态场景表示中表现出色，但其无法直接重建随时间变化的场景。现有动态NeRF方法通常从视频中重建三维场景，但在观测稀疏时会出现几何与外观模糊。因此，在有限视角下实现关节物体的高质量动态重建仍是难题。

Problem Formulation

本文目标是通过稀疏视角输入重建当前场景S₁，捕捉关节物体从预训练知识库S₀到S₁的动态变化。在此过程中，我们关注两个关键现象：

• 表面一致性：关节物体表面在形变前后由相同点组成。本文聚焦于单个关节物体的三维重建，不考虑环境交互。

• 运动连续性：物体运动可通过参数化模型（如旋转矩阵、平移向量）描述。

Lightweight Projection Module

为实现极稀疏视角下的三维重建与新视角合成，我们利用封装历史时刻信息的知识库。为实现知识迁移，我们提出轻量化投影模块。该模块学习当前状态物体与知识库间的对应关系，通过隐式计算运动关联性，将当前状态三维点映射至知识库中的规范点。查询新状态点的颜色与不透明度时，Knowledge NeRF通过该模块检索知识库中对应点信息并复用其属性。

Implementation Details

知识库中的NeRF模型沿用原版架构，包含8层网络用于编码规范场景的体积密度与颜色。投影模块F_P仅需表征简单空间变换函数，因此采用4层MLP实现，输出层为全连接层。在MLP第二层及最终输出层应用残差连接提升性能。

Limitations

Knowledge NeRF在少输入新视角合成中表现优异，但对动态关节物体的每种不同运动需重新训练投影模块，带来显著时间与计算资源开销。这在实时应用中存在效率瓶颈，是该方法的核心权衡。

Conclusions

本文提出的Knowledge NeRF通过整合历史知识与轻量化投影模块，有效解决了关节物体及常见运动物体的稀疏视角重建与少样本新视角合成问题。实验结果证明了该方法在多个数据集上的可靠性与先进性。