Lift4D：在野场景下统一单视图3D估计与4D重建

背景

从单目视频中重建完整的动态物体，本质上是一个极具挑战性的逆问题。这一过程需要整合来自直接观察的视觉线索，以及基于数据驱动的几何与外观先验。

现有的主流方法通常分为两类：

1. 直接预测法：直接从视觉输入中学习并预测每一帧的3D表示。然而，这类方法严重受限于4D训练数据的稀缺性，难以泛化到复杂场景。
2. 初始化-变形法：先初始化一个3D表示，随后基于视频证据对其进行变形和细化。这类方法仅在初始重建阶段利用先验，后续完全依赖视频监督信号。

上述两类方法在面对具有大变形、严重遮挡等复杂“在野”（in-the-wild）场景时，均表现不佳。前者因缺乏数据支持而精度不足，后者因过度依赖视频监督而在遮挡区域产生伪影或几何断裂。

核心内容

为了解决上述局限性，研究团队提出了 Lift4D，这是一个测试时优化（test-time optimization）框架，旨在通过协调单视图3D估计来实现高质量的4D重建。

1. 时间一致性的初始化

Lift4D 首先适配了一个现有的单视图3D重建模型。通过引入因果潜在条件（causal latent conditioning），该模型能够生成时间上一致的逐帧预测。具体而言，每一帧的3D潜在变量由新鲜噪声与上一帧去噪后的潜在变量混合初始化，从而确保时间连贯性。这些输出被解码为独立的3D高斯泼溅（3D Gaussian Splatting, 3DGS）集合，为后续的变形3DGS表示提供了连贯的初始化基础。

2. 基于遮挡感知的“雕刻”优化

在获得初始表示后，Lift4D 通过一种遮挡感知的优化策略对3D表示进行“雕刻”，以匹配输入视频：

• 可见区域：忠实恢复可见表面的细节。
• 不可见区域：利用视图条件扩散先验（view-conditioned diffusion prior）来补全未观测到的区域。

3. 4D高斯泼溅表示结构

研究将逐帧预测的3D高斯集合整合为一个完整的4D重建，其结构由两部分组成：

• 规范高斯（Canonical Gaussians）：代表基础几何。
• 变形节点（Deformation Nodes）：分为两套稀疏节点，分别用于驱动几何变形和外观细化。

4. 联合优化流程

Lift4D 的优化过程包含两个主要阶段：

1. 几何重建：第一套变形节点通过逐帧重建几何的重建损失（$\mathcal{L}_{rec}$）进行拟合。
2. 外观细化：第二套细粒度外观变形节点通过优化颜色和外观损失（$\mathcal{L}_{app}$）进行细化。
   • 外观监督信号来源：
     • 从随机新视角渲染4D重建，并添加噪声。
     • 利用新视角扩散先验对噪声渲染进行去噪，该先验以逐帧3D输出中遮挡被修复的帧为条件。
     • 将去噪后的新视角样本蒸馏结果与可见像素的渲染损失相结合，形成外观监督信号。这不仅聚合了跨帧的可见细节，还在遮挡和未观测区域进行了合理的“幻觉”补全。

关键要点

• 测试时优化框架：Lift4D 不依赖大规模4D训练数据，而是在测试阶段通过优化现有模型来适应特定视频，解决了4D数据稀缺的问题。
• 因果潜在传播：通过因果机制混合噪声与历史潜在变量，确保了单视图3D重建在时间维度上的一致性，避免了逐帧重建常见的闪烁和不连贯。
• 扩散先验用于补全：创新性地利用视图条件扩散模型作为先验，专门用于处理遮挡区域。通过新视角扩散去噪，模型能够“想象”出被遮挡部分的合理外观，显著提升了重建的完整性。
• 双阶段变形节点：将几何变形与外观细化分离，使用两套不同的稀疏变形节点分别优化，使得模型能够更精细地处理非刚性运动和大变形场景。
• 遮挡感知损失：在优化过程中显式考虑遮挡情况，仅对可见像素和补全后的区域施加监督，避免了对不可见区域的错误约束。

意义与影响

Lift4D 在合成数据和在野视频上的实验表明，其性能显著优于现有的4D重建基线方法。特别是在处理严重遮挡和非刚性运动等挑战性场景时，Lift4D 能够提供更完整的时空一致几何、更锐利的外观细节以及更准确的运动估计。

这一工作的意义在于：

1. 突破了数据瓶颈：通过结合单视图3D先验和扩散模型，减少了对大规模4D标注数据的依赖。
2. 提升了鲁棒性：遮挡感知优化机制使得模型在真实世界复杂场景（如人物行走、物体交互）中具有更强的鲁棒性。
3. 推动了4D生成式AI的发展：展示了如何将扩散模型的有效性与3D高斯泼溅的高效渲染相结合，为动态场景的生成与重建提供了新的技术路径。