随着虚拟现实、游戏开发、机器人仿真和自动驾驶等领域对高质量三维场景的需求迅速增长,如何从有限的二维输入高效地生成可交互的 3D 环境成为研究与工程的热点。NVIDIA 提出的 Lyra 框架,提出了一种基于视频扩散模型自蒸馏的端到端方案,能够从单张图像或单目视频生成可实时渲染的 3D Gaussian Splatting(3DGS)表示。Lyra 将 2D 视频扩散模型强大的想象能力与显式 3D 表示结合,弥补了传统重建方法对多视角实拍数据的依赖,推动了从二维媒体到三维场景生成的实用化进程。 Lyra 的核心思想在于通过自蒸馏将隐式 3D 知识从视频扩散模型迁移到显式的 3DGS 解码器。具体而言,Lyra 首先利用经过训练的视频扩散模型生成多视角的视频潜表示,这些潜表示本身由 2D 模型预测并携带一致的视角变化信息。随后,框架将典型的 RGB 解码器与一个专门的 3D Gaussian Splatting 解码器联合训练,使 3DGS 解码器以 RGB 解码器的输出为监督目标,从而在训练阶段使用合成的多视角数据来学习重建三维结构。
由于训练数据来自视频扩散模型,Lyra 无需昂贵的真实多视角数据集,从而大幅降低数据获取门槛。 在技术实现上,Lyra 主要由三个关键部分组成。第一部分是基于强大视频扩散模型的合成数据生成器。该模型能够从一张图像或一段视频出发,生成具有连贯视点变化的多帧序列,模拟从不同摄像机位置观察同一场景的效果。第二部分是联合解码器架构,其中 RGB 解码器负责生成高质量的图像渲染,3DGS 解码器负责生成能够用于实时渲染和交互的三维高斯点云表示。第三部分是自蒸馏训练策略,采用 RGB 解码器生成的图像作为监督信号,让 3DGS 解码器在没有真实多视角采集的情况下学习到一致的三维结构与视角几何关系。
3D Gaussian Splatting 作为 Lyra 的三维表示核心,近年来因其在实时渲染与存储效率上的优势而备受关注。3DGS 利用了大量带有高斯核的点来近似场景的体积和外观属性,结合高效的重投影和融合策略,可以实现低延迟的多视角渲染。与传统的体渲染或网格化表示相比,3DGS 在细节表现与光照一致性上表现出色,并且更容易与现有图形管线集成,适合用于实时应用。 Lyra 在静态场景与动态场景生成上都表现出色。对于静态单张图像输入,Lyra 可以生成具有丰富视角变化的多视角视频潜表示,并通过 3DGS 解码器重建出完整的三维点云场景,支持实时旋转、漫游与局部细节放大。对于动态单目视频输入,Lyra 进一步利用视频输入中的时间一致性和 ViPE 等深度估计器提供的深度线索,生成带有时间变化信息的 4D 三维表示,使得场景中的运动对象和动态光照能够在三维空间中得到合理呈现。
从工程角度看,Lyra 的优势在于可扩展性与训练数据合成能力。传统 3D 重建技术通常依赖多视角实拍数据进行监督,采集成本高且覆盖场景有限。Lyra 利用视频扩散模型的合成能力生成多样化训练样本,不仅降低了数据采集门槛,还能通过控制摄像机轨迹和场景变化来增强模型的泛化能力。此外,Lyra 支持使用预生成的潜表示跳过扩散推理环节,便于开发者进行快速原型验证或在资源受限的环境中部署。 Lyra 在实际部署时对硬件有一定要求。论文及开源实现表明,Lyra 在 NVIDIA H100 或 A100 GPU 上测试效果良好。
对于显存受限的 GPU,Lyra 提供了多种模型参数与推理组件的卸载选项,可以将部分模型组件或词表加载到主机内存中以节省显存,不过这会增加推理延迟。Lyra 的最大内存使用观测值在全面卸载情形下约为 43GB,开发者可以根据目标平台调整 offloading 参数以平衡性能和资源消耗。 在定量与定性评估方面,Lyra 在静态与动态 3D 场景生成任务中均表现出竞争力。利用合成数据进行训练后,Lyra 在细节还原、视角一致性以及动态对象的时间一致性方面均优于部分以真实多视角数据训练的基线方法。Lyra 的优势不仅来自于视频扩散模型的图像生成能力,更来自于自蒸馏过程对三维几何约束的有效传递,使得生成的 3DGS 能够在实际渲染中保持几何连贯性和色彩一致性。 Lyra 的应用前景十分广泛。
在游戏和影视制作领域,Lyra 可以作为场景快速原型工具,将单张概念图或拍摄视频快速扩展为可交互的三维背景,节省美术与拍摄成本。在机器人仿真与训练中,Lyra 能生成逼真的三维环境,帮助训练感知与导航算法,减少对真实世界数据采集的依赖。在建筑可视化和虚拟旅游中,Lyra 能把平面照片转换为可探索的三维空间,提升用户沉浸感。此外,Lyra 也为在线内容创作和元宇宙生态提供了工具,内容创作者能够更便捷地将二维素材转化为沉浸式体验。 尽管 Lyra 展示了强大的能力,但仍存在若干挑战与局限值得注意。合成数据的风格、分布与真实世界可能存在偏差,尤其在复杂光照、透明材质或细微几何结构上,扩散生成的多视角内容可能带来不一致或伪影,从而影响 3DGS 的重建质量。
动态场景中,运动遮挡与速度变化也会对三维表示的稳定性提出挑战,需要更强的时间一致性约束与深度监督。此外,模型的计算成本与资源依赖对于移动端或嵌入式场景仍是瓶颈,后续需在模型压缩、加速推理和硬件协同上取得突破。 在学术与工程方向的后续研究可以从多个角度改进 Lyra 的能力。一个方向是改进视频扩散模型与 3D 解码器之间的协同训练策略,引入更强的几何约束或显式的深度一致性损失,以减少合成与真实场景间的域差异。另一个方向是结合多模态监督,例如利用文本描述或语义标签来引导 3D 场景的语义一致性,使生成的环境不仅在外观上逼真,在语义上也更易于后续任务使用。还有方向是将 3DGS 与神经渲染或可微分渲染技术结合,提升光照与阴影的一致性,从而进一步提高渲染真实感。
实践中,开发者可以借助 Lyra 的开源实现进行二次开发與产品化。Lyra 提供了从数据生成、解码器训练到渲染的一整套工具链,并支持与 ViPE 等深度估计器协同使用以增强动态场景生成质量。对于希望在真实世界数据上微调模型的团队,Lyra 也包含用于训练和可视化的脚本,便于将合成训练管线迁移到真实数据或混合数据集进行微调,以获得更好的泛化能力。 总结来看,Lyra 代表了从二维输入生成可交互、高质量三维场景的一次重要进展。通过视频扩散模型自蒸馏和 3D Gaussian Splatting 的结合,Lyra 能在无需大量真实多视角数据的情况下生成静态与动态 3D 场景并支持实时渲染。尽管仍面临合成与真实差异、计算资源等挑战,Lyra 已为虚拟内容创作、机器人仿真和实时渲染等领域打开了新的可能。
未来随着生成模型、几何表示与硬件加速的持续演进,类似 Lyra 的方法将在更多实际应用中发挥核心作用,推动从二维媒体到三维沉浸式体验的广泛普及。 。
