KAIST and Google DeepMind Open-Source FL4N for Real-Time 4D Dynamic Scene Reconstruction

Researchers from KAIST and Google DeepMind have jointly proposed FL4N, a 4D novel view synthesis model that reconstructs dynamic scenes from monocular video and renders views from different camera angles and time points in real time. The paper is available on arXiv, with code and model weights open-sourced. Unlike traditional 3D reconstruction, which targets static scenes, 4D reconstruction must capture how objects move over time — and existing approaches built on explicit representations such as 4D Gaussians often suffer ghosting, edge artifacts, and poor temporal consistency in complex motion. FL4N instead uses feed-forward latent space modeling, encoding a scene's spatial structure and temporal changes into a unified latent representation. Built on a pretrained static scene model, it adds a lightweight dynamic encoder that learns motion through temporal residuals, reducing reliance on complex 3D motion annotations, uses static scene features to separate object motion from camera-induced parallax, and supports independently adjusting viewpoint and scene time.

近日，韩国科学技术院（KAIST）与Google DeepMind研究人员联合提出4D新视角合成模型FL4N，能够根据单目视频重建动态场景，并实时渲染不同视角及时间点的画面。目前，相关论文已发布至arXiv，项目代码及模型权重同步开源。

据了解，传统3D重建主要针对静态场景，而4D重建需要进一步捕捉物体随时间发生的运动变化。现有部分方法依赖4D Gaussian等显式表示，在处理复杂运动场景时，容易出现画面重影、物体边缘伪影及时间一致性不足等问题。

针对上述挑战，FL4N采用前馈式潜在空间建模方法，将场景的空间结构与时间变化编码至统一的潜在表示中。该模型基于预训练静态场景模型，引入轻量级动态编码器，通过时间残差学习物体运动及场景变化，减少对复杂三维运动标注的依赖。

在技术实现上，FL4N利用静态场景特征辅助动态建模，区分物体自身运动与相机移动造成的视差，并支持独立调整观察视角和场景时间，实现动态画面的连续合成。

实验方面，研究团队在NVIDIA Dynamic Scenes、N3DV及Kubric4D等数据集上进行了测试。论文显示，FL4N在多项图像质量指标上优于所比较的4D Gaussian方法，并具备实时新视角渲染能力，有望应用于XR内容制作、沉浸式视频及动态数字孪生等领域。

上一篇： 英伟达深化与Meta合作，优化Muse AI模型性能并拟投资30亿美元

下一篇： 沙盒游戏《Voxel Playground》登陆Steam PC VR，多人模式预计圣诞上线

（*收到爆料后VR陀螺将尽快联系爆料者进行二次确认，并判断内容是否适合发布。）

友情链接： 第十届金陀螺奖 陀螺科技会员 前方智能 游戏陀螺 歌尔 高通 vive PICO 雷鸟创新 亚洲电玩通