“Vidu4D： Single Generated Video to High-Fidelity 4D Reconstruction with Dynamic Gaussian Surfels”的项目页面现已开放，该模型是一种从单代视频生成高保真DGS（Dynamic Gaussian Surfels）的重建模型！
Vidu4D：使用动态高斯阴影将单生成视频转换为高保真 4D 重建
视频生成模型因其产生逼真和富有想象力的帧的能力而受到特别关注。 还观察到这些模型表现出很强的三维一致性，大大增加了它们作为世界模拟器的潜力。 在这项研究中，我们使用了 Vidu4D，这是一种新的重建模型，可以解决与非刚度和帧失真相关的挑战，并且擅长从单代视频中准确重建 4D（即连续 3D）表示正在推出。 此功能对于创建在空间和时间上一致的高保真虚拟内容至关重要。 Vidu4D 的核心是我们提出的动态高斯 Surfels （DGS） 技术。 DGS优化了时变翘曲函数，将高斯曲面（表面元素）从静态状态转换为动态翘曲状态。 这种变换可以准确描述随时间推移的运动和变形。 为了保持高斯冲浪者与表面对齐的结构完整性，我们设计了一种基于连续翘曲场的翘曲态几何正则化，用于估计法线。 此外，通过学习高斯冲浪者旋转和缩放参数的精细化，大大减少了变形过程中纹理的闪烁，增强了对细粒度外观细节的捕捉。 Vidu4D 还包括一个新的初始化状态，可正确启动 DGS 翘曲场。 通过为Vidu4D配备现有的视频生成模型，整个框架在外观和几何形状上展示了高保真文本到4D的生成。
什么是Vidu4D?
Vidu4D 是一种从单个视频创建三维逼真 3D 图像的技术。 过去有一些方法可以制作 3D 视频，但动作既不流畅也不失真。
Vidu4D解决了这个问题。 借助这项技术，您可以准确再现视频中的运动。 例如，动物奔跑的外观或跳跃的人的动作看起来很自然。
它是如何工作的？
Vidu4D使用视频中一种称为“高斯冲浪”的特殊机制。 冲浪者就像表面上的一个小元素。 这是使用一种称为高斯冲浪器的方法成功地拼接在一起的，以再现视频中的运动。
这个高斯冲浪器会随着时间的推移而移动和变化，因此您可以逼真地再现视频中字符和物体的运动。 这就像移动一块粘土一样。
获得更好的外观
此外，该技术还考虑了冲浪者的质地和旋转，因此即使是外观的微小变化也可以流畅地表达出来。 例如，纹理的设计是为了防止闪烁，并使每个细节看起来都很美。
这是一项非常有趣的技术！ 如果将来能看到一个应用这个工具形状，那将是一件有趣的事情。
“Vidu4D”的项目页面已经发布