字节跳动，CAD和CGk国家重点实验室浙江大学的研究人员介绍了一项名为“DreamSpace： Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation”的技术。
DreamSpace 允许用户通过文本提示个性化真实场景重建的外观，在 HMD 设备上提供身临其境的 VR 体验。
基于扩散的方法在生成 2D 媒体方面取得了显著的成功。 然而，在 XR/VR 等 3D 空间应用中，使用场景级网格纹理实现类似性能仍然有限，这主要是由于 3D 几何体的复杂性以及对沉浸式自由视点渲染的需求。 在本文中，我们提出了一种新的室内场景纹理框架，该框架能够生成具有迷人细节和真实空间一致性的文本驱动的纹理。 关键的洞察力是首先从场景的中心视角想象一个风格化的 360 度全景纹理，然后通过修复和模仿技术将其传播到该区域的其余部分。 为了确保场景的纹理有意义地对齐，我们开发了一种新的从粗到细的全景纹理生成方法，使用双纹理对齐，该方法同时考虑了捕获场景的几何形状和纹理线索。 为了在纹理传播过程中从杂乱的形状中生存下来，我们设计了一种分离策略，在敏感区域进行纹理修复，然后学习隐式模仿网络来合成小的隐藏结构区域的纹理。 在真实的室内场景中进行了广泛的实验和身临其境的VR应用，证明了生成的纹理的高质量和VR头盔的引人入胜的体验。