来自 Meta、加州大学圣地亚哥分校和马里兰大学帕克分校的研究人员宣布“TextureDreamer：通过几何感知扩散进行图像引导纹理合成”，这项技术可将多个图像中的纹理传输到目标 3D模型，一直是。
TextureDreamer：通过几何感知扩散进行图像引导纹理合成
TextureDreamer 将逼真、高保真、几何感知的纹理从 3-5 个图像传输到任何 3D 网格。
我们推出了TextureDreamer。 TextureDreamer 是一种新颖的图像引导纹理合成方法，可将可重新点亮的纹理从少量输入图像 (3-5) 传输到任意类别的目标 3D 形状。
纹理创建是一项至关重要的视觉和图形挑战。工业公司聘请经验丰富的艺术家来手工制作他们的 3D 资产纹理。经典方法需要密集采样的视图和精确对齐的几何形状，而基于学习的方法仅限于数据集中特定于类别的形状。相比之下，TextureDreamer 可以将高度详细且复杂的纹理从现实世界环境转移到任何对象，只需几张随意捕获的图像，这可能会显着使纹理创建民主化。
我们的核心理念是个性化形状识别分数蒸馏 (PGSD)，包括用于纹理信息提取的个性化建模、用于详细外观合成的变分分数蒸馏以及 ControlNet 的显式形状指导。受到扩散模型最新进展的启发。通过我们的集成和一些必要的修复，纹理质量得到了显着提高。对各种类别的真实图像进行的实验表明，TextureDreamer 可以成功地将高度逼真且具有语义意义的纹理传输到任意对象，超越了以前最先进技术的视觉质量。
看起来它非常适合创建简单的图案变化纹理。
我感兴趣的是，即使是现在，这种转录技术似乎仍有使用的空间，而不是从头开始生成它。
代码已经发布了吗？其他详细信息请查看官方项目页面。