资讯/NEWS
MeshAnything:艺术家创建的带有自回归转换器的网格生成 -
发布于 2024/08/07  |  发表在 [ CG咨询 ]    浏览 ( 394 )      0
MeshAnything:艺术家创建的带有自回归转换器的网格生成 - 引入重建 3D 网格的技术,就好像它们是由艺术家手工建模一样!

MeshAnything:艺术家创建的带有自回归转换器的网格生成 - 引入重建 3D 网格的技术,就好像它们是由艺术家手工建模一样!

1.gif

南洋理工大学的S Lab、2 Hai AI Lab、复旦大学、北京大学、中科院大学、Sense Time Research、Stepfan、西湖大学等,都推出了全新的Remesh技术! “MeshAnything: Artist-Created Mesh Generation with Selfregressive Transformers” 看来艺术家会重建 3D 网格,就好像它是手工建模一样!


MeshAnything:艺术家创建的带有自回归转换器的网格生成

1.gif

MeshAnything 模仿人类艺术家从任何 3D 表示中提取网格。 MeshAnything 可以与各种 3D 资产制作流程(包括 3D 重建和生成)相结合,并将结果转换为艺术家创建的网格,这些网格可以无缝应用于 3D 行业。

MeshAnything生成的网格具有百分之一的人脸数量,显著提高了存储、渲染和仿真效率,同时实现了与传统方法相当的精度。

近年来,通过重建和生成创建的 3D 资产已经开始与手工创建的资产的质量相媲美,凸显了它们的潜在替代品。 然而,这些资产总是需要转换为用于3D工业应用的网格,而通过当前的网格提取技术生成的网格远不如艺术家创建的网格(AM),即由人类艺术家创建的网格,因此这种潜力在很大程度上尚未实现。 具体来说,当前的网格提取方法依赖于致密的表面,而忽略了几何特征,导致效率低下、后处理复杂和表示质量差。 为了解决这些问题,我们引入了MeshAnything,该模型将网格提取视为生成问题,并根据指定的形状生成AM。 通过将任何 3D 表示的 3D 资产转换为 AM,MeshAnything 可以与各种 3D 资产制作方法集成,从而增强其在整个 3D 行业的应用。 MeshAnything 的架构由一个 VQ-VAE 和一个只有一个形状条件解码器的传感器组成。 首先,使用VQ-VAE来学习网格词汇,然后基于该词汇训练一个形状条件解码器专用换能器,用于形状条件自回归网格生成。 基于我们大量的实验,该方法生成的AM面数量仅为百分之几,大大提高了存储、渲染和仿真效率,同时实现了与传统方法相当的精度。


image.png


 

这很糟糕...... 我觉得摄影测量网格、扫描的点云数据和 AI 生成的模型将立即变得实用。 “MeshAnything”的代码已经在 Github 上发布了。 还有一个演示页面,您可以在浏览器上试用。


请仔细阅读 Hugging Face 演示页面上的注意事项。
输入网格被归一化为单元边界框。
输入网格的向上向量应为 +Y,以获得更好的结果。
- 如果输入网格是手动创建的网格,请选中
Preprocess with Marching Cubes - MeshAnything 是在面数少于 800 的网格上训练的,并且无法生成超过 800 个面的网格。
就是这样

image.png

我已经试过了,但你怎么看? 感受未来了吗? 如果能够更多地使用多边形就好了,所以
请查看项目页面了解更多详情!

 收藏 (0)  喜欢 (0)