英伟达发布了Omniverse Audio2Face 2021.3.2,这是其基于人工智能的实验性软件的最新版本,可以从音频源生成面部动画。
该版本增加了生成一组面部混合形状的选项,涵盖了自定义头部模型的广泛表情,然后将它们导出为USD(Universal Scene Description)格式,以便在Maya或Blender等软件中编辑。
从音频文件生成自动口型同步和面部动画的角色创造者的角色
去年首次发布的Audio2Face是一个经过人工智能训练的工具,可以从音频源(离线语音录音或实时音频feed)为3D角色生成面部动画。
除了姊妹应用Omniverse Machinima,这款软件也是英伟达围绕其基于USD(Universal Scene Description)的实时协作平台Omniverse开发的一系列新游戏工具之一。
通过基于blendshape的工作流控制面部动画的新选项
在最初的版本中,修改Audio2Face动画生成的唯一方法是通过后期处理参数,但英伟达已经开始实现一种基于面部混合形状的替代工作流。
Audio2Face 2021.3.0增加了链接自定义混合形状驱动的字符资产到基础Audio2Face资产的选项,2021.3.1为解决的对称性添加了控制。
为此,Audio2Face 2021.3.2添加了选项来生成一组自定义头部模型的混合形状。
上面的视频显示,该软件被用来转移一组46个现成的混合形状,涵盖了从A2F资产到自定义头部的标准范围的面部表情。
通过调整对应点来确定两个头部模型的等效特征——相同面部特征的位置——来控制传递过程。
这个过程保留了紫外线,使原始的面部纹理可以重复使用。
Audio2Face 2021.3.2的其他新功能包括一个流媒体音频播放器,用于将音频数据从外部来源流到软件中,比如通过gRPC协议的文本到语音应用程序。
Audio2Face 2021.3.1增加了在超人类上使用Audio2Face动画的选项:由Epic Games的免费超人类创造者应用程序生成的3D角色。
你可以看到通过全宇宙虚幻引擎4连接器从Audio2Face到虚幻引擎内的超人类传输面部动画数据的工作流程。