如果仅仅使用iPhone和电脑,就可以捕捉演员的表演,并在几分钟内将它转变成高保真MetaHuman面部动画,你会有何想法?
有了MetaHuman Animator,你就可以做到!
我们在GDC 2023上首次向公众展示了这套快速、简便的数字人类管线,其最新版本为MetaHuman带来了高保真表演捕捉。
你可以直接开始尝试和探索——或者,也可以先了解其基础知识,与其他MetaHuman用户交流,并访问Epic开发者社区,在我们新建立的MetaHuman中心阅读文档。
MetaHuman Animator是我们新推出的功能集,允许你使用iPhone或立体头戴式摄像机系统(HMC)捕捉演员的表演,并以高保真面部动画的形式将其应用至任何MetaHuman角色,全程无需你手动干预。 每个微妙的表情、神态和情绪都会被精确地捕捉下来,忠实地还原到你的数字人类上。更棒的地方在于,它实现这些出色结果的方式简单明了——任何人都可以完成这项任务。 以前,需要一组专家花上几个月的时间,才能在数字角色上忠实重现演员表演中的每一个细微之处。现在,MetaHuman Animator将在极短的时间里为你完成这项艰难的工作——整个过程毫不费力。
如果你不熟悉表演捕捉,MetaHuman Animator将为你提供一种便利的方式,让你为MetaHuman带去基于真实表演的面部动画。
如果你已经比较了解表演捕捉,这套新的功能集仍可大幅改善你现有的捕捉工作流程,帮助你节省时间和精力,为你提供更强大的创意可控性。你只需将MetaHuman Animator与你现有的垂直立体头戴式摄像机搭配在一起,即可实现更高的视觉保真度。
感兴趣吗?让我们来更深入地了解一下……
制作高保真面部动画的简单方法
新的功能集通过使用4D解算器,将视频及深度数据与表演者的MetaHuman代表模型结合在了一起。动画是使用GPU硬件在本地生成的,几分钟内即可得到最终动画。
但这一切都发生在幕后,对你来说,整个过程几乎就是将摄像机对准演员,然后按下录制键。捕捉完毕后,MetaHuman Animator可以准确地将演员表演中的个性和细微之处复制到任何MetaHuman角色上。
更重要的是,动画数据在语义上是正确的,它会使用合适的绑定控制点,在时间上保持连贯,并且具有流畅的控制过渡,因此,如果你想修改动画,可以很容易地做出美术方面的调整。
想看看在使用高端设备时,MetaHuman Animator有哪些潜力吗?
欢迎了解一下Blue Dot项目。这部短片由Epic Games的3Lateral团队与塞尔维亚当地的艺术家合作拍摄,其中就包括知名演员Radivoje Bukvić。他在短片中朗诵了一段由Mika Antic的诗歌改编的独白。他的表演是在Take One工作室的动捕舞台上拍摄的,由电影摄影师Ivan Šijak担任摄影导演。
这一细腻动人的成果展示了艺术家和电影人在使用MetaHuman Animator、立体头戴式摄影系统及传统电影制作技术时,能够达到怎样的保真度。
而且,该团队只在MetaHuman Animator的结果基础上做了少量处理就达到了如此令人印象深刻的动画品质。
只需几次点击,即可将你使用MetaHuman Animator捕捉的面部动画应用于任何MetaHuman角色或任何采用了新MetaHuman面部描述标准的角色。
这意味着,你可以按照自己想要的方式设计角色,并胸有成竹地知道,应用于角色的面部动画将正常工作。
从技术角度看,这是切实可行的,因为“网格体转MetaHuman”功能如今能够仅仅通过视频中的三个帧以及深度数据(可以使用iPhone捕捉,也可以通过重建垂直立体头戴式摄像机的数据得到)创建MetaHuman身份。
这使解算器能够针对演员实现个性化,让MetaHuman Animator生成可用于任何MetaHuman角色的动画。它甚至可以使用音频生成惟妙惟肖的口型动画。
我们希望将只有专家通过高端捕捉系统才能实现的面部表演捕捉开放给所有创作者。
在最简单的情况下,你只需要准备一部iPhone(12或更新型号)和一台桌面电脑,就可以使用MetaHuman Animator。这不是天方夜谭,因为我们已经更新了Live Link Face iOS应用,它可以捕捉原始视频和深度数据,然后在设备中直接将它们传给虚幻引擎进行处理。
MetaHuman Animator还可以搭配使用现有的垂直立体头戴式摄像机系统,实现更高的保真度。
然而,该版本的改进不仅仅是推出了MetaHuman Animator。我们还扩展了网格体转MetaHuman功能,你现在可以直接设置模板网格体上的控制点位置。
网格体转MetaHuman功能通过执行匹配流程,可以使用任何拓扑结构,但这样做的结果必然只能达到与你输入的网格体体积相接近的程度。而在这个版本中,你可以设置模板网格体,只要它严格符合MetaHuman的拓扑结构,你就能精确绑定这个网格体,而不是得到一个近似结果。
再结合DNA校准功能为网格体和关节设置中性姿势,专家们将能够快速集中精力创造自定义角色。
想了解更多吗?你现在就可以访问我们新推出的MetaHuman中心,深入研究MetaHuman框架在这方面和其他所有方面的文档。该中心位于Epic开发者社区——学习Epic工具并与他人交流信息的一站式平台。那里还开设了论坛,供你展示作品或提出问题,你还可以浏览教程版块,其中包含由Epic或用户制作的教程内容。
我们已经向你介绍了一切:快速、简单、经济的MetaHuman面部捕捉和动画,以及允许高级用户通过手动调整MetaHuman网格体维持角色保真度的新方法。投入进来,开始使用吧。