今天,Epic Games宣布,已经收购实时动捕与面部动画技术厂商Cubic Motion,将其纳入Epic Games的大家庭。Cubic Motion将与3Lateral携手合作,为虚幻引擎用户提供更先进、更逼真的数字人类创建技术,后者于2019年1月被Epic Games收购。
在2018年GDC大会上,CubicMotion公司发布了Persona,Persona是基于演示视频中技术开发的一款新型无标记面部捕捉系统。
该系统包括头戴式红外摄像系统、佩戴在演员身体上的无线处理包和配套软件。
该系统使用机器学习技术为演员创建自定义的面部解算,同时可以实时将生成的动画数据流式传输到Unreal Engine中,或者将其离线输出到Maya软件中。
Cubic Motion公司于2016年与面部绑定专业公司3Lateral(现已被Epic公司收购)合作,根据Ninja Theory公司的游戏《地狱之刃:苏纽尔的献祭(Hellblade:Senua’s Sacrifice)》,创建了一个演示视频。
上述三家公司2018年再次合作《Siren》,其中Cubic Motion的技术被用来将现场演员的面部表情以60帧/秒的速度转换为3D角色。
然而,Cubic Motion公司作为一个面部动画服务公司,也有着很好的业绩记录,尤其是在游戏行业表现尤为突出,除了《地狱之刃:苏纽尔的献祭》,该公司还参与制作了《使命召唤:二战(Call of Duty:WW2)》、《地铁:逃离(Metro:Exodus)》和2018年的《战神(God of War)》。
一体式无标记面部捕捉系统,能够将数据实时传输到UE4中
Persona将这项技术(或者至少是该技术的一个版本)变成了现成的无标记面部运动捕捉系统。
这是一个一体化解决方案,包括一个头戴式摄像系统,一个佩戴在演员身体上的专用硬件处理单元,以及配套的软件。
与Faceware的竞争产品不同,该解决方案中的头戴式摄像系统(HMC)是双摄像头系统,前端和侧面的红外摄像头都以1K的分辨率拍摄。
头戴式摄像头的头盔有多种尺寸,而且高度也可调。
Persona的其他硬件组件是Performance Pipeline,这是戴在演员身体上的专用处理和数据存储单元。
该技术能够以每秒60帧的速度跟踪和解算面部表情,并将动画数据无线传输到Unreal Engine中,或者将其存储在计算机中供离线使用。
头戴式摄像机和PerformancePipeline都可以与全身运动捕捉套装搭配使用。
该硬件配有Performance Manager(性能管理器),这是Cubic Motion用于启动和监视捕获会话的桌面软件,能够同时捕获多个演员的动作。
更高级的应用程序处理将动画数据流式传输到UnrealEngine中的过程,并离线输入到Maya软件中。
面部解算自定义演员和角色
Persona真正有趣的功能是该系统是为每个演员定制的。
捕捉动作之前,用户可以记录演员的一组标准动作,然后将训练视频素材和将要传输动画的3D角色,一起发送给Cubic Motion。
Cubic Motion的机器学习系统处理这些数据,为演员创建自定义的“身份”(Identity):这是在捕捉动作之前,载入到PerformancePipeline中的个性化配置文件。
配置文件将Persona使用的跟踪模型调整以适应演员的面部,并让解算模型适应3D角色绑定,为每一对“演员和数字角色”创建自定义设置。
Cubic Motion首席执行官Gareth Edwards博士表示:“我们非常高兴能加入Epic Games,且对我们的未来充满期待。我们将共同致力于推动数字人类技术的发展,为所有类型的视觉娱乐提供更逼真、更具沉浸感的体验。”
Epic Games的创始人及首席执行官Tim Sweeney表示:“数字人类不仅是内容创作领域的下一个开拓方向,也是计算机图形领域最复杂的任务。Cubic Motion将用他们的计算机视觉及动画技术将为我们的数字人类添砖加瓦,让Epic以及我们的3Lateral团队距离向全球创作者普及这一技术的目标又近了一步。”
Epic Games首席技术官Kim Libreri说:“面部动画传达的人类微表情对于突破恐怖谷效应至关重要。我们相信,将Epic的虚幻引擎、3Lateral创新的面部绑定技术和Cubic Motion的解决方案相结合,是应对这一挑战的唯一方法,并使虚幻引擎创建的数字人类达到登峰造极的水准。”
青瞳视觉整理(如版权问题,请及时联系青瞳进行删除,给您带来的不便请谅解)