一个眼神都不放过,FRL公布自然表情系统MCA

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

通常,头像是一个社交平台的重要元素之一。而在目前大多数VR社交应用中,大多数虚拟头像都比较卡通风,还达不到像人那样真实。因此,为了打造更逼真的VR头像,社交媒体和科技巨头Facebook一直在打造一个叫Codec Avatar的系统。

facebook-modular-codec-avatars-vr-2-1021x580

它的特点是,可通过对人脸的动捕来生成逼真的虚拟头像,并通过VR头显上集成的摄像头,动态追踪和模拟自然的面部表情,有望为VR社交带来足够强的沉浸感。

目前,Codec Avatar与真人外观的差别越来越小,但它也不得不面对一个叫“恐怖谷理论”的问题。“恐怖谷理论”指的是,机器人的外表、动作与人相似,直到一个特定程度后,人们对机器人的情感会从正面变得极为负面。也就是说,如果机器人展现出任何细微差异,在人类眼里看起来都十分恐怖。

为了跨越“恐怖谷”这一瓶颈,Facebook Reality Labs提出了全新的模块化Codec Avatars(MCA)方案。据悉,MCA可看作是此前Codec Avatars的一个延伸,区别在于CA基于对识别整体面部表情的模型算法,而MCA则采用模块化的自适应表情混合算法,以及基于样本的对齐方案。

微信图片_20200811181849

相比之下,Codec Avatar依赖于与样本的对比,而MCA系统主要是推断人脸面部活动,即使是没见过的表情也能合成。

微信图片_20200811181856

Facebook Reality Labs科研人员表示:人的面部表情变化多样,用同一的样本来代表所有的表情并不实际,因此当人做出相似却少许不同的表情时,算法可能无法正常识别。

也就是说,若想让虚拟头像支持更多样化的表情,避免人察觉到它与真人之间的差异而产生害怕感觉,科研人员决定训练一个对眼、唇等部位分别追踪并同步融合的算法。

微信图片_20200811182133

具体来讲,MCA首先通过模块化编码器从VR头显搭载的每颗摄像头中提取信息,接着模块化的合成器会预测全脸表情,以及从编码器提取的信息中获得的混合权值。最后,多个模块生成的信息用于预测和输出完整的3D面部表情。

据悉,MCA对比CA方案从表现力和稳定性两方面都有所提高。

  • ◉ 表现力:CA的模型算法是通过1万到1.4万个样本训练而成,对于没见过的表情只能推断,此外CA合成的表情也比较生硬。而MCA则将面部不同位置的识别任务交给VR头显上的不同摄像头,以此来合成更灵活、逼真的面部表情;
  • ◉ 稳定性:要想保证虚拟头像在VR场景的逼真感,它们需要准确呈现使用者的特征(胡子、化妆等),摄像头需要位于不同的部位(符合生产限制范围内),适应不同的光线和背景环境。

 

此外,模块化的算法负责模拟不同部位的人脸,从而合成更精准的面部表情。同时科研人员也希望,在无需额外训练数据的情况下,通过MCA来增加可准确合成的更多种表情。

为了验证MCA的效果,科研人员用一系列夸张表情进行测试,比如:张嘴、闭一只眼等,效果如下:

facebook-modular-codec-avatars-vr-1-640x376

此外,MCA的能力可通过两个实验应用得到体现——模拟鬼脸和自然眼睛状态。即使是训练数据中没有的表情,MCA也能识别并合成自然的表情。

科研人员表示:对于VR来讲,能够做逼真的鬼脸表情更有助于提升交互感。

facebook-modular-codec-avatars-vr-4-640x301

原始表情与眼睛放大效果对比

除了模拟鬼脸外,MCA也能推算人眼的状态。通常,在使用VR头显时,受到头显压迫、亮光照射等因素影响,使用者的眼睛并不会完全睁开,因此实际表情可能看起来并不自然。

因此,MCA通过自然放大人眼状态,来还原更接近没有戴头显时呈现的自然眼部表情。

另外,科研人员表示:MCA并未使用3D网格与线性或浅显特征结合的方式,而是将深度学习网络与潜在表情结合,实现对复杂的非线性效果的捕捉,提升动态表情的逼真感。参考:Road to VRFRL

附:AR/VR商用案例征集

网站案例征集-01

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册