用手机捕捉3D动态表情,Meta的移动端虚拟化身方案好在哪

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

一说起VR头像,比较常见的形式就是卡通风格的各类虚拟角色,尽管为用户提供各种自定义选项,但重复率高,而且难以代表真人独一无二的外观。

MetaCodecAvatars_phonescan

因此,也有一些根据真人照片、视频生成的3D头像,比如ReadyPlayerMe,特点是成本低、简单易用而且在主流AR/VR平台通用。尽管如此,这样的3D头像依然不够保真,模型的细节渲染并不理想。而近期Meta公布的高保真虚拟头像Codec Avatar的最新进展,让我们看到了在VR中重现真人动态形象的可能。

3D人像捕捉成本高?

实际上,通过3D动捕/容积捕捉技术,已经可以制作高分辨率、高保真的3D头像/虚拟化身。比如,Meta研发的Codec Avatar方案就通过由171个摄像头的动捕工作室MUGSY来捕捉人脸和全身3D数据,然后生成可在VR头显中运行的高保真3D形象,在VR中还可以通过额外的眼球和面部追踪摄像头来驱动动态表情变化。

Codec-Avatars-MUGSY-capture-rig-1024x576

不过,这种方案缺点是依赖线下工作室,成本高昂,不利于在线上广泛应用。我们知道,如果可以用手机摄像头来捕捉3D人脸数据,将大大降低高保真虚拟化身的成本和使用门槛,因此市面上已经有科研人员对此进行探索。

在2020年,德国一组科研人员也曾研发了一种利用单目摄像头捕捉,并自动生成3D形象的低成本移动方案(计算过程大约20分钟)。不过,目前市面上的各类方案效果并不理想,尤其是保真度、表情动作模拟等方面更是无法与Codec Avatar相媲美。

微信图片_20220617031746

而在2021年,俄罗斯Skoltech也曾公布一款移动端3D头像捕捉方案,其整体保真度足够高,主要特点是支持动态光渲染,但头发、手指、布料纹理等细节难以模拟。

今年四月,在MIT举办的Virtual Beings&Being Virtual研讨会上,Meta展示了全新的Codec Avatars 2.0系统,特点是比1.0版模型更小、更高效,在Quest 2上可以50Hz刷新率同时渲染五个高保真Avatar。

微信图片_20220617031739

解决了在VR头显上运行Codec Avatar的问题,那么接下来Meta的目标则是降低3D头像捕捉的门槛,让每个人用手机就能收集并生成逼真的虚拟人像,这些人像甚至还能渲染合成多种逼真的表情变化。

用手机制作3D头像

据了解,这是一种移动版Codec Avatar方案,在降低成本的同时,效果却足够好,表情和细节渲染足够自然。

微信图片_20220617031725

这项方案兼容iPhone 12等配备RGBD相机的手机(也就是前置Face ID模组),可从多个角度来捕捉静止的3D面部表情,也可以捕捉一系列面部表情变化。利用3D面部数据和动态表情数据,便可生成高保真3D头像,特点是符合面部的几何结构和外观,并且可渲染高保真的全新视角和表情。而通过修改条件数据,甚至可以定制高保真面部特征,创建全新的人脸头像。

微信图片_20220617031728

细节方面,该方案采用了通用先前模型,针对每一个用户的特征来解码面部容积数据(可看作是一种神经网络解码模型)。

利用经过训练的通用先前模型,科研人员可为每个独立的用户创建个性化、可定制的头像模型。模型中将包含用户静止表情数据中的几何结构和纹理。科研人员表示:该模型会在RGB相机捕捉的每一帧图像上,运行面部节点识别和人像分割算法,然后在输出的数据上匹配模板网格,与检测到的面部节点叠加,并分割面部轮廓,以及输入的深度地图。

微信图片_20220617031716

值得注意的是,通用先前模型也是一种超网络,可看作是另一个神经网络生成权重的神经网络。Meta培训先前模型使用的数据来自于此前的Codec Avatar研究,包括用3D动捕工作室捕捉的多视角3D面部数据。据悉,这个Codec Avatar数据集包含大量高保真动态表情数据(包括255个人脸数据、覆盖多样化的年龄、性别和人种)。在此前公布的成果就可以发现,Codec Avatar的数据效果足够逼真自然。

接着,模型会拆解每一帧RGB图像的纹理,并将这些纹理数据整合、输出为完整的面部纹理。Meta还通过RayMarching技术进一步优化3D头像建模,这是一种快速的实时场景渲染方式,即通过射线触碰虚拟物体,来测量深度信息,以实现更准确的建模。

动态表情模拟

该方案不仅可渲染逼真的静态面部细节,也可以合成多种自然表情变化。比如结合了由语义定义的控制选项,可独立控制/分割头像的注视点信息,以直接支持眼球追踪。

微信图片_20220617031708

而静止面部集合结构和纹理,可用于调节通用先前模型的参数,并将这些参数输入到表情编码器,来渲染定制的头像。为了提升虚拟头像对动态面部表情的模拟效果,还需要结合对人脸表情变化的RGB扫描数据(正面表情)。然后利用通用先前模型,可生成全新的表情和全新的任意视角。

经过验证,利用手机捕捉并合成的3D头像,质量足够接近动捕工作室捕捉的数据。而与市面上其他的3D头像生成系统相比,Meta的方案的合成效果细节更佳。

微信图片_20220617031720

研究人员还称,用手机扫描的过程平均需要3分半钟,可捕捉65种面部表情。不过,渲染/合成3D头像则需要在配备4个高端GPU的计算机上完成,整个过程需要6小时。如果这个任务交给VR头显,那么可能将需要云计算或PC VR等方式来获取额外的算力。

微信图片_20220617031712

当然,该方案目前还存在需要优化的问题,比如只能捕捉和合成面部表情,还无法处理眼镜或长发等细节。

宗旨,Meta在Codec Avatar上的科研进展让人兴奋,尽管如此VR虚拟化身/头像技术还有很长的路要走。目前,Meta Avatars还是采用基础的卡通艺术风格,随着时间推移,人们将不再满足于这种简易的头像。而在高保真远程3D通话、社交等场景,为了实现沉浸感、临场感体验,将需要更能代表每个人的形象系统。参考:Meta

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册