Facebook面部追踪系统:一套眼球+语音+AI的轻量化方案

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

此前我们多次报道Facebook Codec Avatars虚拟化身和面部追踪的研究,该研究中Facebook采用了一系列复杂面部追踪技术,从而在VR中呈现出一个惟妙惟肖的虚拟化身,无论是眼神动作、面部表情,还是肢体动作,都足够自然和逼真。

不过,最开始版本(2018年开始研究)需要132个相机去进行专业化的捕捉,显然这是一个方案的定型,通过现有技术方案实现一个高的标准。当然,这样的一套设备对于落实到最终产品中也会降低用户体验。

FRL-Avatars-2n-o9zy3ojxbi1g4wn2gpsvtkizjoomyn893c8o9cs600

去年,Facebook就公布了三摄新方案,通过内置两个摄像头和一个鼻梁下方捕捉嘴部的摄像头,看上去已经很完美。

熟悉Facebook或FRL的朋友可能知道,Facebook近两年在人工智能算法上的投入大幅增加,而算法的加入就是为了解决硬件和算力不足等等问题。

FRL_AudioGazeCodecAvatars

FRL_MultiModalVAE-1024x479

近期,Facebook公布了新一版Codec Avatars的研究,其基于AI技术,用更轻量化的方案去达到类似高标准的效果。其中,光学捕捉方面几乎双眼的眼球追踪,而嘴部动作则基于麦克风拾取的人声,也就是双摄+麦克风+AI技术。

眼球追踪用途不用说,它可以准确识别眼球动作从而模拟更真实的眼神和注视效果,而通过麦克风识别你的说话语音来模拟嘴部和面部动作,可能你会质疑它的效果。

ezgif-7-4c454c175b15

上面就是最终效果。研究人员表示,通过音频数据可以还原微妙的面部动作,例如舔嘴唇等动作都可以模拟。不过值得注意的是,这需要具备高品质的麦克风。

相关阅读:《一个眼神都不放过,FRL公布自然表情系统MCA

参考:fb

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册