苹果面部追踪专利曝光,Animoji还加入了语音效果

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

11月23日消息,美国专利商标局公布了苹果公司5项名为“Emojicon Puppetting”的专利申请,据了解这些专利基本和iPhone X系列手机中Animoji、Memoji功能有关。

6a0120a5580826970c022ad3a22108200d

据悉,本次专利的申请中有四位均来自Faceshift,这是一家于2015年中期被苹果收购的公司。

6a0120a5580826970c022ad37c0b7e200c

本次的新专利中,一个名为基于面部表情的语音效果(如图2),展现了基于“音画同步”的虚拟动画表情,例如人说出hello后,虚拟角色也会发布相对应音色的声音。

6a0120a5580826970c022ad37c0b87200c

这是同时捕捉声音信息和视频信息,然后将其用于虚拟角色Animoji上的技术,其特点在于能够提取和修改音频和视频的部分信息,以呈现出和虚拟角色更匹配的声音。

另外关于“Emojicon Puppeting”的专利(图3)中描述,3A描述的就是苹果的原深感相机捕捉用户脸部深度数据的过程,包括面部信息、表情、动作等信息的采集过程。3B为一个基本的文本对话框,其中包含一个Animoji的表情图。

6a0120a5580826970c022ad3c1d2b1200b

3C则横向的展示一个人脸、一个经过原深感相机捕捉的由虚拟网格构成的虚拟人头部图像,包含深度、动作、表情等信息,以及一个动话表情Animoji的信息。其中,三张图中的网格基本点(动作和位置等信息)保持一致,例如左眼闭眼,右耳区域标注等等。

实际上,iPhone X中配备的原深感相机可实现的功能目前并不多,最主要的功能还是用于解锁,该功能已经被苹果用来代替指纹识别。此外,去年伴随iPhone X的Animoji和今年iOS 12带来的Memoji,另外还有ApplePay付款也是基于解锁的生物识别功能的延伸。

此外,今年国外有些开发者利用iPhone X中的原深感相机开发了一个简易版的眼球追踪功能,以及用于动作捕捉等等新鲜功能,但玩法有限,最多的还是基于面部动作追踪实现的功能。

参考:patently-apple 

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册