FRL发布全新AI 3D动捕方案,仅需25fps单目摄像头

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

8月26日消息,德国马克斯·普朗克研究所与Facebook Reality Labs发布了一项与3D动捕相关研究:PhysCap。据悉,这是一个基于AI算法的3D动捕方案,其特点是支持市面上现有的任何刷新率25fps或以上的单反相机,大大降低实时全身动捕的门槛。

微信图片_20200826110343

据青亭网了解,FRL在论文中称PhysCap是首个符合物理和解剖学规律的3D动捕方案,可解决地板摆放等环境带来的限制,而且准确性可以达到目前最高水准,稳定性也得到大幅提高。与市面上昂贵的动捕套装或是3D传感器相比,PhysCap号称识别准确性更高,效果更好,成本也更低。

科研人员表示:PhysCap生成的3D动捕数据考虑到周围环境,因此无需后期分割即可直接用于虚拟动画、AR/VR、人机交互等场景。

原理方面,PhysCap首先运用卷曲神经网络,根据纯运动学方式来预测3D姿态,并推断出视频中人体的2D和3D节点。在经过优化后,PhysCap会继续运用另一种卷曲神经网络(用于识别脚跟和前脚在地上的位置,并识别静止或非静止姿态)来预测足部与地面的接触,以及运动状态。

最后,PhysCap会将重力、碰撞、足部位置等信息考虑在内,进一步优化第一阶段预测的运动姿势。

在实验中,科研人员利用索尼DSC-RXo轻便数码相机、2070显卡计算机,对PhysCap进行测试,并发现该方案虽然能支持在多种不同背景中进行3D动捕,但偶尔还存在一些足部位置/速度的预测误差。这也许可以通过地平面校正等方式来解决,尽管在户外可能较难实现。

此外,科研人员接下来还将继续探索人体在坐姿和平躺时的身体姿态,以及对手部、两腿的追踪和建模。

微信图片_20200826110356

参考:VentureBeat

附:AR/VR商用案例征集

网站案例征集-01

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:小新
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册