谷歌推实时运动跟踪方案,大幅改善移动物体追踪效果

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

9月2日消息,谷歌宣布推出AR实时运动跟踪(Instant Motion Tracking)解决方案,该方案基于开源跨平台框架MediaPipe,对此前的计算机视觉方案Box Tracking(Google Lens采用的追踪定位方案)进行改良,特点是可将2D和3D内容固定在移动的平面上,观感更自然。此外,谷歌还发布了一款开源的安卓演示应用和一个相关AR内容库。

Google-AR-Technology-in-Maps

据青亭网了解,Instant Motion Tracking主要作用是将AR虚拟内容当做真实物体一样,固定在真实环境中。这种自然的AR效果,要归功于谷歌不断提升的实时计算机视觉技术。

此前一些AR方案是先拍摄,后叠加渲染,而这个新的方案可以让你一边与AR互动,一边拍摄视频。实现方式是,将AR固定在环境中特定位置,然后可以用身体触碰AR,触发AR的互动反馈。

开发者或用户可将3D贴图或动图固定在视频中,AR动图的效果看起来像是一个3D显示屏,效果看起来足够有趣。

细节方面,为了实现自然的AR效果,Instant Motion Tracking利用6DoF追踪模型对AR进行定位。此外,该方案相当于将摄像头的平移与旋转预测拆分为两个独立的任务,好处是跨平台AR追踪可省略期初的校正环节,摄像头直接捕捉视觉标记。

结合平移和旋转数据后,Instant Motion Tracking方案可以在自然比例下,从6个自由度来追踪目标区域。如此一来,具备摄像头和IMU功能的AR设备就能将AR内容自然叠加在真实画面上。

目前,视频内容创作公司PixelShift.AI已经开始采用Instant Motion Tracking方案,用来帮助VTuber创作MR视频。接下来,谷歌也计划在年内面向VTuber们推出相关产品。

ezgif-7-30cc615e5c3d ezgif-7-a7492539f4ee ezgif-7-3001e6e3a577

参考:auganix

附:AR/VR商用案例征集

网站案例征集-01

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:小新
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册