利用移动AR数据,谷歌训练了一款可在2D图像中识别3D的AI框架

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

3月12消息,谷歌AI团队公布了一种全新的移动端3D识别方案:Objectron,其特点是可通过AI模型,在2D图像中预测物体在场景中的位置、尺寸和方向,可用于机器人、自动驾驶汽车、图像检索、AR等场景。

Figure1

此外,Objectron的研发团队开发了一种图片标记工具,可以通过分屏视角显示2D视频帧,快速实现对3D边界框的手动标记。这些3D边界框将叠加在点云数据、摄像头画面和识别到的平面上面。

标记者在分屏视角(3D视角)中标记3D边界框后,可以在2D视频帧中进行验证,而对于静态图像,标记者只需在单个帧中进行标记。为了更精准定位目标物体,标记工具还会使用AR session数据中的实际摄像头信息来确定该物体在所有帧中的位置。

接下来为了训练AI模型,谷歌团队使用了移动端AR session数据(包括摄像头图像、稀疏3D点云、预测光线、平面区域等),弥补了移动设备不具备高端3D传感器的难题(市面上大多数3D数据依赖激光雷达等3D传感器,对日常物体的3D标记数据却很少)。

除了真实环境的数据外,还使用了合成的AR数据来提高AI预测准确性。为提高合成数据的质量(提升了10%准确性),谷歌研发了一个AR合成数据生成方案(AR Synthetic Data Generation),特点是可通过调整摄像头角度、识别平面、预测的光线数据,来生成符合物理规则的3D位置信息,以及符合场景的光线,让融入在具有AR session数据的场景中的虚拟物体看起来更自然。

同时,谷歌表示:由于SoC等硬件设备局限,用手机等移动设备识别3D目标是一个棘手的问题,而在2D视频、图片中识别物体的3D信息更是难上加难(由于缺乏深度数据,以及画面复杂性等因素),通常只能识别和标记2D信息。

因此利用开源跨平台框架MediaPipe,Objectron可实现在旗舰级移动设备中实时标记3D边界框的任务,比如在搭载Adreno 650移动图形芯片的LG V60 ThinQ、三星Galaxy S20+、索尼Xperia 1 II等手机上,刷新率约可达26fps。

image24

ezgif-7-6c2d2b07ef9b

参考:VentureBeatGoogle

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:小新
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册