索尼3D环境感知研究解析,目标是让所有设备“理解世界”

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

年初索尼正式公布PS VR2,与上一代相比,PS VR2的技术大幅升级,不仅采用4K HDR屏幕、支持注视点渲染,还配备了Inside-Out定位摄像头不再需要追踪基站。

索尼公布3D环境感知研究

尽管该头显还未正式发售,却已经受到游戏、VR等行业的积极关注。截至目前,PS VR2公开的信息并不详细,不过从索尼在官博中陆续分享的技术方案,或许可以看到未来PS VR2可能会配备的功能和体验。

比如此前青亭网就曾报道索尼研发的一款4K Micro OLED VR原型屏幕,而近期索尼再次公布一项与3D环境感知相关的技术,并声称可帮助AR/VR头显进行3D定位。据悉,索尼在2019年曾举办过一场LBS AR游戏活动“捉鬼敢死队:新人训练”,并在活动中采用了一款外形酷炫的AR头显原型,受到广泛关注。而该AR头显实际上就内置了索尼研发的3D环境识别传感器。

实际上,索尼在3D传感领域有多年探索,并积累了优秀的技术,除了AR/VR外,其技术也广泛应用于AIBO、QRIO娱乐机器人、Airpeak S1等场景。在近期发布的博客中,该公司进一步描述了在该领域的进展、技术路径以及发展方向。

3D环境感知重要性

为了帮助所有的设备理解真实世界,将需要采用3D环境感知技术。索尼表示:​3D环境感知的原理是根据摄像头捕捉的数据,分析并感知周围的3D环境、测距,然后重建逼真的3D环境模型。这项技术可广泛应用于多个领域,比如娱乐、机器人、视频制作、AR/VR等等。

随着市场对于AR/VR的需求越来越高,也开始需要更准确的3D定位、3D结构识别技术。此外,3D环境识别对于无人机、汽车、机器人等技术发展也很关键,比如机器人需要通过环境感知功能来规划路线、躲避障碍物、操控物体。而在无人机设备上,则是通过3D定位、3D环境结构识别,来帮助无人机控制飞行、检测障碍物,不需要GPS也能稳定导航、准确着陆。

索尼的目标,是想要打造具有环境识别能力的“机器眼”。技术路径方面,其3D环境感知方案由多项核心技术组成,利用IMU、摄像头等传感器来识别环境的3D结构,以及相机在3D空间中的位置。

改善3D环境感知技术

索尼表示:我们一直在开发3D环境感知相关的信号处理技术,以应用于SLAM、VPS等基于摄像头的定位系统,以及根据图像进行3D目标重建等等。

section2-0-1

据了解,SLAM使用“映射”的方式为周围环境实时生成3D模型,同时在3D模型中定位设备的位置。索尼的视觉SLAM系统在边缘设备上处理数据,因此需要轻量级、低负载、低延迟的算法,与硬件配合运行。

而VPS是一种针对城市环境、室内设施的室内外定位系统,其特点是通过摄像图像来识别位置,而不是像传统地图一样基于GPS数据。

索尼看重3D传感的准确性、吞吐量、稳定性,但由于环境等多种因素,为3D定位、3D重建带来难题,造成模糊、暗处噪声、镜头失真、户外阳光变化难以识别、缺乏纹理等挑战。而移动设备的3D传感器更需要解决这些问题,因为需要实时捕捉和识别周围的3D环境。

通常,利用图像来定位时,通常需要使用映射功能,而如何在不同光线中稳定运行地图映射,则是问题的关键。尤其是如何将日间和夜间环境中捕捉的图像与数据相关联,从而执行建模。为了解决这一问题,索尼采用了深度学习算法,以适应白天和夜晚的光照变化。

精准重建3D空间结构

3D重建需要将多个摄像头捕捉的时间、空间数据进行整合,然后恢复成可识别的3D结构。在捕捉到的图像中,可估计相机的位置和方向,以及与周围环境的距离变化,并整合法线向量、可靠性、纹理等信息,来合成逼真的3D模型。

section2-1-2

而如果使用LiDAR等激光测量设备来识别深度信息,还可以预测物理尺度、提升计算速度和准确度。此外,利用多个设备来读取3D环境位置等信息,可用于开发更好的LBS AR体验。

section2-1-1

索尼表示:3D重建的目的是,将真实场景数据化,以供人类和机器人分析和使用。利用云计算服务,可以加速处理数万张高清图像,来创建城市规模的3D模型。

section2-2-1

另一方面,一些3D建模场景还需要在边缘设备进行一些轻量化处理。索尼表示:我们正在研发实时3D建模技术,目的是允许智能手机、AR/VR头显等算力有限的设备也能进行3D建模,实时识别周围的环境。

移动设备上实时运行

除了提升不同亮度的运行效果、3D重建准确性外,索尼3D环境感知技术的另一大特色是,可以在移动的设备上进行实时SLAM和3D重建,以适用于汽车、无人机等应用场景。

section2-3-1

该技术使移动物体不仅可以通过图像识别其周围环境、位置和与各种物体的距离,还可以立即检测和避开突然出现的障碍物,并了解它可以穿越的区域。不过,这项技术需要实现低延迟的实时传感,为此图像识别的轻量化很重要,这样才能适应不同内存和功耗的设备。在应用于汽车和无人机时,还需要对电机和发动机振动以及不断变化的照明和环境进行适配。

软硬件协同开发

目前,市面上有个大量不同的3D环境感知算法,但是算法、传感器和应用程序在同一平台上集成并不容易。因此,索尼致力于3D传感的软硬件协同开发,并通过边缘设备来优化3D环境感知。另外,索尼视觉传感处理器是一个系统,它允许相机和IMU等采样频率差异很大的设备,通过控制时序进行同步,从而确保高效的算法处理。

section3-1

索尼表示:根据公共基准测试结果显示,我们的3D重建技术的性能在全球范围达到一流水平。目前,正在为其筹备相关的应用开发,比如为虚拟制作、游戏、测距等场景开发3D资产。

除此之外,索尼还看好将3D传感技术应用于:3D打印、3D可视化、3D地图定位、AR/VR、无人机和车辆的障碍物检测等更多领域。

索尼公布3D环境感知研究

此外,AR/VR应用的发展,推动了基于真实环境的3D数字化,与SLAM和VPS结合后,可以为用户提供更加虚实融合的体验。

而更长期的应用场景,也包括通过3D传感来帮助机器设备了解周围的环境和自己的位置。索尼认为,当未来AI机器人与人类共存时,这项技术将更加重要。

也就是说,3D环境识别技术可以让虚拟和真实世界联系更紧密,让人类、机器人执行任务更方便。参考:索尼

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册