Meta推Meta Reality系统,整合彩色透视、空间锚点等功能

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

今天,为了让更多人了解Meta对于VST混合现实的愿景和策略,Meta在官博中引入了Meta Reality概念,并进一步解释为什么令人信服的虚实融合需要这样的技术。Meta表示:Meta的混合现实系统将命名为Meta Reality,该系统整合了彩色立体透视、场景理解、空间锚点、共享空间锚点、实时遮挡和碰撞、对象检测和照明信息等功能。

Meta Reality 系统 透视

图注:1)两个黑白前置摄像头将场景中的物体可视化,接着系统将左右两个摄像头的不同视角图像组合,合成黑白立体视图;2)利用中心的彩色摄像头为场景表面着色和添加纹理;3)扭曲左右眼视图,并通过用户注视点预测算法(可预测几毫秒内)来补偿渲染延迟。

首先明确,VR是完全沉浸的数字体验,而MR混合现实则是将虚拟内容叠加在物理环境之上,相比于光学AR,VST混合现实通过摄像头透视和图像渲染来实现虚实融合。除此之外,令人信服的MR还需要具备空间理解能力,让数字图像与真实空间自然互动。因此,MR使用的不只是摄像头捕捉到的2D视频数据,还需要根据这些数据进行3D空间建模,以及表面识别。而这将需要高分辨率传感器、AI场景理解和空间锚点算法。

据了解,为了营造自然的深度,Meta Reality系统会为用户左右眼生成独立角度的两个图像,好处是可以模拟人眼看周围环境的效果。相比于Quest 2,Quest Pro的透视效果大大提升,其采用的摄像头像素提升了4倍,并且支持基于空间理解的图像渲染、3D几何重建和深度理解。这意味着,Quest Pro可识别房间几何形状的各个方面并精确定位对象在3D空间的位置,这样在混合现实模式中也能显示准确的空间距离关系。

Meta Reality 系统 透视

Meta计算机视觉工程经理Ricardo Silveira Cabral表示:Quest Pro采用两个摄像头视图来重建逼真的深度,可确保彩色MR体验对人眼来说是舒适的。即使在深度重建不完美或超出系统范围的情况下,立体纹理提示也能让用户的大脑完成剩下的工作并推断深度。

除此之外,Quest Pro在Quest 2基础上升级了Inside-Out定位系统(Insight),优化了深度传感功能,可实时生成给定空间的密集3D模型。在自然和人工照明条件下,Quest Pro的深度传感方案可识别1万个关键点,最远可识别5米范围。利用这些兴趣点信息,系统可实时生成物理空间的3D网格,并与物理世界图像组合。接着再通过TimtWarp技术将具有空间数据的物理图像分割成左右眼视图,并通过用户注视点预测算法(可预测几毫秒内)来补偿渲染延迟。

为了让MR透视看起来更加自然,Quest Pro的彩色相机可为3D空间图着色,而这种彩色透视架构兼容性足够好,可在Quest Pro上运行Quest 2的混合现实应用,在Quest 2上以黑白色为背景的MR应用内,在Quest Pro上可以在彩色背景上运行。总体来讲,Quest Pro的彩色立体透视比单市场方案体验更舒适,视觉失真更少。

除此之外,Meta在博文中又继续解释了Scene API(场景理解)、空间锚点等优化MR体验的功能。将场景理解和空间锚点结合后,MR应用可以和物理空间更好的融合,将用户所在的场景变成游戏世界。

Scene API

场景理解功能在Connect 2021期间已经推出,它是Meta Presence Platform的一部分,特点是可让开发者快速构建复杂且场景感知的MR体验,从而实现与用户环境的丰富交互。场景理解的好处是降低AR/VR对场景理解的要求,通过手动画边界来设置实时遮挡和碰撞效果。Meta对于该功能有以下解释:

1)场景模型是一个单一的系统的环境表示,由几何和语义信息组成。场景模型的基本元素是锚点,每个锚点都可以附加各种组件。例如,用户的客厅是围绕带有语义标签的单个锚点组织的,这些标签可以是地板、天花板、墙壁、桌子或沙发;

2)场景捕捉会为用户提供系统引导,帮助用户在房间一边走一边为家具等物体划定边界。Meta表示:未来我们的目标是提供一个自动化版本的场景捕捉,不需要人们手动捕捉周围环境;

3)Scene API是一个接口,可允许AR/VR应用查询和访问场景模型中空间信息,可用于多种场景,比如物体定位、物理模拟、导航等。

空间锚点

空间锚点是开发MR应用的核心功能,该功能允许应用在空间中创建一个参照系或一个定位点,这样应用中的虚拟对象就可长时间保存在空间中。对于设计师来讲,他们可以随时将自己的3D设计放在工作室空间中,第二天继续完成自己的设计,就像放在桌上的真实模型那样。对于游戏玩家来讲,他们也可以将3D棋盘放在空间中,第二天继续玩。

空间锚点可以与场景模型锚点(墙壁、桌子、地板等)结合使用,比如将用户所在的空间作为创作平台,或是将将虚拟门固定在物理墙上,实现虚实互动。Meta认为,锚点功能让虚拟内容与物理空间结合更紧密。

近期,Meta还推出了共享空间锚点功能,并将该功能添加到Presence Platform。共享空间锚点允许一个人创建的锚点,并与同一物理空间中的其他人共享。这意味着,开发者可为多个用户创建共享的世界,并锁定位置参考框架来构建本地多人游戏体验。例如,两个或更多人可以坐在物理的桌边,一起玩虚拟棋盘游戏。

参考:Meta

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:小新
分享到QQ 分享到微信

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册