苹果VR/MR新专利:支持环境、姿态、头部追踪的多传感器头显

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

8月23日消息,美国专利商标局发布了苹果一项VR/MR头显相关追踪专利,专利中指出了一种采用inside-out方式,可追踪头部、身体和环境的系统。据悉,该专利申请于2018年第三季度,其技术基于苹果在2017年11月收购的AR/VR混合头显开发商Vrvana的一项专利技术。

6a0120a5580826970c0240a4a2b096200d-800wi

苹果在专利中写到,若要营造VR的沉浸感,需要考虑多种因素,包括:显示屏画质、刷新率、像素分辨率、高动态范围(HDR)、图像暂留和纱窗效应等等。如果FOV过小,或者追踪功能出现延迟或不准确,也会降低沉浸感。而在MR中,虚拟物体与真实世界表面的实时交互也需要依赖优质的追踪效果。

总之,对于优质的VR/MR体验来讲,各种追踪功能都是必要的,尤其是头部追踪、身体追踪和环境追踪,对于营造沉浸感将起到关键作用。因此,苹果提出了一种集成全部追踪元件且便于移动的紧凑型VR/MR头显。

该头显可采用的多个传感器包括:一对RGB摄像头传感器(配备红外光截止滤光片的透镜)、一对配备近红外带通滤波器和相关透镜的单摄像头传感器、一个惯性测量单元(IMU)、一个配备相关红外线发射器的ToF摄像头传感器、一个斑点图案发射器。

其中RGB摄像头将用于支持头显的MR透视功能,而红外摄像头将用于为追踪功能提供视觉数据。

专利中还详细描述了头显所搭载的各种传感器的追踪方式,其中头部追踪的方法是,通过识别透视功能捕捉到的2D图像特征,识别并匹配每个特征的深度,并生成3D点云,然后通过对3D点云的实时追踪来推断头部方向。此外,IMU传感器也可以提供补充信息。

而追踪用户身体姿态的方法是,显示在密集的深度图上对人体图像进行分割,提取与姿态网格和身体分割图,然后再从网格中提取出骨骼模型,然后通过追踪用户身体活动,并将姿态模型与骨骼模型和身体动作相匹配,来识别人体姿态。

最后,环境追踪的方式是,利用透视立体图和姿态追踪数据生成一个运动模型,然后识别关键节点,利用描述符来提取关键点附近的特征,接着通过将密集深度图与提取的特征相结合,预测出环境表面描述符。

6a0120a5580826970c0240a4798891200c-800wi 6a0120a5580826970c0240a4c76030200b-800wi

本文系青亭网翻译自:Patently Apple

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:小新
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册