Tested采访扎克伯格:揭秘四款VR原型机更多细节

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

本周,Meta Reality Labs公布了4款VR头显原型:Butterscotch、Starburst、Holocake 2和Mirror Lake,分别展示了四种不同技术路径的探索,包括:显示分辨率、动态变焦、亮度与HDR、技术综合体等方面。

与此同时,科技博主Tested亲自潜往Reality Labs对这些原型进行体验,之后并与扎克伯格连线探讨,信息量同样不少。

相比于Meta官方发布的视频,Tested进一步了解到Meta VR发展路径,以及产品设计思路等细节。从本文的大量图像中,你将清晰看到Reality Labs这些年来迭代的技术。并且也将作为周二文章的进一步补充,相关阅读:《Meta公布四款VR原型机,提出“视觉图灵测试”概念》。

微信图片_20220623151108

Tested采访Meta CEO马克·扎克伯格

帮助VR通过视觉图灵测试

此前,扎克伯格曾提到一个叫视觉图灵测试的概念,其标准是判断人眼能否分辨虚拟和真实,也就是VR和物理世界之间的区别。为了通过视觉图灵测试,仅依靠显示技术并不够,还需要优化软件、芯片、传感器等部分。Reality Labs的目标是解决所有与VR相关的问题,从多方面入手帮助VR通过视觉图灵测试。

Meta_Reality_Labs_Eye_Chart_Comparison

因此,Reality Labs包含了产品团队(负责研发和迭代Quest)、科研团队(负责打破技术局限、解决VR的底层技术问题)。其中,Meta科研团队的目标是为了给数年后才发布的VR头显、AR眼镜做准备。

对于VR显示技术来讲,目前需要解决的问题比传统显示屏(电视、电脑、手机屏幕等)更加复杂,需要从多方面突破技术局限。比如,由于VR的视场角、显示区域通常比手机或电视更宽,因此VR屏幕需具备更多像素,才能清晰显示。也就是说,VR屏幕需要比传统屏幕分辨率更高,才能达到相似的视觉清晰度。而这也意味着,VR屏幕更加耗电。

微信图片_20220623150941

另一方面,VR为了营造3D视觉效果,通常需要配备两块屏幕。而且相比于2D屏幕,VR画面像真实环境那样具有空间感,这种空间感如果支持动态变焦,视觉效果才会更自然。就像是当你看手上的书时,眼球聚焦在近处,看窗外时,则聚焦在远处。仅依靠一块屏幕,通常无法模拟这种人眼变焦。

微信图片_20220623150946

简单来讲,VR需要比传统屏幕更高的显示性能,这是因为VR本质是模拟现实。就拿HDR功能来讲,尽管市面上一些HDR电视已经可以显示丰富的光影对比,但真实环境中的光比市面上最端的HDR屏幕还要高一个数量级。

微信图片_20220623150948

因此,如果VR要模拟逼真的阴影、生动的色彩,将需要渲染大量的光影,而这也十分耗电,需要体积更小的电池才能达到轻量化外观。

微信图片_20220623150951

扎克伯格表示:视觉图灵测试有两个重点,即照片级真实感和临场感。实际上,VR通过立体空间、空间音频等方式实现一定的临场感,而随着视觉清晰度提升,VR的社交临场感也会越来越强。

关于产品体验

为了解决VR显示技术面临的问题和局限,Reality Labs科研部门的DSR团队多年来一直在探索。该团队(显示系统研发)负责人Douglas Lanman表示:DSR团队在过去几年内研发了大量AR和VR原型,可以摆放一整墙,这些原型技术可能会在未来五到十年内得到应用。

Wall_of_Headsets_L_DSR_14_副本

本文将重点涉及此前已经公布的一些VR原型,如Half Dome系列、Butterscotch、Holocake 2等等。

1,Half Dome原型

这是某种基于Rift改造的VR头显,其特点是采用可变焦透镜,原理类似于自动对焦摄像头。Half Dome配备了多层的高动态范围透镜组,此前的方案是利用机械移动透镜来实现变焦,而为了提升动态变焦速度,便开始采用电驱动方案。扎克伯格表示:这种动态变焦方案还需要一些完善,然后才会面向消费者发布,预计大概需要5到6年。

微信图片_20220623150944

Half Dome基本上是在Rift基础上进行改造,不过Half Dome和Rift的显示长宽比不同,Half Dome的视场角更宽,可达140°。这是因为,Meta将Rift的屏幕相当于90°垂直旋转,将两块纵向布局的屏幕横过来,这样长度便更长,高度则比之前要低一些。此外,还配上了更大的菲涅尔透镜、IR LED眼球追踪模块、轻量且安静的步进马达变焦装置。

Lanman还展示了Half Dome的4个迭代原型:

Half Dome 0:将Rift屏幕做成可移动式,并加入步进马达、导杆、四轴飞行器、阻尼器(静音降噪)。在Half Dome 0上,DSR发现如果将视觉变焦范围设在20厘米到无穷远,那么VR屏幕实际移动范围在7到8毫米左右(这是由透镜参数/焦距决定的)。

微信图片_20220623150959

Half Dome 0

Half Dome 1:重点是提升视场角,进行图像变形压力测试。因此,它的屏幕是横过来的,而且具有一定角度,目的是接近人脸弯曲弧度,但这通常会造成一种光学畸变,这时将需要结合眼球追踪来进行校正。

微信图片_20220623151002

Half Dome 1

Half Dome 2:2019年的研发项目,重点是提升VR头显的舒适性。因此采用短焦Pancake透镜来取代Rift菲涅尔透镜,好处是可以将机身做得更薄。此外,利用了偏振特性来实现折叠光路。

微信图片_20220623151004

菲涅尔透镜vs Pancake透镜

而为了进一步减少马达的震动噪音,DSR决定将步进马达改为音圈,用弯曲的小弹簧来代替导杆,从而减少摩擦等物理接触。

微信图片_20220623151007

Pancake模组的折叠光路

在Half Dome 2原型中,DSR尝试了步进马达、Pancake透镜、音圈,甚至还尝试了隔音膜、可弯曲的转轴组合。

微信图片_20220623151012 微信图片_20220623151009 微信图片_20220623151023

Half Dome 3:从第三代开始,Half Dome的透镜从机械系统升级为电子变焦系统,好处是少了机械噪音、震动。细节方面,这个电子变焦系统采用了一种几何相位透镜/Berry相位透镜结构,它可以将光线极化,与偏振器组合后,可改变偏振的方向。将这种结构多层叠加,便可实现多个焦点平面。比如,Half Dome 3就有32个可切换的焦点平面。

微信图片_20220623151016

几何相位透镜/Berry相位透镜结构

微信图片_20220623151018

不过,由于几何相位透镜上的电极吸收蓝光,因此看起来有点泛黄,叠加的层数越多,黄色越明显,甚至影响透光率。另外,还需要结合适合的畸变校正算法。

微信图片_20220623150955

据了解,通过调整SDK,Half Dome几乎可以运行所有Rift游戏。体验者表示,利用Half Dome动态变焦玩《Lucky’s Tale》等游戏时,可以将手柄移动到眼前,抓起虚拟物体近距离查看,效果足够好。而且眼球可以快速适应VR图像变化,并清楚对焦在近处的物体上,舒适度也足够好。

微信图片_20220623150958

扎克伯格表示:除了游戏、社交外,未来VR办公也是一个关键应用场景。在工作场景中,清晰、舒适的文字阅读能力很重要,而且人眼将可以聚焦在近处的文字上,就像看电脑、看书那样,眼球和文字之间要保持一定距离(半米以内)才能看清楚。另外,动态变焦对于文字阅读也很重要,它可以允许你随时调整眼球和文字之间的距离,有助于缓解视觉疲劳、提升阅读舒适度。

微信图片_20220623151020

2,Butterscotch原型

Butterscotch特点是具备高分辨率,PPD达55。目的是探索VR分辨率的极限,比如未来分辨率提升到什么水平,视觉提升空间才越来越少。对于文字阅读场景来讲,现有的VR屏幕显示的文字已经具有可读性,但分辨率不够高意味着长时间阅读文字体验感不够舒适。为了优化文字阅读体验,则需要进一步提升VR分辨率。

Butterscotch_Prototype_Reality_Labs_Research_副本

不过,VR分辨率也受到其他软硬件技术限制,比如3D图形软件、引擎可渲染的像素数量有限,无法充分利用高PPD屏幕,或是电池容量有限,无法为高分辨率屏幕长时间供电。GPU、CPU、散热等因素也会带来限制。

Meta Reality Labs科研部门DSR团队光学科学家Yang Zhao解析Butterscotch定制透镜模组:其中包含两个高精度玻璃镜片,优势是表面质量更高,缺点是重。此外,还有一个可衍射光线的特制透镜,与Half Dome 3使用的透镜类似。

微信图片_20220623151024

这个衍射透镜的特性是,可将光线以(和玻璃透镜)相反的顺序分散。将玻璃透镜和衍射透镜组合后,可显示清晰的图像。

​Butterscotch的PPD虽然达到55,它是搭配了一块现阶段3K分辨率屏幕并将视场角缩小才实现,FOV仅为多数VR头显的一半,也就是50°左右。

微信图片_20220623151027

值得注意的是,为了测试PPD对于VR视觉效果的影响,Butterscotch的PPD可手动调节。在体验过程中,Tested发现PPD在35以上时,距离他两米远的文字就足够清晰可读。而在55PPD模式下,Butterscotch的清晰度达到了Tested体验过的最高水平,可看清楚VR场景中更远的距离。

除了文字外,VR图像的纹理、生动的色彩等元素的渲染效果也同样细致。

上述研究主要是为了探索VR显示的可能性,与此同时,FRL的其他团队也在从事其他VR研究,比如:图形管道、传感器等等。

3,Starburst原型

这是一个号称具备真正高HDR功能的VR原型,其背光的最大亮度可达到现有VR头显的200倍(高达20000nit)。

微信图片_20220623151046

开发Starburst的目的是,为了在VR中还原完整的室内照明,并进行用户调研,探索沉浸、逼真的VR所需的理想亮度。

微信图片_20220623151050

细节方面,Starburst采用了COB LED(板上芯片LED,常见于汽车前照灯)来取代原来的LCD屏幕背光,好处是大大提升了LCD的背光亮度,但同时产生更多热量,因此Starburst还配备了风扇和3D打印散热底架,整体设备比较笨重,而且相当耗电。

微信图片_20220623151052

3D打印散热底架

有趣的是,Starburst采用了两个堆叠的LCD屏幕(单色LCD和彩色LCD),目的是提升屏幕对比度。Reality Labs Research科研经理Nathan Matsuda表示:由于LCD的对比度有限,如果只使用一个LCD屏幕,那么在高亮度模式下,虽然白色更白,但黑色并不会更黑,反而更亮。此外,叠加两块LCD也会将8 bit屏幕升级为16 bit。

微信图片_20220623151057

实际上早在2016年的一项专利中,苹果就提到一种多层LCD面板堆叠的结构,目的是提升HDR LCD屏幕的对比度。此外,京东方也曾推出LCD双层Cell面板,用于搭载HDR技术,可实现500000:1超高对比度。

微信图片_20220623151059

双层液晶面板可大幅提升LCD屏幕的背光分区,从而降低高亮度可能产生的光晕问题,并提升黑白对比度。

meta-reality-labs-research-vr-headset-prototype-5

相比于支持高对比度的Micro LED方案,双层LCD在成本上更具优势,更适合消费级VR产品。不过,双层LCD的响应时间和厚度,也是未来需要优化的两个问题。

微信图片_20220623151101

此外,Starburst采用了菲涅尔透镜,用来汇聚光线。为了进一步控制光线,光学模组的目镜部分还采用了挡板、深色涂层等设计。除了菲涅尔透镜外,还尝试采用消色差双合透镜,来提升对比度。

微信图片_20220623151048

体验者表示,Starburst展示的HDR视觉效果足够逼真,他看到了一个在静态日落场景中,反射阳光的金属球,视觉观看足够接近现实。扎克伯格指出,即使VR不具备视网膜级分辨率,利用HDR照明也能渲染出逼真的画面,甚至能渲染出深度。

微信图片_20220623151103

与此同时,提升光学显示效率则十分关键,比如可以结合准确的眼球追踪技术,将光线投射到人眼中,避免无效的照明,从而降低功耗和散热。

另外,也需要通过优化透镜来提升光学效率。扎克伯格表示:尽管Pancake透镜可支持更高的分辨率,但实际上它的光学效率比菲涅尔透镜更低,为此Reality Labs也在致力于优化Pancake透镜的透光率,提升效率。

4,Holocake 2

Holocake 2采用了全息透镜和Pancake透镜组合,优势是可以将VR头显做的更薄,长时间佩戴的舒适感更好。

Meta_Holocake_Research_Prototype_Reality_Labs_副本

缺点是效率不够高,可能需要采用分体式设计,为其供电。扎克伯格认为,VR头显在2030年之前,可能会更接近Holocake 2这样轻薄的外观。

微信图片_20220623151105

相关研究细节12

目前,Holocake 2原型经过设置已经可以运行PC VR游戏。体验者表示:Holocake 2的视觉效果达到了Quest 2的水平,但它的佩戴重量却轻很多,而且戴起来看着更像是护目镜,而不是一个放在脸上的盒子。

VR透镜迭代

对于VR显示技术来讲,光学透镜和屏幕是紧密关联的,因此更换或修改屏幕参数/类型,意味着透镜也需要改变。在Quest时代,Meta采用了菲涅尔透镜,而Half Dome 2则采用Pancake透镜,Holocake 2采用全息+Pancake透镜(Holocake 2)。

微信图片_20220623151029

目前市面上的一些消费级VR头显采用静态畸变校正方案,来优化透镜造成的画面失真,原理主要基于对渲染图像的预先扭曲。但这只能解决静态畸变,动态畸变(移动的眼球通过透镜看到的画面畸变)难以矫正。为此,DSR决定采用眼球追踪技术,根据实时的注视点变化,来校正动态畸变。

微信图片_20220623151031

为了模拟不同的屏幕和透镜配置,加速迭代动态畸变校正方案,DSR团队设计了一个光学畸变模拟器。即利用软件来模拟整个VR头显光学配置,这对于开发光学畸变校正算法尤其有效。

微信图片_20220623151041

其组成部分包括:2D大屏电视(模拟畸变图像)、与电视同步的主动式快门3D眼镜(营造3D效果),还有一个固定头部的旋转支架。

Verzerrungssimulator_Meta_DSR.jpg_副本

当科研人员将下巴放在支架上时,支架会根据他的头部旋转,来实时更新头部和眼球模型的位置。同时,算法会根据头部和眼球模型来计算前庭眼球反射运动(VOR),并合成对应的图像失真。

微信图片_20220623151038

而模拟不同透镜的畸变,则是通过一个叫光场传送门的算法,该算法可合成虚拟透镜。

微信图片_20220623151044

除了模拟透镜畸变外,该方案还可以模拟不同显示屏角度对显示效果的影响。倾斜的屏幕可以更贴合人脸弧度,这种有弧度的头部包裹式设计可能会成为VR的未来发展方向,好处是外形可以更加轻薄、更符合人体工学、视场角也可以更大。

Meta技术路径

在VR领域,Meta是当之无愧的领军者,甚至在Reality Labs上投入数百亿美元,研发十年内VR将需要的技术。那么,Meta为什么要内部自研显示系统,为什么不和供应商合作开发?

微信图片_20220623151107

对此扎克伯格表示:VR显示是一项新技术,其技术堆栈和路径与手机、电脑、电视屏幕完全不同,而且市面上没有现成方案。因此当Reality Labs的研究成果应用于VR产品时,通常都会领先于市场中任何同类产品。

Rift等早期的VR头显曾采用现成的屏幕、传感器技术,而随着VR技术发展,便开始更加依赖定制、自研。而Reality Labs的角色,则是抢先去探索未来VR发展将需要的技术,并为之打下基础,为未来十年做准备。

尽管Reality Labs在同时开展多个研究方向,但Meta目前还未透露一个明确的AR/VR技术发展路径。那么对于Meta来讲,这些技术的优先级是怎样的,哪些技术会率先应用于未来的产品中。

扎克伯格表示:每项技术突破会解锁对应的应用场景,不同应用场景的优先级将影响技术研发和推出的顺序。另外一方面,Meta技术发展的一个重点是缩减AR/VR的体积、成本。

短期内,Meta可能会针对不同类型用户和应用场景推出不同价位的AR/VR产品,也就是拥有不止一个产品线,每个产品线具备的功能、配置也有差异。而长期的目标,则是在一个AR/VR设备上应用全部的高端技术,或是降低专业产品线的技术成本,应用于消费级产品线中。

扎克伯格表示:AR/VR硬件技术和市场还在发展阶段,只有当产量大幅提升时,成本才能降低。因此,针对不同的用户群体(比如社交、游戏、健身、办公等)推出更适合的AR/VR产品,更有助于带动整个AR/VR行业。

另外扎克伯格还指出,VR和AR技术有很多部分是相似的,比如眼球追踪等等。目前,AR有两种技术方案:VST透视和基于光学的纯AR,而这在图形管道和显示方案上相当不同。

微信图片_20220623150953

尽管如此,纯AR、VST透视AR、VR可拥有相同的3D渲染技术,未来可能会有一个统一的开发平台,这样AR内容也可以在VR中运行。参考:Tested

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册