从VR手套到大脑感知,Facebook的VR延迟探索之路

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

在此前的《为了VR社交,Facebook打造出最逼真虚拟头像系统》一文中,青亭网曾报道Facebook Reality Labs(FRL)会在为期一年里,通过一系列博文来向大家展示其5年来在光学、显示、计算机视觉、音频、图形、体感交互、脑机接口、眼球/手势/面部/姿态识别领域的相关研究。

65938775_469677130485092_8382154592594427904_n

近期,继讲述Facebook Codec Avatar逼真头像系统的首篇文章后,FRL再次通过博文向大家展示了用体感手套来测量VR时延,并优化用户感知性时延的一项研究。

据了解,Facebook首席科学家Michael Abrash在OC 5上就曾展示过一个体感手套研究的Demo视频,视频中,一名VR用户戴着支持手指追踪的体感手套在VR中玩抽积木游戏,当她在游戏中操控的手碰到积木后,手套就会在当下产生相应的体感反馈。

但大家所不知道的是,这款体感手套的早期版本曾受到时延问题的限制,在体感反馈、音频和视觉上都存在延迟,比如:体验者在VR中看到自己的手碰到了积木,却没能同步感受到触觉或听到声音。

为了测量并优化体感手套在VR中的时延,FRL研究人员构思了多种方法。其中一名软件工程师Forrest Smith表示:只测量软件延迟的话比较简单,有很多工具都能办到,但测量硬件延迟要更困难些。

游戏时延测量法

一开始,FRL研究人员参考游戏时延的测量办法,考虑的是如何测量输入时延。据悉,输入时延的概念很简单,打个比方:当你按下按钮后,马里奥需要多久才会跳起来?或者按下遥控器后,电视画面需要过多少毫秒才会变化?

在简单的情况中,利用智能手机就能完成时延测量,你只需要录制一段刷新率240fps的慢动作视频,然后数数帧数。

01

在手柄接入带LED灯的主板进行测试

或者也可以选用更优化的办法,将VR手柄接入一块配备LED灯的定制主板,当主板识别到手柄按钮信号后,LED就会点亮。然后利用高速摄像头捕捉全过程,就能实现较精确的测量。

另一种更好的方法是,制作一款黑白色调的小游戏,游戏中有一个黑色方块,当感应到按钮信号后,方块就会变成白色。然后,利用与显示屏相连的光传感器,也能测量非常精确的时延。

端对端延迟测量法

当然,上述方法只是用来测试按钮控制光子的时延,并不能测量手套内置的体感致动器的时延,原因是 :摄像头测量法并不适用,而且体感手套使用的是手势输入,并不具备物理按钮。

FRL_01

端对端传输流程

此外,单独测量体感反馈的时延还不够,想要实现体感手套与VR之间的低延时体验,需要考虑的是整个端对端体验的时延,也就是说要考虑多个方面,包括:硬件追踪系统、内部软件、第三方软件、设备驱动和输出硬件。而且为了更完整的优质体验,体感反馈、VR影像和音频的时延都需要得到测量和优化。

03

于是研究人员想出了一种声音测量法,即:将一张实际存在的桌子与VR中的桌子对齐,然后让一个人戴体感手套去触碰桌子,与此同时VR中的虚拟手和桌子也会相碰。

在这个过程中,研究人员采用多个传感器来记录:1,一个对准桌子的麦克风,用来记录实际接触产生的声音;2,一个位于手套内的麦克风,用于记录体感反馈;3,一个记录Rift头显音频的麦克风;4,用于识别显示屏改变的光电二极管。为了让采集的音频同步,研究人员用了一个便携式录音机将麦克风的信号汇总。

此外,为了测量手势追踪系统的延迟,还使用了一个电容性电路试验板作为可敲击的实物目标,捕捉较准确的软件时间戳。

FRL_02

同步的音频和视频流

接着,他们将同步的4种数据流在后期音效工具Nuendo中打开,并用手标记和计算差量时间,最后得出端对端时延为300毫秒,其中约200毫秒来自于第三方软件。据悉,Facebook这款体感设备的建议刷新率为1000Hz,因此300毫秒时延带来的体验感并不够好。

而体感手套运行的软件是基于多个子系统,并以多线程运行,更新的速率各不相同。如果出现线程问题,则会造成周期浪费或信号损坏,为了查看可视化的多线程表现,FRL研究人员使用了一个叫FramePro的工具。

在完成软件线程修复后,为了验证结果,研究人员还使用了示波器(可将肉眼看不见的电信号变成可视的图像)来测量体感致动器。

05

感官延迟信息图

利用上述方法,FRL研究人员对整个体感手套体验进行了优化,并用直观的信息图将300毫秒时延分成为了视觉、体感和音频三个部分,其中从触碰到产生声音反馈的时延最高。而且优化后的抽积木Demo运行起来也比之前更流畅,体验者认为视觉和体感反馈几乎可以达到同步。

感知性同步

追求完美的FRL研究人员当然不会就此停止,他们继续着手研究人脑对视觉、声音和体感的实际感知。

Smith表示:人类很擅长根据多种不同的感官信息来建立对世界的心智模型,但感官有时候也会骗人,原因是大脑会将多个感官信号融合成统一的感官。也就是说,尽管你看到、感觉到并听到手指敲击桌面是三件事,但大脑会将这三种感官刺激理解成一件事。

正是因为这样,当视觉、音频、体感的时延产生差异时,时延较高的感官会拖累其他感官,比如抽积木Demo中的音频时延较高,因此会让人觉得体感时延比实际更高。这种感官的变化是人体自发且无意识的,不管你多努力去忽略音频,体感反馈的时延都会受音频时延影响。

于是,当FRL研究人员关闭音频后,体感反馈的体验感得到了明显的提升,在让许多人体验过之后,也得到了肯定的答案。

心理物理学实验

那么问题来了,能否通过调整感官刺激的同步性来营造更低时延的整体感观呢?对于体验感来讲,更加同步更重要,还是低时延更重要呢?

06

为了深入了解这一问题,FRL研究人员展开了一项心理物理学实验。实验第一部分是制作一款VR测试程序,参与者需要去敲打虚拟方块,同时体感手套会对整个手部动作进行追踪。这项测试的目的是,为了研究人类所能承受的视觉和体感延迟,也就是说两种感观之间相差多长时间会让人感到“未同步”。

07

调查结果显示,在体感反馈比视觉延迟50毫秒以内,且不比视觉超前20毫秒以上的情况,会被大部分参与者认为是同步。而在他们的抽积木Demo中,体感反馈仅比视觉延迟20毫秒,刚好在同步范围内。

感官刺激的同步性

为进一步分析三种感官的同步性,FRL研究人员整理了一个分布图。从图中来看,XY轴的原点代表听觉、视觉、体感的完美同步,x轴代表音频与视觉之间的延迟,x值为正说明音频比视频有所延迟,为负则相反。而y轴代表体感与视觉之间的延迟,分布图中的颜色则代表不同的延迟程度。

08

从这个分布图中,研究人员发现低延迟的范围并不是正好在原点上,而且参与者对于超前于视觉的体感或音频非常敏感。另外低延迟范围的形状更像是椭圆而不是正圆,相比音频延迟,参与者们对于体感延迟更加敏感,这也印证了之前的,音频延迟造成体感感觉更加延迟的说法。此外还发现,改变交互方式有可能会提高人对于不同步的接受能力。

FRL研究人员也表示:现在下结论还太早,实验样本量较小,而且实验也比较简单。未来的目标是,为高度逼真的场景和体验制定一系列标准,由于当前还未完成三种感官刺激同步性的研究,因此这个目标仍在进行中。本文系青亭网翻译自:Facebook

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册