为何VR眼球追踪要先to B,惠普和Tobii告诉你

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

去年,惠普发布与Valve合作开发的单目2K Inside-Out PC VR头显:Reverb G2,与以往的WMR头显相比,G2的最大变化是采用四摄追踪方案和新的手柄设计,并引入Valve耳机和透镜技术。同年,G2升级款头显HP Reverb Omnicept Editionn曝光,据悉该头显在G2基础上加入眼球追踪、面部追踪和心率传感功能,可实现注视点渲染、生物识别、支持表情追踪的虚拟头像效果,功能更加强大。

7d802513bc245e6

那么,惠普为什么选择推出更高端的眼球追踪版WMR头显?这背后有哪些策略?它的应用场景又有哪些?

近期,外媒UploadVR采访到惠普XR软件和解决方案负责人Peter Peterson,以及Omnicept眼球追踪技术的供应商Tobii的XR负责人Johan Hellqvist,了解到关于VR+眼球追踪的应用场景、趋势等更多信息。

一,采访惠普XR软件负责人

据了解,Omnicept头显的目标用户和开发者和企业,结合惠普的机器学习SDK,其配备的生物传感器可用于评估使用者的认知负荷,适用于优化培训内容,提升受培训者的兴趣和注意力。

CognitiveLoad-768x510

认知负荷与性能关系图

UploadVR:企业级用户和开发者们对于VR头显有哪些反馈?

Peterson:用户希望VR头显兼容性强,也就是说在头显中运行新应用足够简单、快速。因此,Omnicept只需要开发者使用插件就能运行应用。这款头显以开发者为服务对象,简化API接入过程。

dd4616fc8ad9b73

UploadVR:为什么推出PC VR而不是一体机?

Peterson:PC VR可实现更加保真的画面体验,对于培训等商业场景来讲,画面的逼真度很重要。比如在培训精密仪器维护或使用时,场景和画面越逼真、越沉浸,培训效果越好。

除了画面外,为了保证沉浸的音质,还与Valve合作开发了Reverb G2的立体声音频系统。

UploadVR:Omnicept的目标用户是刚接触VR的企业吗?还是为了升级设备的老客户?

Peterson:很多正在开发VR软件产品或已经有VR业务的企业对Omnicept感兴趣,认为它的新功能有望提升VR软件的体验感。目前,已经有一些VR软件开发公司正在开发一些适合Omnicept新功能的应用,认为眼球追踪、面部追踪等功能有望打开更多企业级VR应用场景。

OmniceptSensors-768x304

UploadVR:Omnicept配备的生物传感器在线上虚拟会议中有哪些应用?

Peterson:使用眼球追踪和面部追踪技术,参会者的VR虚拟形象更加生动自然,无需模拟嘴唇运动,面部表情可根据用户动作实时变化。

对于未来的VR社交场景,需要先确保参与社交的用户拥有显示的设备和体验,就像是智能手机难以和以前的大哥大视频通话那样,VR社交的普及需要一款功能完整同时大众化的VR头显。

UploadVR:目前Omnicept的传感器采用惠普开发的SDK,未来它们会支持OpenXR SDK吗?

Peterson:我和惠普的VR架构师参与了大多数OpenXR会议,我们认为作为VR的标准规范,它会在技术发展带动下更慢一些发展。

目前,越来越多的runtime开始支持OpenXR,游戏引擎也开始支持OpenXR,接下来还需要实现标准化的OpenXR界面,或是特殊的OpenXR扩展程序。

我们认为,眼球追踪将在越来越多的VR场景中应用,因此希望眼球追踪功能支持OpenXR,而且相信也会有更多VR头显采用眼球追踪技术。不过除此之外,目前惠普还不确定其他功能是否适合在现阶段支持OpenXR。

UploadVR:距离无线PC VR时代还有多远?

Peterson:目前,VR需要解决的一大性能挑战是运动到图像延迟,即使是惠普的有线PC VR方案,也依然存在延迟。因此考虑到延迟问题,无线PC VR目前来看比较难。

为了解决无线传输延迟问题,VR头显需要做出一些牺牲,比如:远距离无线传输可能会影响性能和效果,因此通过靠近PC信号传输装置来提升性能。或者,如果使用者和信号传输装置存在遮挡,那么PC VR延迟可能会增加。

此前HTC Vive推出的无线适配器就存在一些局限,比如信号传输不能出现遮挡,无线适配器在可追踪范围内效果最佳。就像是WiFi网络,Vive无线适配器的频段在60Hz,如果使用者移动到墙壁另一边,信号可能大大削弱。总之,需要平衡各方面才能达到最优体验。

UploadVR:惠普是否在探索手势识别技术?

Peterson:目前还不能透露惠普在这方面的策略。不过就我个人而言,我认为手势追踪是一种重要的输入方式,不过目前还不能作为唯一的VR交互方式。

UploadVR:你认为VR的价格和性能那个更重要?

Peterson:二者需要兼备。随着VR技术发展,未来惠普的VR产品将分成一二三档不同的级别。入门款以走量为主,目的是推动VR市场和应用,让更多对VR感兴趣的人用上VR产品。

为了降低VR门槛,不仅要降低VR头显的成本,也需要降低所需的PC/显卡配置。

除了入门级VR外,也看好高端VR市场,人们对于最新技术的需求将推动高端VR市场。

二,采访Tobii XR负责人

除了惠普外,UploadVR还采访到Tobii的XR负责人,探讨了眼球追踪在VR头显中的应用。据悉,Tobii是一家瑞典公司,曾为HTC Vive Pro Eye、Pico Neo 2 Eye提供眼球追踪技术,惠普Omnicept也将配备Tobii的眼球追踪模块。

OmniceptEyeView

UploadVR:加入眼球追踪功能意味着增加成本,那么这项功能到底对VR有哪些提升?

Hellqvist:眼球追踪可用于注视点渲染,也就是说优化VR图像渲染的清晰度、降低头显功耗。实际上,随着VR头显的视场角、分辨率等参数不断提升,对于PC配置的要求也越来越高。与此同时,注视点渲染有望优化计算效率,从而降低对PC显卡、算力的要求。

另外,眼球追踪也能用于优化视觉效果,比如:动态调节瞳距,或是配合可变焦VR显示屏实现动态变焦,从而缓解视觉疲劳、提升画面清晰度。

当然,眼球追踪和注视点渲染也可以用于降低内容传输对带宽的要求,从而优化有线或无线PC VR、云VR的延迟。

总之,从整个系统层面讲,眼球追踪功能反而有望降低成本。目前,这项技术几乎是所有企业级VR头显的基础配置。

UploadVR:眼球追踪如何辅助VR交互设计?

Hellqvist:眼球追踪可以和姿态识别结合,用于理解使用者的实际意图。比如,在模拟投掷等运动交互时,眼球追踪可引导画面和注视点同步,体验感更好。

UploadVR:Tobii的眼球追踪技术适用于95%-98%的人眼,那么支持剩下的2%-5%有哪些困难?

Hellqvist:这2%-5%指的是一些患有眼部疾病的人,或是戴厚眼镜的人。眼镜框可能会遮挡眼球追踪的光源和成像捕捉,因此未来AR眼镜可能支持屈光镜片适配,而VR可能会通过Pancake光学缩短人眼和眼球追踪模组的距离,即使戴眼镜也能追踪。

UploadVR:你觉得,为什么支持注视点渲染的无线VR头显还未出现?

Hellqvist:这个问题与视频信号压缩有关。VR信号传输需要寻找更有效的方式,早期的PC VR利用电脑的显卡来处理图像,而随着XR1、XR2移动平台的出现,VR一体机可以支持更高效的图像压缩。

与此同时,眼球追踪+VR是一个相对新的概念,随着VR技术发展,未来可能会有更多VR头显具备运行高效图像压缩的能力,并结合眼球追踪来进一步优化图像。参考:UploadVR

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册

freemoviexxx.cc freemoviexxx freemoviexxx