微软新XR研究成果(二):除了注视点渲染,眼球追踪还能做什么

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

近年来,将VR与眼球追踪技术结合逐渐成为一种趋势,眼球追踪技术不仅可以作为VR的一种交互/输入方式,也可以与注视点渲染相结合,从而降低头显的功耗,提高渲染效率。或者,眼球追踪也可以用于优化自适应游戏AI、游戏新玩法、预测用户行为等。

eye tracking tobii

除此之外眼球追踪还有其他用途吗?近期,在微软向ACM用户界面软件与技术研讨会提交的三篇论文中,就曾有一篇展示了眼球追踪在多种场景中偷换余光画面的能力,为该技术指明了新的应用方向。(上一篇参考:《不用透视功能,戴VR头显上街是什么感受》)

1572011298048

7种应用场景

据了解,微软在论文中指出了一种名为Mise-Unseen(向法语Mise en scène致敬,指的是场面调度,戏剧或电影制作的一种表现手法)的系统,主要用来改变你眼前的VR场景,比如利用注意力转移,将你在远处看到的物品悄悄转移到跟前,或者根据你的喜好来改变场景中的布局等等。

在电影中,场面调度指的是导演通过引导观众注意力的方式,让他们看不到场景中的镜头或照明装置,或者在观众视场角外改变场景。而在VR中,用户的视角由自己控制,是不可控的。而且随着VR头显视场角逐渐增大,可隐藏场景变化的区域就会更小,因此场景的改变只能在用户余光视觉悄悄进行。(视网膜中央凹视场角为5°,中央视场角约为30°)

微软研究院高级研究员Mar Gonzalez Franco表示:Mise-Unseen的概念来源于注视点与注意力之间的联系,因为通常你看哪里,你的注意力就在哪,同时也不会注意到其他地方。

因此,Mise-Unseen系统利用眼球追踪来识别用户的注视点,并结合显着度/视觉干扰等掩码技术,然后通过感知模型来建议场景中作出何种改变不会引起用户注意。比如,在虚拟画廊场景中,Mise-Unseen会通过注视点来分析你的喜好,并改变你余光部分其他油画的风格。

除此之外,Mise-Unseen甚至可以用来强化用户在VR中测试的准确性。比如说,在VR游戏中,你需要解开一个谜题来计算出密码,当然通常你可以通过不断试错来蒙对答案,甚至都不需要看谜题是什么。而加上Mise-Unseen技术后,如果你从来没有仔细看题,那么即使你蒙对了答案,谜题也会趁你不注意的时候悄悄实时改变,让你不得不根据题目来计算出答案。

当然Mise-Unseen也可以用于实现被动体感反馈、自适应难度,甚至优化过场动画来降低晕动症,以及降低优化成本、优化渲染效率等。

关于原理

1572011316639

不同应用使用不同模型

为了进一步演示Mise-Unseen的作用,科研人员开发了多种不同的应用,我们过一会详细讲解。这些应用会对场景进行多种不同的改变,而改变产生的时间则由Mise-Unseen系统来决定。

那么Mise-Unseen具体是怎样决策的呢?Mise-Unseen利用眼球追踪,将用户的注意力、意图/空间记忆等感知理论的不同领域制作成5个注意力模型,并通过这些模型来确定画面修改掩码的决策和时间,以此来减少用户预期、察觉或回想起来的情况。

它会根据注意力模型计算出应用中的变化引起用户注意的可能性。比如,Mise-Unseen会计算出每个应用中,每一帧中每个注意力模型的值,其中最高值作为被发现的可能性,当可能性低于预定阈值时,Mise-Unseen才会将变化注入场景中。

1)防止用户发现

那又是如何避免用户发现到改变呢?Mise-Unseen利用了4个模型搭配视觉掩码,其中第一个模型(测量当前注意力)基于一个简单的原理,即:注视点意外的虚拟目标不容易被察觉,然后再加上视觉干扰等掩码技术,进一步降低穿帮的可能性。不过当用户已经忙于另一件事的时候,也可以省去干扰。

而第二个和第三个模型分别通过瞳孔测量法和眼跳来测量认知负荷,这是实现非注意盲视(一种心理现象,指的是对于你不注意的事情,即使近在眼前也看不到)的一个必要条件。

第四个模型测量潜在的注意力,负责处理当人眼没有看某样东西却注意到改变的情况,这时候如果注视点即将靠近,可能会根据所剩时间选择终止或加速改变。

最终,科研人员实现场景改变的方式有四种:一种是在用户注视点以外悄悄变化;第二种是用更突出的干扰物去吸引用户注意力;第三种是通过渐进淡出和低对比度等视觉技术降低视觉信号强度;第四种是为用户提供干扰性任务,通过增加注意力负载来避免他们注意到周围的改变。

同时,用于干扰的掩码技术也可以替代注意力模型二或三。另外你可能会说,其实不需要注视点信息也能吸引用户注意力,但Mise-Unseen的作用是能够通过注视点信息来验证用户没有注意到改变,这样即使是更自然、更休闲的干扰动作也可以达到效果,而且更容易集成,甚至可能在场景中就已经存在。

2)避免用户回忆起

为了避免用户事后依靠回忆识别出场景改变,Mise-Unseen采用了第五个模型搭配场景建议的方式。据悉,第五个模型通过测量停留时间来计算空间记忆,旨在防止用户通过视觉记忆在事后对比时发现改变。

为了看起来更直观,科研人员使用了加权定向图来代表用户的空间记忆,其中包含的信息包括相关目标之间的空间和角距离。

而Mise-Unseen避免用户回忆起的具体方法是,通过为与改变无关的目标推荐新的定位和旋转。比如,无关目标与得到改变的目标一起移动,从而降低前后差异,以及对空间记忆的破坏,进而降低用户察觉的可能性。

3)避免用户预料到

为了避免用户预料到本该不易察觉的改变,Mise-Unseen会采用随机的形式触发变化,或者通过眼球追踪推断出用户对场景的理解和意图,进而在用户行动之前就做出改变。

那么用户意图又是如何推断的呢?Mise-Unseen会通过测量注视点在目标上的停留时间并设定阈值,而且除了推断意图外,也可以通过将用户呈现的注视点规律与预定义的扫视轨迹进行对比,来验证用户对于某项内容的理解。

7种应用场景

据了解,微软这篇论文的主要目标是展示在用户眼前、注视点外围做改变而不被发现是可行的,并且列举了7种可应用的不同场景,包括:

  • 1,识别用户选项,在缺少实体道具时,实现被动体感;
  • 2,在空间有限时维护持续的移动;
  • 3,降低在VR中移动产生的晕动症;
  • 4,隐藏根据用户而改变的自适应任务难度;
  • 5,自适应用户偏好;
  • 6,在情节进展中验证用户是否理解;
  • 7,控制低保真特效出现时间。

为了展示上述7个场景,科研人员分别开发了相应的7个应用:

锤子

1,铁匠铺——展现被动体感:在这个应用中,Mise-Unseen会根据用户注视点来推断接下来想要选择的武器,并且当桌子上这个武器处于注视点外围时,将它移动到真实环境中对应道具的位置,这样即使你只有一个体感道具,也可以让用户在VR中不管选哪个武器都能抓到它。

1572011454214

2,货厢——展现自由行走:这个应用的作用与铁匠铺相似,但它不是将武器与道具重叠,而是将两个轨迹中的一个与真实环境重叠。当然,靠空间压缩技术就已经可以让VR空间适应物理空间,甚至改变注视点以外的盲区,而且预测用户行走方向也不是新的概念。而这个应用的不同之处在于,其展示了眼球追踪可以让自由行走的体验感更自然,甚至减少对于VR画面的利用率。除了眼球追踪外,电话铃等干扰也是必须要的。

1572011472159

3,城市飞行穿梭——展现过场动画、360°视频、虚拟移动:这个应用展现了从高楼飞下来的过场动画,与通常用来遮挡余光视觉的黑色掩码不同,这里通过将余光视觉刷新率降低至1Hz来减少余光看到的动作,并且将注视点和余光的渲染画面融合。而这一效果是通过插帧、注视点边缘羽化加上动态模糊来实现的。

效果类似于注视点渲染,区别在于它并没有降低像素分辨率而是降低了时间分辨率,并且采用插帧而不是插像素的原理。

1572011348288

4,拼图——展现自适应难度:这个应用旨在帮助用户完成任务,通过使用视觉干扰,加上余光视觉变化,将正确的拼图移动到用户眼前,同时确保用户完成任务的满足感不会减少。

1572011496165

5,画廊——展现自适应内容:这个应用会通过眼球追踪信息来猜测用户的喜好,比如你第一眼将目光停留在现代艺术品上,那么Mise-Unseen便会悄悄将余光部分的印象派艺术品变成现代风格。

1572011382834

6,谜题破译——验证用户真实选择/情节进度:这个应用旨在防止用户通过反复试错来作弊,当Mise-Unseen通过注视点识别推断出你没有审题而是直接输入答案的时候,便会在题目位于你余光的时候悄悄改变。这可以用于冒险游戏中,促进你去理解故事进度和叙事,也可以用于培训或教育。

1572011506466

7,汽车爆炸——展现对开发成本的优化:注视点渲染可以节省计算成本,而这个应用甚至可以降低开发成本,好让开发者将更多资源用于优化其他更重要的内容。为了避免用户注意到低保真渲染的汽车爆炸效果,Mise-Unseen会通过叙事等方法来引导用户注意力。

验证实验

1572011523470

为了验证Mise-Unseen系统的效果,微软科研人员找来15个人进行体验,其中有12人曾体验过VR,5人曾体验过眼球追踪,还有8人曾观看过魔术。此外,实验中使用的设备包括:HTC Vive Pro头显、基站、追踪器以及PupilLabs的眼球追踪模块(刷新率200Hz,延时4.5ms)。

1572011551981

实验结果发现,注视点数据确实有助于掩盖视场角内画面的改变,当画面涉及任务和移动的干扰时,识别率(正确识别画面改变的比例)会大幅降低,总之将注视点数据与越复杂的掩码技术结合,变化越难以识别。

另外,还调查了参与者对于每个应用的趣味性(按照利开特式量表从1到7打分)的看法,认为其中拼图、谜题破译、画廊、铁匠铺和城市飞行比较有趣。

总之,Mise-Unseen启发了眼球追踪的更多场景。当然除了眼球追踪,Mise-Unseen也可以结合其他数据来分析用户注意力,比如视频处理过程中提供的显著图、脑机接口信号(EEG等)等。也可以增强视觉掩码技术,比如在技术层面上,可通过诱导用户眨眼来触发不易察觉的快速变化。本文系青亭网翻译自:微软

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:小新
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册