Leap Motion剧透:正研究用于AR/VR的单手操控方案

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

对于新的计算技术来说,要实现它们的全部潜力,通常需要设计新的用户界面。在虚拟空间中,最基本的交互是基于直接的物理操作,如用手捏和抓,这是最普遍的操作。

随着我们从休闲类VR应用转向更深入的领域,设计优先级自然转向生产力和人体工程学,而交互设计最重要的领域之一就是模式切换和快捷方式。

Barrett Fox和Martin Schubert是来自Leap Motion的两位VR互动以及设计工程师,他们两位向外媒剧透了Leap Motion正在进行的一项工作:研究适用于AR/VR的单手操控方案,下面我们一起来了解一下。

0-1

我们现在经常使用键盘快捷键,Ctrl+Z、Ctrl+C和Ctrl+V是效率的基础,以至于很难想象没有它们的电脑会是什么样子,大多数人已经把这些都练成了肌肉记忆。

0-2

在VR中,通过对控制器按钮、触摸板的重新映射,我们也可以相对容易的使用这种快捷方式。但当我们想要单手操作时又当如何呢?这时我们无法再依靠按钮或其他机械输入方式,所以需要换一种不同的思考方式。

0-3

在之前的工作中,我们已将这些类型的命令映射到用户界面,其中一只手充当选项的集合,而另一个则充当选择器。如果可以用一只手来切换或修改当前活动的工具,那么操作的速度和舒适度都能得到提升。我们甚至可以设计一个有实体的和空间的快捷系统,不需要一直看着我们的手,使我们的目光更加自由,进一步提高生产力。

直接操作与抽象手势

单手激活快捷方式的一种方法是将抽象手势定义为触发器,这是Leap Motion通用规则的一个例外。我们通常喜欢将虚拟对象的直接物理操作作为使用抽象手势的交互范例,这其中有以下几个原因:

  1. 抽象的手势往往模棱两可。我们如何定义一个抽象的手势,比如在三维空间中“向上滑动”?用几根手指?开始和结束的时间和位置怎么界定?动作过程要多长时间?
  2. 较少的抽象交互会干扰用户的学习曲线。试图让用户学会特定的动作以便可靠地执行命令,对系统和用户来说都是一项重大挑战。
  3. 快捷键需要快速方便的访问,但容易误触。增强易用性意味着扩大动作识别的范围,但这使我们更有可能无意中触发快捷方式。

为了解决这个问题,我们决定不再使用单个手势来触发快捷方式,而是将动作分成两个连续的阶段。

第一步:翻转手掌

0-4

我们的交互设计理念总是以现有的惯例和公约为基础。在对数字可穿戴设备探索中,我们开创了一个重要的先河:通过旋转手掌面触发手动菜单。这可以很好的根据你手掌所面对的方向进行分段交互。

0-5

在正常的手部运动和想要激活一个快捷方式的意图之间,手掌方向似乎是一种比较适合的初始判定条件。当你将手掌转向其他场景时,意味着你将与外部世界进行互动。

第二步:捏合手指

当你的手掌正面朝向自己时,我们想出了另一种可以轻松触发交互的动作:捏合手指。

0-6

这个动作非常简单,只需要移动你的食指和拇指。并且这个动作很容易界定,可以通过追踪系统来定义和表示,当你完成捏合动作时,你自身也可得到触觉上的反馈。此外这个动作带有明确的目的性,毕竟你不可能无缘无故的一直捏着手指。

这两个动作可以一个接一个地执行,既快速又简单,不会在无意中出现误触发的情况。这个序列似乎是我们研究单手快捷操作的坚实基础,而下一个挑战则是如何让人们如何知道这是他们需要做的。

回想一下直接操作和抽象手势的好处,我们想知道能否将这两种模式融合在一起。通过使用虚拟对象来引导用户完成交互,是否可以让他们在执行抽象的手势动作时,感觉上像是在直接操作某些东西?

弹力球

我们的解决方案是创建一个附在你手背上的物体,它可以作为你在互动过程中的视觉指示器,也可以作为捏合手指的目标。如果你的手掌朝向外侧,物体会被固定在你的手背上,当手掌朝着自己的方向旋转时,物体会向上移动到另一个位置。

0-7

这种混合操作是很容易学习的,并且具有一定的可扩展性。接下来的问题是,这种快捷操作系统是否符合人体工程学原理,以及是否可对手掌和手指的动作进行可靠的追踪。

手势类型的选择

他们也很快注意到,最简单最快捷的手势就是捏合以及松开的动作。这可以让你执行单一快捷指令,或在两种模式下进行切换,或在连续捏合的几种模式之间切换。

但是,快捷指令系统往往只适用于单独少数的场景。因此,他们又探索了多个快捷手势系统。第一步就是调查研究手指运动的舒适活动范围,以下是他们找到的一些比较理想的手势动作。

1

第一个就是捏合手指状态下的手掌旋转,例如以手腕为支点,将手指朝内侧来回转动。

2

第二个手势动作就是捏合手指状态下朝前后方向转动,依然是以手腕为支点转动。

3

第三个是捏合手指状态下,以肘部肩部为支点,进行前后左右的移动。

从这些预选的手势动作模型中,我们发现了勾勒出了它们各自的活动范围,其可帮助用户来判断最佳的操作方式。其中一个是基于触发式的空间范围移动,将虚拟场景和用户真实旋转呈现1:1来移动,保证逼真的旋转感觉。

微信截图_20180511171043

另一个是基于轨迹线的系统,这套系统中弹力球将跟随用户手指一起移动,但其被限定在沿着轨迹线移动,因此手势出现偏差系统内也不会受影响。

微信截图_20180511171058

然后,我们根据这三种模型设分别设定了三套方案:弧形容积方案,弧形轨迹线方案,平移型轨迹线方案。

1,弧形容积方案

在弧形容积系统中,我们要进一步确定的就是如何在固定的空间内是非常困难的。当强力球激活快捷系统后,我们首先尝试在虚拟空间内中生成弧形的容积图,并将它们锁定在之前捏好的位置,然后通过旋转不断去体验和尝试。

4

这种方法的一个缺点是,它要求你的手指不能有太多其它动作,否则会影响准确性。在此方案中,当捏合手指出发弹力球后出现的弧形空间被分割成三段,并用不同颜色进行区分同时也会伴随着的体积放大的效果。

这种方案在试用过程中有着不错的效果,其伴随着手指的转动,不同颜色的模块就会被激活,然后将每个颜色分别设定不同功能,松开手即激活对应的功能。整体的操作简单、效率也比较高。

2,弧形轨迹线方案

这套方案解决了先前系统的一些问题,其将强力球限制在沿着轨迹线的点来移动,你可以用你自己最舒适的方法去旋转手腕,不用刻意限制方向,弹力球总会沿着轨迹线去移动。

5

该方案的最大优势就是灵活,相比第一种方案它不受限于手腕转动的方向。虽然,其整体视觉上更为简洁,但看上去并不易用。因此,我们在该方案中融入了变形的动画系统,通过捏合弹力球以激活另一个变形的动画系统。

6

例如上图这样,在手指捏合时,弹力球会呈现扁状动画,然后依旧被划分称三个区域,每个区域以不同的颜色显示。这样一来,看上去就更容易操控了。

不过该系统还存在一个问题,处在两端的模块虽可以很快的进行选择,但中间的模块就需要在手腕转动多次调试才行。

3,平移型轨迹线方案

第三套方案采用了平移的方式来操控,没有加入旋转的操作,因此有较大区别。前面两种旋转方案都只设定了三个子功能,而在此方案中最初设定了四个子功能。

7

并且该方案严格意义上讲并不是前面两种的弹力球方式,而是一个按钮。在手背向上时,手背中间会有一个方形按钮。而手心向上时则呈现一个弹力方块,当手指捏合时就会激活一个十字形的轨迹线。

也就是说,在该平移型方案中依旧是轨迹线设计,手指并不需精准移动,弹力方块总会围绕在十字形的轨迹线上。其通过十字形划分为四个功能区域,并以不同颜色划分。

经过试用,该方案和预想中那样易于使用,在VR中可以做到理想的单手快捷操作。通过反复多次练习,就可以熟练上手操作。

8

该方案还可以扩展成6道轨迹线,即增加垂直表面的2道轨迹线。理论上,该方案还可以增加更多的轨迹线。

以上就是我们对于VR/AR中单手操控快捷方式的研究,但并不是全部。为了验证我们的研究,还需要进行更多的场景测试,也需要调研用户对该系统是否接受,是否易于上手等。当然,如何避免用户用另一只手触控手背的弹力球,甚至如何把用户的吸引力转移到需要的地方等这些问题都还待解决。

9

最终,Leap Motion要做的就是把这些方案与视觉和听觉系统进行融合,以此来创造更沉浸的体验,进一步提升单手操控的可行性。

另外,关于在实际使用中这些方案的使用效果和效率,以及当我们不需要使用该方案时是否存在错误激活的情况,Leap Motion会在下一篇文章中进行阐述,也请大家保持关注青亭网后续的报道。

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册