FRL光追手套打字方案揭秘:平均速度73字/分钟,错误率仅2.4%

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

不久前,青亭网就曾报道Facebook科研人员展示的一种基于光追手套的VR虚拟键盘方案,它的特点是利用Quest头显对光追手套上标记的识别,来替代实体键盘进行输入。也就是说,你在任何表面上都可以模拟键盘输入,在VR中你可以看到虚拟的键盘和输入的文字。

oculus-quest-hand-tracking (1)

为了探索在VR中快速、自然输入文字的方式,Facebook想了很多办法。目前已经应用且最直接的方式是,通过手机输入然后发送到头显中,或是依靠语音指令。不久后,Facebook还将为Quest推出基于AR透视和键盘定位的AR办公功能Infinite Office,也是一种可以让你快速在Quest中进行输入的方式。

Facebook表示:目前,我们在Quest 2的文字输入方式上将重心放于AR+键盘追踪的形式。与此同时,用光追手套模拟打字也是FRL正在探索的输入方式之一,目前它可以让你在任何表面实现73字/分钟的输入速度,距离FRL的研究目标前进了一大步。

oculus_vr_tastatur

今天,FRL在最新发布的一篇博客中详细介绍了光追手套VR虚拟键盘方案的更多细节,以及为Quest开发手势识别技术背后的故事和设计理念。

关于VR虚拟键盘方案

FRL研发的光追手套VR虚拟键盘方案的一大特点是利用模型算法来推断你的意图,以此来提升虚拟键盘输入的准确性。为此,FRL科研人员参考了自动语音识别算法采用的统计解码技术(利用声学模型从音频帧预测音位),利用动作模型来推断敲击手势的意图,即使手势漂移也能辨别不规则的输入规律。

Multiview_transitions_002

具体来讲,FRL利用时间卷积网络来根据手势数据来形成动作模型,将一系列手势特征转化成文字。然后在动作模型基础上还结合了语言模型,即使动态手势难以识别,也能推断出输入意图。接着,利用定向搜索来分析动作模型和语言模型,推断不规则或不明确的手势想要输入的文字。

据了解,利用该方案输入文字的速度平均可达73字/分钟未修正的错误率低至2.4%,对比同一个人在实体键盘上输入的速度和准确率,两种方案效率相当。

Surface_typing_diagram_004

FRL科研人员还发现,手势识别输入比平板电脑采用的电容传感触屏效率更高,原因是手势识别可追踪每一个单独的手指,以及手指的移动轨迹,这是当前平板电脑或智能手机技术难以做到的。

尽管如此,在VR沉浸的环境中,依靠手势来输入可能并不适合所有人。FRL表示:该方案更适合于能够盲打的人,尤其是没有键盘的体感反馈也能自然输入的人。可能对于习惯于用实体键盘打字的人来说,还需要一段时间适应。

FRL的手势识别探索之路

对于FRL科研团队来讲,手势识别技术是为了降低VR使用门槛而探索的方向之一,他们认为手势输入比手柄更容易上手,随时随地就能使用,是一种更加自然的人机交互方式。

Before_After_Graphic_V4_Fulltext

尽管一开始,FRL在VR输入方式上的研究以手柄为重点,但是他们发现与双手相比,手柄控制缺乏表现力,使用起来也不如用手自然。于是在5年前,FRL几乎从零开始研发,最后成功在Quest上推出足够稳定的手势识别技术。

此前,青亭网就曾报道过FRL对Quest手势识别研究发布的论文,其中揭露了4颗黑白摄像头实时识别手势的原理,以及需要克服的困难。为了在配备移动芯片的Quest一体机流畅运行,FRL对手势识别系统进行一系列优化,将该系统的耗电量降低至7%。

接下来,FRL还将继续在VR手势识别上的探索,进一步优化技术。如果你先在想要试试Quest手势识别功能,可以去体验《Wlatz of the Wizard》、《The Line》、《Spatial》、《The Curious Tlae of the Stolen Pets》等VR应用,未来相信还会有更多VR作品加入该功能。参考:FRL

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:小新
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册