延迟3ms、采样率500Hz,这款无摄像头眼球追踪方案什么来头?

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

近期,眼球追踪技术厂商AdHawk发布基于MEMS微电机系统的穿戴式/分体式眼球追踪方案AdHawk MindLink。据悉,该产品的特点是利用MEMS方案取代传统的摄像头眼球追踪方案,号称结构设计更简洁,准确性更高,速度更快,而且更省电,可嵌入AR/VR头显中,适合全天候使用。

adhawk-mindlink-product-photo-1

据AdHawk官网显示,当前开发者套件以高达3500美元的优惠价出售,而5月开始恢复原价为10000美元。​那么它背后到底采用了哪些独特的技术?和现有的眼球追踪技术又有何不同?接下来就一起来了解一下关于MindLink的更多细节。

首先来了解一下它的一些参数:

  • 尺寸:14.6x16.6x4.2cm;
  • 重量:27g;
  • IMU:6轴;
  • 校准视场角:40x25°;
  • 平均绝对误差:<1°;
  • 采样率:500Hz/s;
  • 延迟:3ms。

功能性和特点上,MindLink可识别多种眼球数据,比如:1)双目眼球追踪;2)眼球聚散(Vergence);3)瞳孔大小,等等。而其特点则包括:可在户外日光下运行、一键眼球追踪、眼镜滑动也可以追踪、可输出眼球追踪视频和数据、支持注视点验证、可替换屈光镜片。

adhawk-mindlink-photo

除此之外,MindLink除了穿戴式眼球追踪眼镜外,完整套装还包括一部智能手机、校准装置、耐用眼镜盒、USB线、防滑耳钩、可替换鼻托。

关于原理

接下来进一步了解MindLink方案的原理,比如不使用摄像头是如何实现眼球追踪的?实际上,青亭网在2017年时就曾报道过AdHawk的技术,当时号称采用的MEMS模组尺寸小到裸眼难以识别,而且整个系统还能提前20毫秒预判注视点方向,甚至检测早期阿尔茨海默症、帕金森、焦虑症、阅读困难症、注意力不集中、脑震荡、癫痫,以及识别用户情绪、认知负荷等数据。

据AdHawk称,MindLink利用MEMS方案追踪注视点的速度和效率是同类型产品的两倍以上(眼球追踪速度是摄像头方案的10倍),每秒眼球数据采样率达500次,平均追踪误差小于1°。此外,AdHawk比传统眼球追踪模组省电50%,适用于全天候、场合不限的应用场景。

adhawk-mindlink-product-photo-2-1

细节方面,位于MindLink鼻托下方的两个高速移动的MEMS模组将发射动态光束至眼球,反射的光会被镜框内部集成的光学传感器识别,生成部分眼球数据。在一秒时间里,可采集数千次角膜、虹膜和瞳孔数据。

MEMs-1

相比之下,市面上采用的AR/VR眼球追踪模组通常需要至少一颗摄像头,外形略厚,用于VR头显体积相对看起来不算大,但若集成于轻量化AR眼镜上会比较显眼,看起来比较笨重和突出。

AdHawk-sensor

应用场景

AdHawk认为,MEMS高速眼球追踪技术可用于AR/VR注视点渲染,或是通过分析注视点信息来提升游戏技巧,也可以作为一种输入方式。

adhawk

此前,科研人员指出为了避免VR注视点渲染被使用者察觉,眼球追踪的延迟应控制在小几十秒内,而市面上符合这个标准的也仅有Fove-0等Varjo VR-1等少数VR头显(延迟分别为15-16毫秒和35-36毫秒)。与Fove-0和Varjo VR-1相比,AdHawk的眼球追踪延迟仅3毫秒,速度要快很多,因此更容易实现快速、自然的注视点渲染效果。

应用场景上,Sarkar认为MEMS眼球追踪技术可用于神经和眼部健康相关研究,或是用于日常健康检测,追踪长途司机的注意力,预测大脑信号,生物识别,帮助科研人员收集数据,用于研究注意力不集中、脑震荡、癫痫等症状,以及检测认知负荷和阅读困难。此外,还可以用于协助检测阿尔茨海默、帕金森等神经性疾病。

未来,AdHawk的眼球追踪技术将继续优化注视点预测功能,并且为OEM提供可选择的AR/VR注视点渲染方案。

相关专利

据悉,Sarkar从2018年到今年期间,为MEMS眼球追踪技术申请了多项专利,包括:1)基于共振频率的眼球追踪系统和方案;2)眼球追踪系统和方案;3)眼球追踪校准等等

在这些专利中,Sarkar描述了关于AdHawk眼球追踪技术的大量细节,比如:可与头部追踪、手势追踪、大空间定位、单纤维内窥镜等技术结合,用于AR/VR头显、武器瞄准系统、自动驾驶舱控制、辅助驾驶/防撞系统、广告设计、行为调查、网页设计、体育训练、健康监控、医学研究、验光、增强替代社交系统、穿戴式传感器系统、环境控制系统等等。

adhawk-3

此外,专利中描述的系统包含一个激光光源、2D扫描反光镜、离散的传感器、识别电路。在扫描和识别眼球信息后,该系统会实时生成眼球深度地图,通过对比每一帧深度变化来预测眼球移动。而在扫描过程中,扫描镜将分别匀速在眼球水平轴和垂直轴方向发射光源,反射回的光线会被位于镜框内部的传感器识别。接着,会通过光线反射所需的时间来推算眼球位置、外观、特征和结构信息。

为了保持准确的眼球追踪效果,MEMS模组会定期运行校准程序,调整扫描镜的位置和角度,并根据生成的眼球深度图来即使校准。如此一来,即使眼球追踪模块发生偶然的轻微移动,也可以实时调整,无需长时间的重新校准。

此外,专利中还指出扫描镜可能采用等温致动器来调整反光面角度,其位置则根据脉宽调制的驱动信号来控制。

关于初衷

据了解,AdHawk由CEO Neil Sarkar在2017年成立于加拿大安大略省。Sarkar在研究生时期专业是MEMS相关,而且曾经是一名芯片工程师。在大学科研期间,他研发了一种精准度达亚纳米级别、可用光束扫描眼球的传感器,后来基于这项技术,他成立了从滑铁卢大学衍生的AdHawk公司,并陆续获得来自Intel、三星风投、惠普、索尼创投、依视路国际等公司的融资。

adhawk-mindlink-photo-2-1

AdHawk产品的定位是可集成于AR/VR眼镜,主打高速、低延迟、低功耗,应用场景则包括游戏、培训、UI交互等等。而推出MindLink穿戴式方案的目的之一,是在临床试验中检验神经系统健康。

此外,Sarkar表示:目前正在探索将AdHawk眼球追踪技术与未公布的AR/VR头显集成,不过为了提前展示我们的技术,MindLink选择在这些头显产品之前发售。

总之,这家公司旨在提供完整的眼球追踪解决方案,除了集成系统硬件外,也提供软件应用等服务。目前,AdHawk有35名员工,元件为自主设计,供应商制造。参考:VentureBeat

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册

freemoviexxx.cc freemoviexxx freemoviexxx