Meta眼球追踪研究:采用事件相机,采样率可达kHz级

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

扎克伯格在访谈中曾指出下一代Quest的重点是面部和眼球追踪技术,Project Cambria也将配备眼球追踪技术。尽管如此,眼球追踪依然是Meta需要解决的一大研发难题,这项技术在普遍适用性、延迟、准确性等方面都存在挑战。

微信图片_20220324145442

从Meta Reality Labs公布的最新论文来看,其正在探索一种基于事件相机的眼球追踪方案。那么什么是事件相机呢?它的英文名为Event Camera,是近几年来出现的相机技术。

事件相机与传统相机的数据回传格式不同,它采用一种异步的通讯方式,也就是说设备之间的时钟不同步,事件相机不是事实回传捕捉到的数据,而是在捕捉到亮度等像素变化(事件)时,才会回传数据。

简单来讲,事件相机类似于人眼的工作原理,主要功能是捕捉物体的变化或运动。

Meta指出,事件相机可以低功率运行,响应延迟可降低至微秒级。这些特性有望解决现有眼球追踪技术在实时性、功耗上的局限,甚至有望带来适合AR/VR头显等移动设备的眼球追踪技术。

关于Meta眼球追踪方案

目前,眼球追踪系统常见的设计是采用闪烁的灯光照亮角膜来捕捉数据,这种方案只需要稀疏的数据即可运行。这说明眼球追踪系统的采样率不需要非常高,因此科研人员预计即使用事件相机也足够,尽管事件相机在捕捉到运动时才拍照,但只要捕捉到关键数据,也能计算出眼球变化。

微信图片_20220324145440

该方案与传统眼球追踪技术最大的区别是,它没有固定的采样率,也不是对所有像素采样,而是主要回传像素亮度的变化数据(带有时间信息),在变化产生时才会采样。尽管采集的数据较少,但准确性和效率足够好。

事件相机的另一个优势是具有高动态范围(≈120dB),几乎没有运动模糊,而且比传统相机功率更低,延迟可低至亚毫秒级别。

Meta表示:这是首个完全基于事件的角膜闪烁/眼球追踪方案。其原理是,光源照在眼角膜上,产生的反射光进入图像传感器中,显示为可见的数据。这些数据可以用于定位角膜的运动,从而预测注视点。

加密的差别照明

科研人员指出,眼睛通常由两种表面组成:1)像镜面一样的角膜,可对光源产生镜面反射;2)皮肤、虹膜和巩膜等朗伯表面,它们会漫反射光线。

微信图片_20220324145427

在追踪眼球过程中,为了避免光源照到皮肤、虹膜、巩膜等其他部位而产生误差,该方案采用的每个光源都有配套的补偿光系统,以保持总亮度不变。在不影响角膜的镜面反射的情况下,抑制了场景漫反射产生的事件。

为此,Meta设计了名为“加密的差别照明”(Coded Differential Lighting)的照明方案,特点是可增强镜面反射事件,同时抑制其他事件,而且在事件触发时才闪烁,在标准硬件上的采样率为kHz级。

微信图片_20220324145414

该方案采用双LED光源,可提升角膜镜面反射检测的效率、准确性。为了照到光源和角膜反光/闪烁的对应关系,其采用二进制模式,让光源脉冲在两个周期运行。

通常,眼球追踪方案采用高速率闪烁的光源。然而,由闪烁光源照亮的场景通常会使事件相机器饱和,让整个场景都出现亮度变化。因此,科研人员让两个LED灯切换闪烁,而不是闪烁单个光,目的是保持整体照明大致恒定。

微信图片_20220324145422

他们还发现,LED灯之间的最佳距离距离是在眼球反光点刚好接触而不重叠的点处。LED灯距离近时,两个闪烁在它们相交的地方抵消,导致净亮度变化为零,并减少闪烁的有效频率。

解决了哪些问题

Meta指出,眼球追踪是AR/VR头显的一项关键功能,它可以丰富用户之间的交互,同时也可以实现动态注视点渲染效果,提升AR/VR视觉观感。此外,也可以用于实验、医疗、培训等场景,通过使用者的眼球运动数据来进行分析。可变焦显示系统、焦面显示系统也眼球追踪功能来实现变焦。

微信图片_20220324145417

应用在AR/VR头显中,眼球追踪系统需要保证低功耗的,才能延长续航、降低热量产生。同时,也需要支持高采样率,比如在用户身份验证场景中,采样率需高达1kHz。

微信图片_20220324145420

目前,市面上许多视频眼球追踪系统基于瞳孔角膜反射原理(PCCR),通常是在眼球上照射红外光,并捕捉角膜上镜面反射回的光线位置/角度,来预估角膜的中心位置,以及瞳孔(暗黑椭圆形)的位置。接着,通过瞳孔中心和角膜中心的距离来计算注视点方向。

相比之下,Meta的方案更省电,每个LED的功耗约5mW,在低功率下也可以实现亚像素级精度。如果将广角的LED换成对准眼球的位置,性能会进一步提升。而事件相机功耗则为10mW左右,整个传感器功耗约为35mW。与此同时,事件相机的采样率可达到1kHz,可捕捉到眼球的细微变化。参考:scontent

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册