融资近2亿,硬刚Leap Motion,手势识别公司uSens有何新打法?

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

身边同事感觉到,uSens首席研究员毛文涛最近的底气要比前两年足了不少,而这和北京办公室即将离开住宅楼,搬到新的别墅去并无直接关联。

根本原因,是他对自家手势识别的算法越发自信了。毛文涛告诉青亭网,uSens的手势识别算法已经进入2.0阶段,通过一个模组不仅能实现手势识别,“还能实现SLAM(实时定位与地图构建)”。合作伙伴一用,都连连叫爽。

图片 1

作为VR/AR领域中被普遍看好的交互方式,手势识别一直是大公司重点关照的对象:高通、三星、Facebook、微软和苹果等公司都在加速布局,而创业公司在这一领域也不乏佼佼者,如国外老牌强者Leap Motion,国内也有uSens(凌感)、极鱼科技、微动、未动等几家。

从公司发展角度来说,uSens似乎最具备和Leap Motion一较高下的资格。自2013年成立以来,这家总部在硅谷的公司融资金额已经接近2亿元人民币,目前办公室也开到了北京、杭州和深圳。

据毛文涛介绍,uSens的员工人数现约70人,其中研发占了约50人。“国内投资人对我们很信任,所以有长达两年的时间去积累技术。”

图片 2

不过,一家吃技术饭的公司,最重要的当然是实际的表现。他觉得现在算法的进展不错,几个主要的合作大公司都给出了不错的评价。有的甚至会在半夜2、3点钟给毛文涛打来电话,询问项目的进展,这让在三星呆了多年的他也很新鲜:“他们的人不用睡觉的吗?”

那么,uSens最新版的手势识别和SLAM效果到底怎么样?青亭网在uSens的北京办公室实地体验了一下。

手势:为何支持在手掌写字?

uSens和Leap Motion采用的是相似的原理,都是使用复数的红外相机来识别人手的运动。公司把这款自研的搭载红外相机的手势识别模组称为Fingo。据介绍,目前其支持毫米级的精度,灵活度相较以前有提升。

在体验Fingo连接手机的效果时,青亭网把Fingo模块绑在了自己的脑门上,然后在模块前方伸出双手。面前和Fingo模块连接的手机上出现了两只分别代表左右手的黄色手状骨骼。

由于之前体验过Leap Motion最新版结合Oculus头盔的模组,故笔者采用了类似的手法来测试模块对双手的追踪。首先是双手分别移动和手指的运动,这一点uSens的算法表现不错,不仅手部的移动追踪没问题,单个手指的运动定位也很准确。

接下来是双手合实,这一点是uSens方面此次强调改进的重点,即在双手合实的情况下,两只手依然可以被单独定位——比起Leap Motion来说,这方面似乎解决得还要更好,后者在双手合实的时候,其中一只手会无法被定位,在双手分开后,才会迅速重新出现被捕捉到。

图片 3

uSens重点强调的另一个领域是对握拳的识别,即手握成拳头的时候,快速翻转是否会造成手势识别的丢失?这一点在体验过程中表现也不错。

用户还可以较为自如地实现一只手在另一只手上写字——这个听上去有点奇怪的需求,使用场景何在呢?

uSens给出的理由是VR社交——“VR真的要火起来肯定是靠社交,到时候不能还让大家在VR里键盘打字吧,在空中写字很辛苦,落在手掌上写字就有了支撑点。”

最后测试的是遮挡问题——这是包括Leap Motion在内,目前不少手势识别公司重点解决的领域。比如车载上的手势识别,用户在握住方向盘、又或者是手机的情况下,手会被这些物体遮挡住一部分,如此一来手的动作还能否被精确捕捉?这涉及到技术落地的实用性。

笔者拿起了桌子上自己的手机进行了测试。体验下来,Fingo在手机遮挡的情况下仍然能检测到我的手,也能定位手指的运动和腕部的旋转。不过精度上还有提高的空间。毛文涛表示,下一个版本会支持复杂交互,目前正在解决遮挡的问题,届时通过软件更新升级。

“我们的手势算法是基于深度学习(Deep Learning)的。数据从2013年开始采集,目前裸数据大概千万级别,但是要拿去训练,还需要亿级别的数据量。”

“至于硬件模块方面,1.0和2.0最大的区别,就是2.0更稳定,体积、噪声比较小,FOV(视场角)比较大。1.0的硬件更新软件就可以升级到最新的算法。”毛文涛告诉青亭网。

“今年是uSens的SLAM元年”

虽然手势识别是uSens最出名的领域,但新的Fingo模块最大的卖点,莫过于计划用一套东西,同时实现手势识别和SLAM。这两者虽然都应用在VR/AR里,但手势主要应用于交互,SLAM则主要应用于定位,了解自身和虚拟物体在环境中的位置。

“SLAM加手势对很多公司来说比较有吸引力,一套钱买两个东西。”毛文涛说,这一产品对标的是高通的SLAM方案,后者已经应用于和中科创达合作的VR一体机参考设计方案上。

图片 4

一家做手势的公司怎么搞起SLAM来?其实uSens此前在这一领域已经有不少尝试,如推出过双RGB摄像头的Color Fingo,具备独立计算模组的Power Fingo等,想着的是SLAM和手势的模组分开卖——一个红外模组的做手势识别,另一个彩色模组做位置跟踪。但随着技术的进步,开发人员逐渐把两大功能模块做到了一起。

uSens联合创始人时驰向青亭网表示:“以前同时做26DoF手部追踪以及6DoF追踪需要至少三个摄像头,有的甚至推荐四个(比如Power Fingo),但是现在我们就用我们的两个摄像头(即单Fingo模组)就做到了。”

青亭网在现场也实际体验了一下插着Fingo模组的手机实现的SLAM演示。

启动demo后,手机屏幕上会出现一个热气球,但无论是拿着手机绕着它行走,或是和它保持距离,热气球都会牢牢地待在原地,并根据手机距离它的远近而出现大小变化,就好像真的在那个地方,甚至离开房间再回头,热气球的大小会变得非常之小,但位置仍然没飘。

虚拟物体在空间中的位置不会随用户的移动会乱飘,这是3D SLAM非常重要的一个指标。不过,体验中uSens的demo是虚拟背景,并不是实景,延时、功耗等数据目前还不明(这款演示视频可以在腾讯视频上找到,如下所示)。此外渲染中气球会出现扭曲,无法判断其是否形成闭环,但至少实现VR/AR里的inside-out定位应该是可以做到的。

既然和手势采用一样的模组,这也就意味着uSens的SLAM仍然是双目方案。但目前,市面上还有用双目RGB、结构光、TOF等实现SLAM的手段。uSens为何在SLAM上也坚持和手势类似的硬件方案呢?

毛文涛称:“我们的算法是基于深度学习的,所以不会特别受硬件的约束。其实(其他)技术路线都要支持,但一定是先在一个平台上做到最好再说。”

他又笑着补充了一句:“(做到最好)这个太吹牛了。不过至少要做到我们能做到的最好,转到别的平台才比较有把握,比如这边如果只做到80分,跳到那边就只能做到60分了。”

图片 5

有点出乎意料的是,uSens把SLAM的进度还排在手势前面——“今年是我们的SLAM元年,明年是手势元年。”

原来,华为、HTC这种大公司都认为,人最基本的需求还是先实现头部位置追踪,然后才是手的自然交互,也就是先实现定位,再实现手势追踪,“这两个顺序是不能变的。”所以他们和uSens的合作过程中都强调了SLAM更高的优先级。

uSens方面告诉青亭网,从客户获得的市场需求上来看,SLAM目前处于较为急需的阶段,而手势“评估阶段的客户多”。

绕不开的Leap Motion

在手势识别这个领域,不管哪家公司做了什么,都不可避免地要被拿去和Leap Motion比上一番,像uSens这种采用相似原理的就更是如此。

在技术路线上,uSens最初想的是用双RGB+双红外摄像头,双RGB做PTAM(早期的一种三维重建算法),两个红外做手势也借鉴过当时手势领域做得最早的Leap Motion(2010年开始)。如今,四目模组已经被压缩成了双目,uSens也在尝试单目方案。

毛文涛从2010年开始在三星内部做人体姿态相关的研究,慢慢发展到手势识别。最后他对这个领域来了兴趣,加入uSens,希望能把这个事情做好。在他看来,现在还谈不上和谁竞争的阶段:“行业还没起来呢,还没到抢市场的时候。”

 

图片 6但是,投资人和市场完全是另一种看法,与其说竞争不存在,毋宁说一直存在。那么,如何和Leap Motion实现差异化?毛文涛认为,答案主要是手势+SLAM一体的算法和模组:

“一个模组两种功能,发展到后面,我的手势不会比别人差。经过PR、BD共同努力,再加上我们本地的售后和技术支持,最终会改变大家(对我们)的印象。”

此外,还有针对移动端的优化处理——uSens的深度学习算法据称能够实现双手60fps、单手延时11毫秒、双手16毫秒。但为了在手机端有限的处理器、功耗上能跑出这个效果,公司招了一大堆三星、Magic Leap等公司的人士,这些人对安卓底层的优化都比较熟悉,还会做DSP方面的优化。

据公司介绍,uSens的SLAM SDK因为不涉及太多模型,包大小较小,手势识别的包则在100-200MB。数据存在本地,而非云端。

“实际上,我们更看好移动端。VR/AR里的设备最后都是轻量化的,用户不会带着一个PC到处走的。”

图片 7

团队会尽量满足各种用户的需求,有些人的想法很简单:不就是识别到我吗?但要达到这一点,“技术上可能非常困难”。如今随着算法的发展,客户的要求已经基本都能满足。

但表面上,uSens的demo还是那几套,团队加紧在底层算法上下功夫,而放弃了搞花里胡哨的demo。

有人把一年半之前uSens的demo视频挖出来给毛文涛看,问他,那个时候就很炫酷的demo,怎么现在看来还是一样的?后者笑笑称,可能最大的区别就在,那个时候的效果只能我做出来,现在你们都能做了。

仍然坚持在VR/AR领域

目前,不少手势识别公司开始从VR/AR领域“抽身”,转向车载甚至智能家居领域。不过,Leap Motion和uSens仍然坚持在VR/AR领域。

除了CTO费越的看好外、uSens的原因似乎更直接——“钱的导向”,据了解,uSens已经和国内外的大公司都有合作,包括头盔和SoC厂商。此外,车载等领域也在接触一些客户。

图片 8

Leap Motion大中华区总裁谭家东告诉青亭网,自家的第二代模组不会再单卖,而是选择和头盔厂合作内嵌的形式;uSens则表示,模组还是会卖,另外也有License(授权)的商业模式,把自己的硬件设计和算法授权给第三方。“总体而言合作模式很灵活”。

据Crunchbase数据,2014年uSens获得120万美元的种子轮融资;2015年获得550万美元Pre-A 融资,去年中又获复星昆仲资本领投的2000万美元A轮融资。目前,uSens也开启了自己的A+轮融资。

不过,虽然“不差钱”,但毛文涛看来,uSens的好处是没有那么被资本拽着走,能踏下心来研发技术。不像有些AI领域的技术公司,一个小项目就能把公司整个大方向拖着走,他有些的同学在这种公司待了一阵,都纷纷选择跳槽。

图片 9

有人也给毛文涛指出新的可能性,但他还是不太喜欢“小项目,做完,拿钱,团队解散”的套路。“就想把这件事做好,我很享受从1到最好这个过程。”

现在,uSens的手势和SLAM的算法研发主要在北京,分别由毛文涛和马赓宇带队;美国则负责SDK和业务拓展、框架和硬件创新,深圳则负责硬件供应链,杭州则是应用开发。uSens的大客户大多集中在国内,营收方面也是国内多一些。

目前,使用uSens产品的开发团队在几十个左右。不少人用了uSens的产品后,也给出了优于竞品的评价,这让毛文涛欣慰不少。

“多给我们一点信心吧,”他笑称。

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:
分享到QQ 分享到微信
后参与评论
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册