OpenAI通过反复试错法,训练机器自学人手动作

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

世界上最灵活的手,非人手莫属。而前不久在《Dota 2》中击败人类玩家的AI公司OpenAI在一篇7月30日的博客中,展示了一款模仿人手活动的机器手,想知道他们是怎么训练的,请往下看。

195A4726-2

目前的机器人能够替代人类做不少工作,但是机器人只能响应一种指令,处理一种任务,若想让机器人对不同的任务作出连贯反应,就要用到AI了。通常训练AI控制机器人时,科研人员都会利用到强化学习法,让AI经历反复试错的一个过程,但这需要花费好几年时间。如果是训练AI玩游戏,便可以加速游戏进程,但要是训练机器人做出某个动作,就麻烦了。

为此,OpenAI最初的对策是,不使用人类数据,训练一只Shadow仿真手在一颗翻转六面立方体的过程中反复试错。这种方法被他们称为“随机范围”,OpenAI也曾用它训练过OpenAI Five。

在实际操作之前,科研人员在MuJoCo平台的物理引擎来模拟大规模的机器人训练,从而省去测量摩擦力、缓冲和滚动阻力等物理特性的复杂过程。

simulation

而要完成这项训练,机器手需要克服以下几个困难:

1,随机的视觉噪声:科研人员会改变虚拟手和立方体的颜色,并分配随即大小的立方体给机器手,不同的立方体表面光滑度不同、重量也不同,在此之上,科研人员还将机器手放到了不同的重力环境中。

2,AI脱离模拟,应用在机器手上执行任务。

3,机器手实现高维控制:Shadow仿真手自由度为24,而普通机器手臂自由度为7。

4,操控一个以上的物体,训练机器手做出更自然的动作。

科研人员们希望经历这些挑战后,机器手能够更习惯操控立方体的感觉,尽管AI经过训练后不一定能完全复制人手活动,但是它学会了应对多种不同意外情况的方法。

据了解,OpenAI研发的这套AI系统名为Dactyl,科研人员训练Dactyl操控机器手时,随机设定了手腕的角度,以此来培养Dactyl习惯如何在不同姿势下不弄掉立方体。

不过安排这么多随机实验也花费了大量时间,Dactyl必须积累相当于约一百年的经验才能达到最理想的状态。也就是说,OpenAI团队需要用到大量算力,大约是要用到6144块CPU内核和8块强大的Nvidia V100 GPU,这种配置只有几家研究机构才有。

尽管耗费大量资源和时间,训练还是得到了喜人的结果,科研人员表示,经过完整训练的Dactyl能连续旋转立方体而不掉落的次数达50,还能够自然地应对并握住不同形状的物体。此外,在训练机器手旋转立方体的过程中,Dactyl甚至学会了与人类相似的行为,尽管科研人员没有给Dactyl下达任何指示,只是让它在相当于几十年的时间里反复试错。

grips_gif

另外,OpenAI的科研人员还从实验中发现了一些问题:

1,         操控物体并不一定需要触觉感知。

2,         在同样的随机环境操控相似类型的物体,可得到相似结果。

3,         对于机器人来说,好的系统工程和好算法一样重要。

4,         减少反应时间并不能提高性能。

5,         使用实际数据进行模拟训练也不会有所改变。

对于这项实验,OpenAI科研人员Plappert表示:“通过这个实验结果,可以看出人手才是最灵活的,机器手需要花费大量时间才能学会人已经掌握的动作。”

AI和机器人领域的专家对OpenAI的成果感到赞赏,但他们并不认为这是一项突破,OpenAI只是尝试了一个已经存在却没人探索的领域,不过此次实验中OpenAI取得的最大成就就是在工程师之间的紧密配合与投入的大量算力。

意大利理工学院的机器人学教授Antonio Bicchi表示:“这项实验让人激动,但还是有不少局限,机器手目前只能处理特定的任务(翻转大小合适的立方体),并且只有手掌向上的动作,因此这种方法能否解决训练机器人模拟所有人类动作还不能确定。”

而对于OpenAI来说,实验的意义远不止Dactyl学会掷骰子这一点,因为这套学习系统利用了OpenAI Five的部分算法和技巧,进而说明OpenAI能够研发一种通用的算法来处理各种不同的任务。

目前,有许多创业公司在积极研发取代人力的人工智能灵敏机器人,届时人类是否会面临岗位紧缩的问题还有待商讨。不过目前知道的是,虽然人工智能要想赶超人类还需要很久的时间,但是这项技术正以前所未有的速度发展。本文系青亭网翻译自:The Verge

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:小新
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册