谷歌打算让AR教你临摹画画,看看他是如何做到的

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

最近,有许多开发者将AR技术应用在创作上,比如:今年CES上Cupixel曾展示AR临摹套件,通过AR投影和模块化的画板,让用户将照片/数字图片画成艺术品。另外,还有支持AR模式的填色簿,用AR在周围空间中创作3D图画的应用等。

unnamed (1)

本周,谷歌创意实验室(Google Creative Lab)也研发了一种相似的技术:Drawalong AR(一起画AR)原型应用,可以让你将YouTube绘画教学视频投射在白纸上,让你跟随着老师的画笔一起学画画。

据青亭网了解,Drawalong AR的开发者Jane Friedhoff最初的灵感是希望用AR来学习绘画字,她表示:学习绘画字很让人放松,但难度也不小。掌握字里行间的变化需要注意到很微妙的细节,比如:握笔的方式、力道、字体的弧度,总之你的上肢到纸张之间的每个部分都很重要。

因此,如果没有老师手把手教你绘画字,就只能通过字帖或者视频来学,但它们并不能达到效果。比如字帖,尽管它能提供一步一步的指导,但是你get不到大师行云流水的笔触,而且她喜欢的一些绘画字艺术家没有出字帖。

ezgif-4-7957e04e4916

而视频教程的话,它的缺点是你需要一边临摹一边看视频,比较麻烦,效果还不够好。

后来Friedhoff和同事讨论这个问题,想到一个主意,就是利用AR技术,这样就能把视频变成字帖,同时给现有的YouTube视频教程带来全新的学习体验。

为了做出这样一款原型AR应用,Friedhoff邀请了专业画涂鸦画的YouTube博主AmandaRachLee当顾问。据悉,Amanda的订阅人数达130万,她的频道内容主要将如何攻克和简化书法、绘画、做手账遇到的难题,很多人因为她的视频而受益。

开发原型应用

unnamed

在决定将YouTube视频作为该AR应用内容来源之前,Friedhoff和团队在UI和UX方面进行了许多技术性考量。

0_m58LmQulJtsoWmiq

他们先是以HelloAR示例为基础设置了一个新的Unity ARCore应用,原理是在HelloAR中用来识别和可视化平面,以及处理投射和锚点的代码中,将默认prefab换成“tracing paper”(描图纸)。

尽管设置视频的投射功能不难,但是如何让AR影像固定在纸张上,就比较复杂了。

相比之下,Cupixel通过将画板拆分成9个左右的小模块,就会比较利于你将AR影像与纸上的画对齐,而且用户还需要将开启Cupixel应用的设备固定在脚架上。

保持稳定的追踪

0_GmhDH6h3N83q217I

AR与绘画结合,产生了一个难题。因为如果要画画,你会想在平滑的空白表面上完成,但是AR识别平面需要找到特征点,最理想的就是具有纹理、轮廓和色差等特征的环境。

追踪对于临摹来讲至关重要,因此AR投影对于追踪的要求很高。为了解决这一问题,Friedhoff和团队想到了以下办法:

ezgif-4-3b6ab1e44faf

1,将图像锁定在屏幕某处:这个技巧类似于投影描图器,它要求摄像头固定,因此你可能需要用三脚架来固定移动设备。不过Friedhoff希望Drawalong应用的用户能够用手拿着手机,还能够放大、旋转AR图像以及改变视角。

2,在画板上设置AR标记:这种标记可以是手绘,也可以是打印的,关于标记的数量,则是越多越好。不过Friedhoff表示:这种方式比较繁琐,而且用户画画的表面就不是空白的了。

3,进步式AR标记、计算机视觉/机器学习技术:利用计算机视觉和机器学习算法,用户画的图可作为进步式AR标记,也就是说AR应用可根据用户的笔触一步一步追踪。不过这种方法过于繁琐,Friedhoff暂时不希望将它用在实验性应用中。

ezgif-4-39474c1a936b

4,固定画板:这个方法的原理是,将画板固定在有纹理或色差的平面上,然后利用摄像头来追踪画板下方的平面。

Friedhoff和团队认为第四种方法