谷歌打算让AR教你临摹画画,看看他是如何做到的

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

最近,有许多开发者将AR技术应用在创作上,比如:今年CES上Cupixel曾展示AR临摹套件,通过AR投影和模块化的画板,让用户将照片/数字图片画成艺术品。另外,还有支持AR模式的填色簿,用AR在周围空间中创作3D图画的应用等。

unnamed (1)

本周,谷歌创意实验室(Google Creative Lab)也研发了一种相似的技术:Drawalong AR(一起画AR)原型应用,可以让你将YouTube绘画教学视频投射在白纸上,让你跟随着老师的画笔一起学画画。

据青亭网了解,Drawalong AR的开发者Jane Friedhoff最初的灵感是希望用AR来学习绘画字,她表示:学习绘画字很让人放松,但难度也不小。掌握字里行间的变化需要注意到很微妙的细节,比如:握笔的方式、力道、字体的弧度,总之你的上肢到纸张之间的每个部分都很重要。

因此,如果没有老师手把手教你绘画字,就只能通过字帖或者视频来学,但它们并不能达到效果。比如字帖,尽管它能提供一步一步的指导,但是你get不到大师行云流水的笔触,而且她喜欢的一些绘画字艺术家没有出字帖。

ezgif-4-7957e04e4916

而视频教程的话,它的缺点是你需要一边临摹一边看视频,比较麻烦,效果还不够好。

后来Friedhoff和同事讨论这个问题,想到一个主意,就是利用AR技术,这样就能把视频变成字帖,同时给现有的YouTube视频教程带来全新的学习体验。

为了做出这样一款原型AR应用,Friedhoff邀请了专业画涂鸦画的YouTube博主AmandaRachLee当顾问。据悉,Amanda的订阅人数达130万,她的频道内容主要将如何攻克和简化书法、绘画、做手账遇到的难题,很多人因为她的视频而受益。

开发原型应用

unnamed

在决定将YouTube视频作为该AR应用内容来源之前,Friedhoff和团队在UI和UX方面进行了许多技术性考量。

0_m58LmQulJtsoWmiq

他们先是以HelloAR示例为基础设置了一个新的Unity ARCore应用,原理是在HelloAR中用来识别和可视化平面,以及处理投射和锚点的代码中,将默认prefab换成“tracing paper”(描图纸)。

尽管设置视频的投射功能不难,但是如何让AR影像固定在纸张上,就比较复杂了。

相比之下,Cupixel通过将画板拆分成9个左右的小模块,就会比较利于你将AR影像与纸上的画对齐,而且用户还需要将开启Cupixel应用的设备固定在脚架上。

保持稳定的追踪

0_GmhDH6h3N83q217I

AR与绘画结合,产生了一个难题。因为如果要画画,你会想在平滑的空白表面上完成,但是AR识别平面需要找到特征点,最理想的就是具有纹理、轮廓和色差等特征的环境。

追踪对于临摹来讲至关重要,因此AR投影对于追踪的要求很高。为了解决这一问题,Friedhoff和团队想到了以下办法:

ezgif-4-3b6ab1e44faf

1,将图像锁定在屏幕某处:这个技巧类似于投影描图器,它要求摄像头固定,因此你可能需要用三脚架来固定移动设备。不过Friedhoff希望Drawalong应用的用户能够用手拿着手机,还能够放大、旋转AR图像以及改变视角。

2,在画板上设置AR标记:这种标记可以是手绘,也可以是打印的,关于标记的数量,则是越多越好。不过Friedhoff表示:这种方式比较繁琐,而且用户画画的表面就不是空白的了。

3,进步式AR标记、计算机视觉/机器学习技术:利用计算机视觉和机器学习算法,用户画的图可作为进步式AR标记,也就是说AR应用可根据用户的笔触一步一步追踪。不过这种方法过于繁琐,Friedhoff暂时不希望将它用在实验性应用中。

ezgif-4-39474c1a936b

4,固定画板:这个方法的原理是,将画板固定在有纹理或色差的平面上,然后利用摄像头来追踪画板下方的平面。

Friedhoff和团队认为第四种方法最简单,也许以后还可以与YouTube正式结合,找到更多应用场景。

找到了合适的追踪方法,他们便从Unity资源商店下载了YouTube播放器资源,在这个资源中你可以搜索YouTube视频,然后以垂直或水平的方式投射到平面上。

寻找适合的UI/UX

ezgif-4-37e3cbb0eab5

像Amanda这样的博主,已经上传视频5年了,积累了大量素材,如果给她过往的视频添加支持AR的功能,肯定是步骤能越简单越好。因此,Friedhoff和团队找到了6种解决这个问题的办法。

ezgif-4-96606c4e781f

1,将AR功能加在适合移动的视频内容中:Friedhoff和团队认为,AR临摹有两种方法,一种是直接在纸上临摹,另一种是将AR影像投射在已有的画作上,然后再润色,或者你可以将AR影像投射在已经有涂鸦的手账上,在其中的空白处临摹AR图。

另外,对于那些不是从头顶拍博主画画的视频来说,也可以在AR应用中加入倾斜、变形和视角调整的功能,这种功能对于有点角度的拍摄来讲会有效果。

2,让视频速度可调:有些新手可能慢一点,希望视频也能跟随他们的速度,有些专业点的观众也许希望视频快一点,在有需要的时候再减慢速度,因此AR投影也能调整速度效果会很好。

同时,也可以在应用中加入方便用户点击的暂停键,你按下去的时候视频会暂停,手松开就会继续播放。

ezgif-4-ceba277b2763

3,控制AR模式的时长:对于移动端AR来讲,用户长时间举着手机来查看AR可能会很累。而通常绘画视频的长度在5到10分钟左右,如果全程都是AR,用户可能吃不消,因此可以在有需要的地方加入AR模式,以此来降低长时间举手机给用户带来的疲劳。

Friedhoff和团队做了一个全屏按钮,可以让用户随时在AR和非AR的全屏模式之间切换,切换过程很快,而且追踪的效果不会受到影响。另外一种用法是,用户还可以对着非AR视频画,然后再切换到AR模式进行对比。

总之,就是考虑到用户的舒适度,以及他们希望使用AR模式的时长。

4,支持透明度和色度调整!!

ezgif-4-7acb1b0e678d

如果直接将YouTube视频投射在画板上,用户可能会看不到自己的画笔和手,这就有点像闭眼睛画画,很难保证准确度。

透明度方面,Friedhoff和团队做了一个透明度滑动器,支持完全透明到完全不透明(0到1)之间的调整。

然而这样还不够,因为绘画视频中的画板也是白色的,属于不需要的图像,它只会遮挡用户使用的画板。但是,当你提高白色透明度的时候,视频中的其他颜色可能会更加透明,不容易看到。

因此,他们决定尝试色度调整的方式,他们称之为“穿透”模式。色度调整功能可以让你将图像或者视频中的特定色彩换成别的颜色,原理与绿幕差不多。也就是说,通过色度调整,你可以将白色替换成透明色,或者直接显示用户画画的动态像素。总之,这个功能大大提高了AR临摹的效果。

此外,如果色度调整后,有些线条看不太清楚,也可以在AR应用中加入着色器,来补充缺失的线条色彩,或者调整对比度。

不过光是靠透明度和色度调整两个功能,Friedhoff和团队的应用就足以生成效果够好,且方便使用的AR投影了。

AR临摹的好处/用途

ezgif-4-dc542b57545b

应用做出来之后,Friedhoff拿给Amanda体验,得到了积极的反馈。Amanda表示,粉丝们可以通过AR视频来模仿她画画的手势和笔触。同时,AR临摹应用也可以用于学习外语的写法。就像前不久,苹果CEO蒂姆·库克来访中国的时候,就曾拜访一家AR教育公司,用AR学习写中文。

0_vt3HvKF8Xw2Pn_90

有了AR临摹,你不需要字帖就能体验到更好的效果,而且YouTube上的资源素材也很多。

对于博主来讲,将YouTube视频与AR结合的过程不复杂,而且也不会改变原视频内容。而对于观众来讲,Drawalong AR应用使用起来很方便,而且有一种老师手把手教你的感觉。

最后,Friedhoff表示:这是一个成功的实验,我们很期待未来能有更多内容创作者将AR与教学视频结合。本文系青亭网翻译自:Jane Friedhoff


1-1

5月17日青亭网将于北京举办“第三届全球虚拟现实产业创新者峰会”,峰会以AR/VR+垂直行业应用为切入点,现公开征集优秀AR/VR+商业案例,优秀案例还将获得青亭网与青亭媒体伙伴的全渠道传播与展示,同时青亭网也将颁布10项最佳商业应用大奖。如果您对活动感兴趣,可点击点击报名,或扫描下方二维码报名。

全球虚拟现实产业峰会

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册