不仅能取代绿幕,AR技术还有望颠覆后期特效?

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

电视剧《权力的游戏》刚刚完结,剧中的龙母丹妮莉丝与她的三条巨龙让人印象深刻,这三条龙各自有着不同的个性,外表也各不相同,分别代表着丹妮莉丝生命中的三个重要男人。不得不佩服这部剧的特效团队,因为三条龙不仅外形看起来自然逼真,在动作,还有与人的交互上看起来就像真的动物一样。

599b21a321c3fc23008b4ab4-1536-768

 “龙母与龙”

不过,不管后期特效有多厉害,现场拍摄常常是另一番景象。在拍摄过程中,饰演龙母的Emilia Clarke实际上骑的并不是“龙”,而是摄影棚内铺着绿幕的机械牛,Clarke还曾打趣称,机械牛就像她的龙一样,这么多年来都有感情了。而在一些外景中,拍摄抚摸龙头的时候,也用的是绿色的道具,比如海绵玩偶和网球。

总之,鲜艳的绿色或蓝色可以说是影视作品后期抠图和特效必不可少的道具,它的作用是帮助实现去背合成技术,该技术又被称为色键,是虚拟摄影棚与视觉特效的一个重要环节。

随着技术的不断提升,色键和后期特效在大片中应用得越来越广泛,但与卡通动画不同,演员、导演本该在电影中起到主要作用,而后期特效的普及则限制了他们发挥创意的空间,很多场景依靠摄影棚拍摄+特效团队的后期就能完成。据悉,电影《霍比特人》中甘道夫的扮演者Ian McKellen老爷爷就曾因为一个人对着周围的绿幕表演而留下了眼泪。

gdcunc

用Unreal引擎渲染的虚拟人

在未来,利用Unreal、Unity这类引擎(目前已经可以渲染出逼真的虚拟演员,参考:Epic收购脚本语言公司Agog Labs和虚拟角色公司3Lateral),再结合AI或动捕技术,在真实场景中的表演形式也有可能会被取代。那么,这种传统的表演形式在以后就不需要了吗?

并非如此,其实后期团队的工作量巨大,一部作品中要处理的镜头数量达数百个。在过去,影视作品的制作周期较长,数月的后期制作可能没办法满足市场需求,而现在,随着爱奇艺、优酷、Netflix、Hulu等网络视频平台的兴起,新电视剧层出不穷,不仅要求作品优质也要求制作快速。

AR有望颠覆特效

而近两年兴起的AR(增强技术)似乎可以解决这一问题,它的特点是,省去了后期制作这一步,你可以在电影、电视剧开拍前就制作特效,然后直接将特效以AR的形式叠加在拍摄到的真人影像中。AR特效是独立制作的,因此它还可以反复使用在各种不同作品中。

AR电影范例

AR特效还有一个好处是,演员和导演在拍摄过程中,可以直接预览特效场景,并以此来调整表演,非常省时。同时,因省去大量的后期工作,只需要小型特效团队就能完成,也更节省成本。对于大规模影视作品来讲,AR技术可省去数月的后期制作,以及数百万美元成本。

ezgif-4-864512c538d2

AR特效范例

那么用AR制作特效的效果如何呢?可以说是相当优秀,目前将AR技术应用在电影、电视剧的案例并不多,主要是在直播、现场表演等领域。

MR天气预报

此前青亭网就曾报道过,美国气象播报平台The Weather Channel(TWC)曾利用一项叫IMR(沉浸式混合现实)的技术来播报天气,效果十分震撼。这是因为,与传统天气预报不同,经过MR剪辑后,主持人仿佛置身于冰川、山洪、山火、龙卷风等自然场景,远处的灾害、冰川融化等场景仿佛近在眼前,画面十分逼真。

据悉,The Weather Channel的MR天气预报是与The Future Group合作开发的,后者还曾负责开发2018年《英雄联盟》S8全球总决赛开幕式上惊艳的K/DA女团表演,利用AR技术,3D版K/DA女团与四名真人歌手进行了自然逼真的现场演出,引爆全场。

dims (9)

麦当娜与AR麦当娜同台

除了The Future Group,一家在叫Sequin的AR初创公司也将这项技术搬上舞台,比如今年美国公告牌音乐颁奖典礼上,通过AR特效,让麦当娜与其他4个不同形象的自己同台演出,这些AR版麦当娜会对现场光线、阴影、反光、遮挡等外接因素进行调整和适应,效果足够逼真。

微信截图_20180816101524

用AR解说体育比赛

此外,一家名为Vizrt的公司还曾将AR用于比赛解说中,通过与蓝幕背景、触控屏的结合,将“比赛现场的运动员”搬到了解说员面前的桌面上,为传统解说丰富了趣味性。

关于特效的实现

苹果详解ARKit 3人物遮挡

The Weather Channel的MR天气预报、K/DA女团表演、麦当娜AR演出中的自然遮挡、光线反射都是利用Unreal引擎渲染的,需要特效团队手动制作。这种规模AR的成本对于电影、电视剧制作团队来说不成问题,那么小成本、小制作的团队也能拍AR电影吗?

1560169942654

ARKit 3人物遮挡原理

答案是肯定的,尤其是有了苹果新的ARKit 3加持,3D物体与人物之间的遮挡变得足够自然,AR电影的效果也因此更加逼真。

1560169961077

 ARKit 3采用机器学习技术

据青亭网了解,ARKit 3在原来基础上更新了许多功能,其中一个就是实时人物抠像功能,利用A12X芯片设备,你便可以将3D模型叠加在真实环境中,拍摄自然遮挡的AR电影了,不需要额外的渲染。

1560169986757

 机器学习填补预测画面缺失像素

关于ARKit 3的人像抠图功能,苹果在WWDC发布会上并未花太多时间解释,但在官网的开发者主页上可以找到详细的教程。据了解,ARKit 3采用机器学习算法,来预测对镜头中人像与3D物体之间的深度优先级,然后将人物、场景、3D物体以不同的深度进行分割,通过机器学习算法对分割图像信息的补全,提取出画面中的人物和场景,然后再重新合成,以达到自然遮挡的效果。

据悉,ARKit 3中的三款工具:RealityKit、SceneKit、Metal中均加入了对人体遮挡,可满足开发者们多种不同的需求,同时也大大降低AR内容的开发门槛。

微信截图_20190604030440

《我的世界:地球》AR沉浸效果展示

效果方面,苹果在今年WWDC上通过MOJANG工作室最新的AR游戏《我的世界:地球》演示了ARKit 3的功能,期间,实时人物遮挡功能得到了淋漓尽致的展现,当现场人员靠近游戏中的建筑时,可以看到鲜花对她的遮挡,她也挡住了后面的建筑。

ARKit 3硬件要求

ARKit 3​和RealityKit硬件要求

当然,ARKit 3拥有强悍的人物抠像能力自然是大家十分期待的,但是这些功能需要强悍的硬件去支撑,因此对硬件要求也十分苛刻,目前仅A12X处理器才能运行,也就是说仅有2018款iPad Pro支持。

尽管如此,AR作为特效工具有很大的潜力,如果在未来应用在电影、电视剧中,也比在直播、现场表演等娱乐场景更有优势,那就是,你不需要AR头显或眼睛就能观看,如果是基于移动端的内容,那么用手机就可以欣赏。

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册