《愤怒的小鸟AR》背后:如何打造逼真自然的3D AR游戏

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

几个月前青亭网曾报道,在NFL棒球比赛上,人们使用AR效果的黑豹吉祥物为运动员加油打气。从视频效果来看,体积庞大的AR黑豹极具动感,其皮肤纹理以及和物理场景的互动十分逼真,就好像真的有一只巨型黑豹闯入体育场一样。

jpgd

从这样的案例可以看出,令人信服的AR更能为观众带来沉浸、震撼的感受。这是因为,AR游戏中的角色是三维的,其交互和视觉变化也需要具有空间感,甚至与真实场景的互动也要模拟物理特性。

而营造这种逼真感,则需要从多方面模仿现实,比如:根据环境光动态变化的光影、与真实环境产生自然的物理交互、足够细节的纹理,以及保真的动作还原等等。而实际上,为了不断提升AR的逼真感,微软、谷歌、Niantic等公司一直在探索,包括基于实时场景扫描、目标识别的动态遮挡渲染,或是阴影、物理交互等视觉提示。对于AR开发者来讲,从多方面提升AR的可信度也有助于优化用户体验感。

自从《精灵宝可梦Go》让AR游戏走进大众视野后,市面上陆续出现越来越多的AR游戏、AR应用,同时AR视觉和交互的效果也在不断提升。与传统的2D游戏相比,AR最大的特点是将虚拟内容与真实场景结合,而为了确保AR的虚实融合效果,开发者们将需要解决一系列全新的挑战,比如:如何设计以360°围绕玩家存在的沉浸式游戏体验?如何将空间内的障碍物因素考虑在内?AR如何对真实场景的光线和颜色产生反应?

对此,从早期就进入AR/VR行业的游戏工作室Resolution Games在开发过程中也总结了许多经验。近期其AR技术总监Magnus Runesson分享了AR移动游戏的一些开发建议,他表示:从AR游戏形式刚出现,我就已经参与相关开发,而且为大部分AR设备开发过AR游戏。经过这些年积累,Runesson认为提升AR的沉浸感需要从几个关键方面入手:

  • 1)阴影;
  • 2)跟随自然光线动态渲染;
  • 3)调整真实空间的色调;
  • 4)增强现实场景;
  • 5)利用粒子大小的AR来营造空间感;
  • 6)现实世界中充满“障碍”。

关于阴影

不管是静态还是动态的AR对象,都可以通过环境遮挡效果来提升逼真感,除了直接的遮挡效果,AR的虚拟阴影也可以与物理环境相互作用。

Runesson表示:每个艺术家都应该明白,在开发虚拟世界/空间时,正确渲染阴影是提升可信度的关键。那么在开发AR游戏时,空间中的环境光又会对AR物体的阴影造成哪些影响呢?

首先,开发者需要考虑AR虚拟阴影与环境之间的遮挡关系,也就是说AR物体在接触物理表面时,需要同时产生从AR底部开始延伸的虚拟阴影,这个阴影将跟随AR物体,并与物理表面自然融合。

通常,开发者们会在场景中烘焙完整的环境光线,因此在环境中移动的物理目标可以自动实现光影渲染。而为了渲染静态物体的阴影,《愤怒的小鸟AR:猪岛》的开发者们会在AR周围构建几何框架(也被称为空间遮挡外边),以调整AR的环境遮挡效果。而对于动态AR,开发者则选择在AR所在的平面上绘制垂直的坐标系,来定位环境遮挡时产生的虚拟阴影,利用坐标系来定位阴影的好处是,可以逐步控制阴影的自然变化,AR底部的阴影最深,而向外延伸的部分则越来越浅。

关于自然光线提示

在开发游戏过程中,光线/亮度与阴影同样重要,对于AR游戏来讲更是如此。为了提升在真实空间中的自然感,AR内容需要根据实际的环境光线来动态调整自身亮度。也就是说,你在不同亮度的房间中玩《愤怒的小鸟AR:猪岛》,将感受到不同的视觉体验,亮度、阴影都有变化。

ezgif-2-6d279274bddb

Runesson表示:《愤怒的小鸟AR:猪岛》利用两种光源来渲染:定向光和环境光。此外,还会根据移动设备预测的环境光温来调整光线的颜色。

在渲染AR亮度时,开发者们可以采用这样一种技巧,利用ARKit生成的环境纹理来控制场景的亮度,尤其是让AR的颜色具有根据环境而变化的反光感,避免出现不自然的色块而让AR难以融入环境。

jpg (2)

不过Runesson指出,动态变化的AR亮度只能适应普通的光线环境,在一些极端明亮或阴暗的环境中,动态光影渲染的效果可能不够明显。

用AR来调整环境色调

如果说AR游戏玩家所在空间的光线不可控制,那么用AR滤镜来调整摄像头捕捉到的环境视频,相对来讲会让光线环境更加可控,而且与AR的色彩更好的融合。此外,通过AR来调整场景的色调,也有望进一步增强AR游戏的沉浸感。

jpg

简单来讲,就是用AR给摄像头捕捉到的场景染色,类似于拍照、拍视频时常用的滤镜功能。对于不同类型的AR内容,也可以通过调整场景的色调来烘托主题。

就拿《愤怒的小鸟AR:猪岛》来讲,在一年四季不同的关卡主题中,关卡的背景色调并不相同,冬季、秋季采用冷色调,而春季、夏季会更加暖色调。

关于增强现实世界

为了进一步拉近AR与真实环境的视觉关系,AR不仅对环境光产生反馈,也可以通过冰块等虚拟的透光表面来映射、折射周围的环境。比如在《愤怒的小鸟AR:猪岛》中,你甚至可以透过冰块搭建的AR城堡看到背面的植物,根据折射原理模拟的效果看起来足够自然。

ezgif-2-e5aa63a0f3ac

Runesson表示:要想实现这样的效果,开发者可以将摄像头捕捉到的实时视频图像作为AR的背景,然后在透光的对象上叠加渲染缓冲区作为纹理,并利用缓冲区的纹理来调整AR物体的折射色彩变化。

他补充:AR的意义不仅仅是将虚拟图像融入到真实环境中,它还能够改变真实环境的观感,进而提升整个体验的沉浸感。

用粒子线索营造空间感

如果可以在物理空间中布满3D虚拟场景,那么人们可能更容易感知这种AR与空间的关系,然而完全沉浸的3D场景是VR而不算做AR。对于《愤怒的小鸟AR:猪岛》来讲,它的游戏内容主要集中在猪城堡的3D模型上,并不会占据玩家周围全部空间。那么,如何让摄像头内的AR内容与摄像头没有捕捉到的真实环境联系起来呢?

ezgif-2-d6c2a7286de9

Runesson认为,可以通过雪花、星辰等粒子大小的特效来进一步拉近AR与空间的关系。一方面,粒子大小的AR与物理环境产生互动时,本身具有一种空间感,另一方面,当AR粒子离开摄像头边框时,也产生一种好像走进现实的错觉。

他发现,AR粒子元素将对玩家体验产生直接影响,你甚至可以通过移动摄像头来追随这些AR雪花、AR星辰。

考虑现实的障碍物

假设AR达到理想中的逼真感,与现实难以区分,那么它一定会具有各种物理特性,比如遮挡、撞击反弹等等。因此,AR游戏需要通过摄像头来识别空间中障碍物所在的距离,当桌子等障碍挡住AR时,确保AR不会继续叠加在桌面上,而是有部分被桌子挡住,模拟物体在不同距离所造成的自然视觉规律。

ezgif-2-ca5c3762f60a

Runesson指出,开发者可以在AR物体上叠加一种遮挡掩膜,它可以根据真实场景变化来渲染AR的遮挡效果。

实际上,早期就曾体验《精灵宝可梦Go》的玩家会知道,此前的AR通常不支持遮挡,只是将3D模型叠加在2D视频中,甚至移动摄像头角度也无法查看3D模型的背面。而随着移动设备的摄像头技术不断发展,越来越多的手机开始支持3D深度识别,这也为渲染AR遮挡带来可能。

接下来,AR技术还将持续发展,尤其是随着AR眼镜产品不断升级,未来人们将可以通过AR眼镜获得更沉浸、立体的视觉体验。参考:GI

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册