台湾清华大学与Facebook再度攻破3D照片技术

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

更新:网友Alegriabaile指正“最新的3d照片与原来的主要区别是,原来的是根据苹果人像模式RGB-D进行三维全景图生成,重点在深度图的全局一致性变形,当时Facebook发布的只是用到了里面较简陋的内容生成方法;

最新的这个和19年的practical 3d photography更像,拍摄单幅RGB颜色图片,利用深度学习得到深度图(这个时候才有RGBD),后面重点进行内容生成。”

有关于2D图像转3D图片,或转移3D模型相关技术,我们报道过多项研究,其中关于3D图片和3D拍照涉及最多的就是Facebook,与此同时包括谷歌、微软、NVIDIA也已公布都在研究2D图像到三维模型(3D模型)之间的训练模型。

可以肯定的是,在很长一段时间内,这种将2D图像转变3D效果或生成三维模型的AI技术将发挥巨大作用,例如应用到电子商务平台,游戏,影视剧,大众娱乐应用等领域有着极大价值。

目前,在2D图像转3D照片,以及3D照片拍摄相关方面,Facebook已经提出初步构建了一套已有的拍摄方案,并在不断完善中。

facebook 3D照片

而近期,弗吉尼亚理工学院暨州立大学、台湾清华大学、Facebook再次公布一项有关3D拍照的AI技术论文,本研究着重改善了现有3D拍照中模糊和不连续性等问题。

Facebook 3D拍照/3D图片技术

在讲述新的研究之前,我们先来回顾一下Facebook现有的3D拍照和3D图像的研究成果。

2018年5月份的F8开发者大会上,Facebook公布3D照片研究,其将嵌入Facebook信息流中,移动设备可通过左右晃动呈现3D景深效果,而PC端则可通过鼠标拖拽观看立体效果,且仅支持拥有“人像模式”的iPhone设备。

3dphotos-640

实际上,这项技术初衷是为了让用户更轻松的创建出3D图片或其他3D内容,并且让大家可以通过自己的手机完成。

当时Facebook给出的方案是,通过双摄手机拍摄同一图像并计算深度信息,然后进行深度信息解码,再结合单一摄像头拍摄多张图像,通过双组数据对比推算出图片中不同深度数据,将图像进行分层从而实现三维拍摄的目的。

2020年2月,又公布了一项可以让2D照片转3D效果技术,而方法适用于单摄像头手机,完全基于AI技术实现,从而实现功能的互补,意味着几乎主流的智能手机全部支持Facebook 3D照片。

ezgif-2-27b94fe9efe4

相比来看,这就是一套完全基于2D照片来实现模拟3D效果的升级版,其通过单目数据结合CNN模型,对算法要求更高,并且也需要前期进行大量数据实验积累,实现了在移动设备上快速处理,这对今后普及3D照片,甚至3D内容理解、环境感知等领域方面有极大的帮助。

新方法:单张RGB-D转换3D照片

虽然说上述两个研究已经很出色的完成了消费级场景的应用需求,但是为了满足未来潜在且广泛的3D照片需求,弗吉尼亚理工学院暨州立大学、台湾清华大学、Facebook近期公布了一项基于单目RGB-D图像完成3D照片转换。

简单来说,这是一项将多个图层图像合作的新颖方法,甚至可以还原出原图中被遮挡的部分物体和颜色。其中比较关键的一个就是引入“图像修复模型”,该模型采用上下分层内容感知形式,来填充缺失部分的颜色和内容等细节。

与此同时,通过此方法生成的3D照片可以通过标准图形引擎的运动视差来展示。最终结果就是,3D照片的效果极为出色。

微信截图_20200526164519

不同方法对比:a,图像缺失、扭曲;b,图像边缘拉伸;Facebook 3D照片效果;4,本方法最终效果

微信截图_20200526172950

图像预处理过程:a-b,颜色和深度输入;c-d,使用双边滤波锐化;e,基于视差值检测不连续性;f,消除虚假差值,优化图像边缘深度

微信截图_20200526183456

图像前后感知处理过程:LDI绘图算法、合成区域(红色)、合成区域宽度5个像素宽

通过上述对比图来看,我们原有的3D图像或者存在图像缺失、或者边缘拉伸情况,而Facebook 3D照片也存在边缘模糊。

我们再来通过视频了解一下,该方法应用在最常见的家庭照片的效果。

上面的视频是多种不同方法之间的对比。

另外,我们再来看2.5D视差、旧照片和Dolly Zoom场景的效果图:

ezgif-4-ef51be019234

Dolly Zoom效果图

ezgif-4-2795f0a49901

 2.5D视差效果图

ezgif-4-13a17680ab7b

旧照片的效果图

根据论文自身的说法,在日常场景的照片中,本方法和高性能3D拍摄技术效果基本接近。

3D照片就是未来?

当然,本方法也有它的局限性,那就是它要求的是RGB-D图像,必须要求带有深度信息。回过头来看,也就是和Facebook最初发布的3D照片类似,需要双摄版iPhone机型,而安卓设备目前还不确定。不过,多摄像头机型越来越普遍,而且实现3D拍照的方法也越来越多,这点基本不用担心。

前面我们解释过,Facebook在3D照片方便已经耕耘许久,这背后的原因又是什么?

3D摄像技术绝对是一种新颖且能带来更有趣的展现效果,相比常规的2D照片要更有趣。但是,以往想要进行3D拍摄只能通过专业的摄像机,或全景相机,虽然消费级全景相机已经价格较低,但目前仍未达到普及的程度。

而我们又知道,Facebook绝对是AR/VR领域资深玩家,甚至此前还推出过 Surround360全景相机平台,其宣称世界上首个3D和全景视频拍摄端到端解决方案。但是, Surround360计划在2018年之后就很少被提及,甚至与RED合作的全景相机RED Manifold此后声音也越来越小。

其中一方面是目前全景拍摄需求相对小众,即便是消费级全景相机普及率也非常低;另一方面大众媒介直接从2D跳转到三维还需要一个过渡。

很显然,直接利用好大家手中的手机就是一个非常聪明的选择。这时,相信你已看出Facebook早已开始在AR/VR已经未来各种不同场景进行布局和探索尝试。

ezgif-4-fa6410bb60e9

ezgif-4-5b8d5cb2ec27

通过上面的预览效果图来看,可实现多种形态的3D照片模式,可以预想到的是,该技术可直接应用到手机图片处理App中,甚至应用到短视频制作App等等场景,而Facebook自身(包括旗下平台)就是一个图像、视频分享的平台,显然这对于之后的业务拓展也十分有利。

至于未来3D照片是否能够大范围普及,显然还是未知数,但可以肯定的是这些技术和过程的探索无疑对未来AR/VR/全息时代三维信息产生、交互拥有重大意义。

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册