Facebook开源DeepFovea,AI让AR/VR更无语伦比

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

一直以来,我们都在追踪报道Facebook Reality Labs(以下简称:FRL)的各项研究。其中,2018年报道了关于实时动态模糊效果的研究DeepFocus,2019年再次报道了与DeepFocus功能相反的DeepFovea功能。

由此,让我们看到了一套基于AI、结合人眼视觉系统而开发出来的AR/VR渲染解决方案,更看到了未来轻量化AR/VR的无线可能性。至少,这样强大的AI系统一定程度上解决了AR/VR算力与功耗的矛盾。

Deepfovea_hero-v2

虽然,DeepFovea在2019年11月SIGGRAPH Asia首次公开,但当时并不完整。近期FRL公开了完整版本DeepFovea,并已在Github开源现在各位小伙伴们可以自己进行探索和尝试这项研究了。

DeepFovea的背后是一个生成式对抗网络(GAN),它能够通过较为稀疏像素的图像,生成一幅足够逼真、自然的图像(包括实时的视频)。在Facebook的测试中,DeepFovea可以将渲染所需的计算资源降低10-14倍。

ezgif-3-3aa822fac0c7

DeepFovea同样是基于人眼特性,注视区域清晰,区域外则模糊。DeepFovea目的就是通过输入这种注视区域外大幅丢失像素的视频,来帮助GAN模型学习如何填充缺失的图像细节。结果是,在60×40度视场角的视频中,通过稀疏像素的模糊视频生成的视频流在像素密度上降低了99%,并且这套系统还可以降低图像闪烁、重叠、伪影等,最终达到人眼辨别真假的阈值。

相关阅读:《模糊对VR同样重要?Facebook:这次我们让VR更清晰

参考:Facebook

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册