优于NeRF方案,Intel Labs发布高清3D图片合成新研究

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

8月27日消息,Intel Labs科研人员发表了一项3D场景重建相关研究,研究中指出了一种通过视角合成,将2D原生照片(无标记或描述)转化为支持多视角查看的3D图的方案:Free View Synthesis。

IntelFVS_SamsungCompare2-768x432

据青亭网了解,Free View Synthesis方案结合传统算法和神经网络,其特点是可生成彩色的3D图,效果比NeRF方案,或是三星近期发布的NPBG渲染方案更好,合成画质更清晰。

在论文中,科研人员阐述了Free View Synthesis方案的具体流程:

  • 1)利用开源COLMAP(Structure from Motion)算法来确定源图片的摄像头位置,并生成场景的基础点云数据;
  • 2)COLMAP在每张源图片中运行多视角立体算法(MVS),生成基于点云数据的基础建模;
  • 3)根据狄洛尼三角剖分原理,生成临时的几何网格;
  • 4)利用共享的卷曲神经网络将源图片的关键特征进行编码;
  • 5)通过临时几何网格中生成深度图,并利用深度图将关键特征分布在目标视角上;
  • 6)利用循环神经网络,将特征融合在单一的帧画面中。

目前,运行这些步骤需要大量时间,因此Free View Synthesis方案还无法达到实时生成速度。

未来,当这种技术得到继续优化,将有望进一步降低实时3D照片渲染的门槛,更广泛应用于社交、新闻报道、展览展示等多种场景。

IntelFVSNetwork-768x429

参考:UploadVR

附:AR/VR商用案例征集

网站案例征集-01

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:小新
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册