谷歌新AI研究：基于图像分析模型和NeRF，可根据文本合成3D模型

青亭网( ID:qingtinwang )--链接科技前沿，服务商业创新

利用DALL·E从文字合成图片相信大家已经比较熟悉，近年来类似的研究不少，比如Meta前不久公布的Make-A-Video研究，即利用AI才能够文本合成视频。近期，谷歌也公布了一项新的AI模型Dreamfusion，该模型的特点是将AI图像分析模型Imagen与NeRF（神经辐射场）结合，可根据文本来合成3D模型。

据青亭网了解，谷歌在2021年底曾推出3D合成AI系统Dream Fields，Dreamfusion则是在此基础上的演变，区别是Dreamfusion利用Imagen来取代OpenAI的CLIP图像分析模型，Imagen是谷歌预训练的2D文本图像扩散模型。而神经辐射场的部分则提供了合成3D视图的能力，并允许在神经网络中存储3D模型，接着通过Marching Cubs三维重建算法，可导出为具有网格的3D模型，并在常见的3D渲染引擎、建模软件中使用。

简单来讲，Imagen的优势在于使用2D文本图像即可训练，更容易规模化。Dreamfusion会使用Imagen生成的多视角2D图像来学习3D渲染，实现用文本来合成3D模型。此外相比于Dream Fields，Dreamfusion可合成更高质量、具有深度和法线的、可重新照明的3D模型，因此整体效果更逼真。而且，Dreamfision生成的多个3D模型可缝合到同一个场景中。

参考：Mixed