苹果公布新AI研究GAUDI,可通过文字来合成3D场景

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

近期,苹果机器学习科研人员Miguel Angel Bautista和团队研发了一种可以通过文字来合成3D场景的AI系统:GAUDI。据悉,GAUDI是一种生成式AI模型,其特点是解决了对参数化3D辐射场的学习难题,苹果将其称为“可合成3D场景的神经架构师”。

微信图片_20220803114808 (1)

尽管目前GAUDI生成的3D视频质量较低,并存在伪影,但这项技术为未来的可控生成AI系统和3D物体和场景渲染奠定了基础。

据青亭网了解,谷歌曾多次使用NeRF/神经渲染技术,来合成物体、人像和场景的3D模型。但目前,用生成式AI来合成不受限制的3D场景依然很难,原因可能是受到摄像头位置和映射范围的限制,在合成和渲染过程中需要考虑物体、墙壁之间的遮挡。

为了解决这些问题,GAUDI采用了三个特殊的网络系统,包括用摄像图位置解码器来预测捕捉角度,以输出正确的3D场景架构和位置。此外,还有可预测3D平面表示的解码器,配合辐射场解码器。参考:Mixed.de

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册