谷歌用AI生成3D模型,光影效果逼真,支持后期编辑

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

关于3D模型的生成方面当前已经有很多方式,除了专业级的工具,还有很多通过AI技术的简单化工具。去年我们曾报道过微软亚洲研究院的一项通过2D草图生成3D模型的技术。

今天,谷歌在NeurIPS 2018大会上讲述了一项基于AI的3D模型生成新研究。据悉,该研究成果由谷歌和麻省理工学院CSAIL联合研发,目前已经发表相关论文

微信截图_20181205180416

该研究的论文名称为《视觉对象网络:3D图像的解缠与生成》,简称VON,其特点是不仅能够生成比其它方法质量更佳、更逼真的图像,而且还能进行形状和纹理的编辑,也能转换视角、进行其它的三维调整。

大多数计算机模型只专注于2D图像,确忽略了3D模型,这也限制了很多应用场景,例如机器人学习、计算机视觉领域、游戏领域等。

研究人员讲到,VON通过联合合成3D模型和2D图像来解决3D图像生成难题。据悉,图像生成模型被分解为三个因素:形状、视点、纹理,通过先生成2.5草图,在通过添加纹理的方式生成3D模型。

googleai

据研究人员讲,最重要的因素就是三个因素都是条件独立的,所以模型不需要2D图像和3D模型进行数据匹配。因此,也可以让团队能够大规模的展开训练,包括Pix3D、谷歌图片搜索、ShapeNet等平台。

为了训练VON学习自我生成图像和形状,该团队还训练出一个生成式对抗网络模型(GAN),这是一个由生成样本和鉴别工具组成的神经网络,团队成员借助于它来区分生成的图像和真实的图形。而纹理生成工作则交由另一个GAN模型完成。

经过大概2-3天的训练,这套系统最终能生成一个128×128×128的模型,不仅形状相似,而且光影和反射都足够逼真。

为了进一步评估这个AI模型,团队计算了3D模型的弗雷歇距离,这是一个与人类感知相关的单位。评比通过亚马逊Mechanical Turk平台5名测试者,通过展示200组3D模型,结果测试者认为这套模型的结果更为真实。

该团队讲到:“与现有的2D生成模型相比,我们的模型能够生成更逼真的图像,而且还支持进行各种3D化的操作。”

参考:VentureBeat

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册