Facebook推开源PyTorch3D,机器学习让3D变得更美好

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

一直以来,多数机器学习模型几乎围绕在2D图像识别和理解方面,之后开始有包括2D图像理解3D物体,2D草图还原3D模型等等机器学习模型。

和互联网媒介发展路径极为相似,机器学习模型也正在从2D图像转为3D图像相关,包括3D图像的理解,图像还原,图像分析等等。

毫无疑问,3D理解能力的提将有助于机器更好的理解现实世界,例如机器人在复杂空间中导航、以及2D环境中识别遮挡物体,甚至用于提升各类和3D相关的AR/VR/游戏等等场景的体验。

pytorch3dlogo

而3D领域的机器学习模型在此之前一直处于缺乏相关工具和资源的状态,和其它巨头相比,得益于Facebook在AR/VR方向领域加大投入,正式推出专注于3D环境的深度学习平台PyTorch3D。

实际上,这个PyTorch3D平台正式受到Mesh R-CNN模型的启发。Mesh R-CNN是Facebook在去年发布的一个专注于从2D图像环境去实现3D模型重建的模型,其可将一个房间拥有遮挡的沙发或其它物体进行还原。

GIF3

在PyTorch3D中结合了高度优化的2D图像识别库Detectron2,从而实现把物体解能力升级到三维空间。

最终,研究员和工程师们可以通过PyTorch3D平台进行各类3D深度学习研究,包括3D重建、3D推理等等,甚至帮助到2D识别等应用。

PyTorch3D的几个主要功能和特点:

1,引入新3D网格数据格式

微信截图_20200208180838

3D网格系统包含了顶点坐标和面索引的合集,意味着在批量处理大小不同的3D网格时会面临一些挑战。为应对挑战,Facebook创建了3D网格格式:Meshes。

该数据格式可以轻松的基础网格数据进行快速转换为不同的图像,让运算符和数据能够有效匹配。而PyTorch3D也能够使研究员在不同视角之间灵活切换。

2,3D网格支持高效率处理

GIF2

有了新的3D网格格式后,就需要能够实现高效的处理。目前Facebook已优化几个通用运算符和3D数据损失函数的优化,从而支持异构数据导入。也就意味着,研究员可以对3D网格进行投影变换,图卷积,采样,损失函数等操作。

3,微分网格渲染

GIF

渲染引擎是将3D模型转换为2D图像的计算机图形学核心部分,将3D场景属性转换为2D图像一般渲染方式不支持微分。不过包括OpenDR、redner等,则可以构建支持深度学习的可微图形渲染器。

同时,由于PyTorch3D目标是和各类深度学习算法集成,从而将3D数据进行更好的数据预测和计算,因此在PyTorch3D中所有的运算符具备以下特点:可适用PyTorch算子;适用异构批数据;可进行微分;支持GPU加速。

参考:FacebookGithub

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册