基于NPBG,这套3D头像方案融合了光照系统

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

对于未来的AR/VR社交场景,多样化、定制化的头像系统至关重要。目前,生成个性化头像的简易方案并不够逼真,而且撞脸的可能性较高,而逼真的3D头像方案通常需要利用线下的大规模容积摄影/动捕工作室,成本较高,因此使用者主要为企业级用户。

微信图片_20210311172933

那么为了打开AR/VR社交市场,降低生成逼真3D头像的门槛很关键。近期,俄罗斯Skoltech的学者研发了一种基于手机摄像头的“可动态打光”移动3D头像捕捉方案,其特点是使用简单,而且效果逼真,更重要的是可动态模拟不同角度和环境条件中头像的变化。据悉,该方案无需LiDAR等高成本硬件或特殊的打光,只需要一部智能手机即可。

与现有的一些基于静态打光生成3D头像的方案相比,“可动态打光”方案将具备逼真的动态光影信息,在虚拟环境中可实时调整亮度和阴影,就像是人脸在真实环境中所成像的动态特性。因此,该方案生成的3D头像的表情和姿态看起来更有生命力,不会打破AR/VR的沉浸感和逼真感。

科研人员表示:随着手机等2D计算界面普及,也同样带动了移动摄影的发展。而随着VR/AR头显、3D显示器慢慢普及,3D摄影将有望成为一个有趣的研究方向。未来,这个2D视频转化成3D头像的算法,将有望解决VR社交面临的一个关键挑战。

Mzc3NDE1Mg

在论文中,科研人员描述了整个基于神经算法的图像处理过程:

用智能手机从多个角度拍摄两个人像视频,一个开启闪光灯,一个未开启闪光灯。模特在拍摄过程中保持不动,手机环绕模特拍摄到的图像将平均分为100个视角,科研人员在每4个视角之后会插入一个持续的定向光源(摄像头闪光灯),同时捕捉到的100个视角图像分辨率分别为3000x3000,采用HDR形式,足够清晰生动。

手机中的运动建模算法会将捕捉到的图像数据转化成粗糙点云结构,接着通过多角度降噪,生成代表3D头显的几何图形。然后,利用深度渲染网络去复原人脸的反射率、法线、环境光地图,用于生成和模拟各种视角下光线的变化。

微信图片_20210311173007

通过一系列处理,代表人脸的几何结构将转化成可动态打光的3D头显模型,可模拟多种不同视角和光线环境中面部色彩和亮度变化。

细节方面,动态打光的方案通过手机闪光灯实时打光,也就是说用手机以360°围绕被拍摄者,与此同时手机的闪光灯也会按照一定频率闪烁,为3D建模提供足够的光线信息。

接着,手机摄像头捕捉到的图像会转化为点云数据,利用基于神经点的图形算法来实现3D重建。结合SFM算法和每一帧的摄像头方位信息,接着重建密集点云模型,在通过深度分割网络过滤点云,将3D头像/前景从每一帧图像中分割出来。在经过训练后,神经网络在接收到点云数据后,即可生成光栅化的独特摄像头视角,并预测不受光线改变的特征,并与可动态打光的图像融合。

注:SFM算法是一种基于各种收集到的无序图片进行3D重建的离线算法,也就是从运动中(不同时间拍摄的图片集合)重现物体的3D结构。

微信图片_20210311172948

也就是说,利用深度神经网络处理视频图像,并根据室内光预测反射率、阴影等亮度相关的人脸特征,然后将这些预测的亮度地图用于对人脸视频影像的重新打光。如此一来,可模拟不同环境光下人脸亮度和阴影的变化。

在虚拟环境中,你可以通过各个方向的模拟光源或环境光源来调整3D头像的明暗,调整视频环境的光线。此外,为了避免恐怖谷效应,这项头像算法并不会模拟嘴唇动作或面部表情变化。

Skoltech计算机视觉小组负责人、副教授Victor Lempitsky表示:基于神经点的图像算法可处理多样化的几何图形,包括常见的多边形网格等等。用多边形网格代表3D模型的好处在于渲染速度快,但是难以模拟薄或直径小的物体,如:头发、手指、布料等等。与此同时,点云图像也有相似的问题,其通过像素点来模拟人脸光影变化,但受密度原因影响,可以看到一些无色的小洞。

科研人员发现,结合基于点云的图像和神经渲染,有望解决上述问题,神经网络可以在渲染过程中链接点云数据,让3D头像表面更平滑。

未来,Skoltech的计算机视觉小组计划将该算法用于生成可动态打光的全身3D建模,应用场景包括VR、3D可视化等等。

微信图片_20210311172936

Skoltech科学和工程小组的高等数据分析负责人兼副教授Evgeny Burnaev表示:利用简化、低成本的硬件就能快速完成复杂的3D扫描任务,这将有助于利用3D模型保存文化遗产,生成的3D模型还可以发布到网页端,吸引更多人在线上学习历史文化。参考:Skoltech

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册

freemoviexxx.cc freemoviexxx freemoviexxx