爱奇艺智能—南大联合创新中心论文入选CVPR 2021

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

日前,全球计算机视觉顶级会议CVPR (IEEE Conference on Computer Vision and Pattern Recognition)公布了2021年论文接收结果。作为计算机视觉领域世界三大顶会(CVPR、ICCV、ECCV)之一,CVPR的论文投稿量近五年来持续大涨。据CVPR官网显示,今年一共接收到超7000份论文投稿,最终有1663篇论文被接收,接收率约为27.3%。在激烈竞争当中,“爱奇艺智能-南京大学联合创新中心”凭借着在物体材质感知技术方向的创新研究成功入选。

Picture1

爱奇艺智能孵化于爱奇艺,是一家专注于虚拟现实(VR)技术、产品与内容研发的科技企业。截止目前,已推出了奇遇1、奇遇2、奇遇2S、奇遇2Pro四款主打观影或游戏的VR一体机产品。并创造了诸如全球首款4K VR一体机、独家定制iQUT观影标准、全球首个5G+8K VR直播、国内首个计算机视觉(CV)头手6DoF VR交互技术等多项业界第一。

2019年,“爱奇艺智能—南京大学联合创新中心”成立。中心在整合前者丰富的虚拟现实产业资源,以及南京大学在虚拟现实、计算机视觉和图形学方面的学术研究与人才优势基础上,围绕虚拟和增强现实、人工智能的核心技术研究和产品开发展开深度合作,以加速推动科技成果产业化。

本次入选CVPR2021的《GLAVNet: Global-Local Audio-Visual Cues for Fine-Grained Material Recognition》论文中,为攻克物体材质(例如木,钢,铝等)识别的技术难题,“爱奇艺智能-南京大学联合创新中心”团队提出了一种融合视觉、听觉信息的创新方法。构建了一个包含受敲击的物体的几何以及通过模态合成技术合成的敲击声的数据集—GLAudio。除了受敲击物体的全局几何外,该数据集还包含被敲击部位附近的局部几何(这些局部信息在已有的数据集中少有讨论)。经论证,局部几何可以很大地影响敲击声,并为材质识别提供帮助。此外,团队还提出了用于提取并融合不同的模态特征的深度神经网络GLAVNet,其在材质识别任务上超越了前沿水平,且支持细粒度的材质识别。

Picture2 Picture3

就VR 行业而言,近年来随着技术的发展,开发者越来越倾向于在虚拟环境中添加更为真实的物理效果,以提高用户在与环境交互的过程中的沉浸感。因此,也产生了许多可以自动合成与视觉效果同步的声音的基于物理的音效合成技术。其中,物体受敲击产生的声音是很重要的一个部分,而合成这种声音则需提前知道物体的材质。基于本研究成果,开发者将得以更便捷地识别出需要被建模的真实物体的材质,进而帮助其构建规模更大、物体种类更丰富、具有真实的声音反馈的VR虚拟世界。

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:sunny
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册

freemoviexxx.cc freemoviexxx freemoviexxx