VR视频不光有全景画面,全景声场才带感

多数人平常上网啥的,对声音的要求并不高,对应这一特点,网上视频有双声道、能区分左右耳也就够了,影视制作者大量精力都花在了画面上。然而 VR 时代,之前简单弄两个声道好像有问题了:“我” 在一个虚拟场景中,听得到耳机里有人说话,却搞不清说话的是周围的谁。

解决这个问题最好的办法,正是全景声场。全景声场不仅可以还原视频场景的声音,增加沉浸感,更是引导观众注意力最自然有效的办法:日常生活中,有人从背后叫自己,肯定会回头看看嘛。最近从事 VR 声音的时代拓灵刚刚获得千万级人民币融资,我们与时代拓灵 CEO 孙学京就全息声场进行了交流。

简单理解全景声场就是,人处在环境中,不同角度、位置的声源会在不同的时间,发出不同的声音,整个这个环境中声源和其位置、时间信息共同构成一个声场。记录了声场数据,也就知道了整个环境的声音状态,后期也就可以还原出当时环境下听到的声音效果,也就是可以辨别出声音的方向、远近,而且人面向不同角度,听到的声音也略有不同。

VR视频不光有全景画面 全景声场才带感

要采集这样的声场,就需要专业的声场采集设备。时代拓灵针对这个问题,研发了便携式 360 度声场录制机,目前工程样机已经测试成功。孙学京告诉 36 氪,他们的录制机最终售价可能在数千元,这个价位 VR 工作室是完全可以承受的。虽然他们的设备与专业级价格高昂的设备性能上肯定有差距,但高端设备带来的性能提升对普通人来说,感觉差异没那么大。换句话说,他们的设备性价比更高。

尽管采集的是全景声场,最终观众听到的仍是双声道的声音,中间还需要进行一系列处理。时代拓灵的录制机用 4 个声道采集声场,采集后,需要根据这 4 个声道的声音计算出声源的方位和距离,模拟出声场,声场实时跟随用户头部转动而转动,最后根据头部瞬时角度,实时从声场中渲染输出双声道声音。听这样的声音,听众就能分辨出方位和距离,比如有人从背后叫自己。

中间这一系列过程显然很专业,也是困扰很多 VR 工作室的原因,所以时代拓灵也准备了相应的方案,把整个过程用云端和 SDK 简化。使用他们录制机录制的声场文件,直接和拍摄的画面一起上传到他们的云端,他们的算法直接帮助完成图像拼接和声音处理工作,生成全景视频文件。播放端由于声音是实时交互的,目前的网页端 H5 播放器还不行,需要他们的 APP 来播放生成的全景视频。

VR视频不光有全景画面 全景声场才带感

声场录制机和后续解决方案很快会上市。但全景视频的画面素材都很多,而且比较大,上传到云端可能会非常耽误时间,在云端拼接对画面的后期处理自由度也会有影响,关于这些问题,孙学京表示他们会持续优化工程流程,同时也在研发客户端,让用户更方便。

全景声场技术目前除了时代拓灵,国内也有少数几家在做,但都没拿出成熟商用方案,国外声学巨头,孙学京的前东家,杜比公司也在推广这项技术,诺基亚的 OZO 全景相机也具备采集全景声音的功能。孙学京告诉 36 氪,时代拓灵和杜比、诺基亚三者最终目标相同,都是要达到戴上耳机有如没带耳机,能准确听出声音的方位和距离的效果,但三家采用的技术路线不相同,时代拓灵的技术路线在移动端能够流畅运行,其它两者则不行。

尽管技术路线不同,目前陆续也有些国外 VR 团队,如 Vrse 等,开始采用了全景声音技术。我们也期待更多的成熟全景声音技术解决方案尽早出现,让 VR 视频早日把声音这一重要环节补齐,把更好的沉浸感带给观众,推动 VR 影视行业的发展。

文章下二维码15

责任编辑:
分享到QQ 分享到微信

0 条评论

头像发表我的观点

取消

  • 昵称 *
  • 邮箱 *
  • 网址

登录

忘记密码 ?

切换登录

注册