HypeVR推体量视频捕捉技术,想让VR视频“身临其境”

hypevr-capture-rig-3.jpg-1021x580

现在360全景视频越来越多,未来某一天也必将做到视网膜高清分辨率和更加完美的立体效果,但是现在还有一个弊病未被征服:用户的视角位置是固定的,不能在3D视频中移动,更不用说通过头部转动来转换视角。这让整体体验的沉浸度打了折扣。

HypeVR的体量视频捕捉技术就打算解决这一点,他们不仅能捕捉一系列360度图片然后把它们串在一起形成360度视频,还能捕捉每一帧的体量信息,好让用户可以在视频里面移动。他们在CES上展示了用自己强大的捕捉设备拍摄的预告片,以及和英特尔合作的一个全新的、更加逼真的视频。

笔者有幸用Oculus Rift体验了一把,如下图,视频长达30秒,是越南的一个全景山谷,我站在湖中的一个小岛上,满目都是农牧田园风光,而远方是瀑布和雨林。这毫无疑问是我体验过最逼真的全景视频,因为我可以在一个房间大小的空间内移动,这才是真正的VR视频应该给人的感受。

以前的VR视频体验大多采用影像测量技术(Photogrammetry),每一个场景都要花上数个小时,从每个可能的角度捕捉一边,然后拼接成一个完整的模型,数据量巨大。并且无法拍摄移动的物体,因为拍摄的速度远比不上物体移动的速度。

HypeVR采用的是另一种技术,摄像机位置不动,然后使用高质量视频捕捉和LiDAR

hypevr-capture-rig-2-681x383

深度测量技术每秒捕捉60次。之后视频的纹理数据与深度数据融合为每秒60个“体量帧”,好让用户在看到移动的汽车和水的波纹的同时,在一定区域内移动。

这些“体量帧”实际上是一个接一个重放的实时渲染的场景3D模型,除了让用户能移动之外,还让HypeVR的视频看起来更清晰、更沉浸式,渲染的每个帧都是通过对可用数据的最优采样完成的,并且每个角度都具有精准的3D几何。

HypeVR的技术听起来很棒,但是要真正拿来打造影院式VR内容还需要解决一些问题。比如一个比较技术的问题:就如自然光会在物体后方形成一片阴影一样,HypeVR用的深度测量技术LiDAR通过发射激光然后接收物体反射回来的激光来计算深度,这也会在物体背后形成一个空洞,相机就“看不见”后面的场景。如果用户站的位置不变的话,就不存在这个问题,因为用户也看不见被遮挡的物体,但是一旦用户可以移动,就会看到这些体量空洞。

但是笔者在体验的时候却没有看到空洞,有可能是他们通过后期处理填补了空洞(不过这个方法非常不稳定,如果场景很复杂的话就要肝到死),也有可能是捕捉后在空洞处插入一个实景捕捉的3D模型,这个办法简单有效的多。当然也有可能像特效大片使用的CG技术一样,用CGI模型弥补空洞,事实上CGI模型和实景全景捕捉视频的结合是未来的终极方向。

HypeVR用了14个6K、60FPS红外摄像头,这些数据非常巨大,目前每帧需要6分的时间来处理。目前的视频大小是每30秒2GB,压缩率还有待提高。VR视频同样也期待着普通消费者网络速度的提升和革命,好为他们提供无须等待的体验。

总体来说,从这个demo来看,HypeVR让全景VR视频的未来变得更加吸引人了。

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权!
责任编辑:freeAll
分享到QQ 分享到微信

0 条评论

头像发表我的观点

取消

  • 昵称 *
  • 邮箱 *
  • 网址

登录

忘记密码 ?

切换登录

注册