爱奇艺首席科学家王涛:VR打破了内容的三个界限

G16A6015_副本

青亭网10月13日消息,由中关村科技园区管理委员会、北京市科学技术委员会、海淀区委宣传部主办,青亭网联合中关村会展与服务产业联盟、东湖VR小镇承办的双创周官方唯一VR/AR产业创新峰会,于10月13日上午9:30,在北京双创周会场:中关村国家自主创新示范区展示中心举办。此次峰会致力于分享讨论虚拟现实和增强现实行业的热点话题,探讨前沿技术和未来发展趋势。

会上,爱奇艺首席科学家王涛进行了题为《VR视频关键技术和进展》的主题演讲。

王涛称,从视频来说,VR技术带来了很多全新的可能性。拥有沉浸感体验、自然交互和市场回报较高三个特点。“比起电影来,VR的成本更低了,而且由于能够有精确垂直定位,成本进一步降低。”

G16A6020_副本

那么,VR和传统的电影有什么不同呢?王涛认为,它“打破了时间和空间、演员和观众、游戏和视频之间的界限”。

他提出VR/AR产业链由工具设备(拍摄设备、显示设备、编辑软件、播放软件)、内容生成(VR游戏/影视/直播/电商)、分发平台(线下体验、主题公园、社交影院、媒体网站)和用户服务(B/C端用户)四部分组成。

王涛接下来讲解了VR的关键技术,首先设备包括全景摄像头、技术原理、全景VR视频拍摄系统、VR编辑与后期处理、VR头显等。但在其中,他也指出了不少技术上的挑战,如360度内容视频传输过慢、缺乏优秀的后期设备等。

G16A6033_副本

对于VR内容制作,王涛称现在有“数字虚拟+实景拍摄”、“全景虚拟空间+交互叙事”和“跟随拍摄:One scene, One set, One shot”三种方式。

王涛表示,爱奇艺已经“在5月5日发布VR+战略”,旨在打造VR生态圈,并且已经上线爱奇艺全景影院应用INSIDE。此外在VR内容制作中也做了很多的尝试,积累了很多的经验。比如如何拍摄清晰,“摄像机需要动态高清、多机位进行切换”。

NC5A5976_副本

关于未来的VR发展趋势,王涛表示产业需要“更小的头显、更快的网络、更全面的感知系统、更加丰富的内容和更广阔的视角”。

最后王涛总结:VR带来了影视技术体验的又一次飞跃,而智能硬件创新是VR用户体验的关键。不过也同时带来了新的挑战,去带来更好和更清晰的内容。

以下是演讲全文:

大家下午好,非常高兴能有这个机会跟大家分享一下VR视频关键技术进展方面的一些探索,我叫王涛来自爱奇艺,我将从以下三个方面给大家做一个简要的介绍:

首先VR也可以说是近年来一个非常活跃的话题,已经从技术研究的热点进入到万众创新创业的一个非常活跃的应用领域。VR的来历是什么?其实就是要创建一个虚拟的世界并且是一个封闭的环境,大家看到下面有一张图,把人看到的视觉的信息,耳朵听到的听觉的信息都给生成计算机信息,这样形成什么样的呢?大家看到电影里面提到的什么是真实?就是你所听到看到的感受到的一切,这个真实就是大脑信号而已,也就是说VR要给大家提供真正逼真感的虚拟信号,而且允许用自带传感器实现跟虚拟世界之间的交互。

如图是Gartner2016年新性技术成熟度的曲线,VR在什么样的位置呢?大家看右边高峰下降之后进入到产业化的起跑线的位置,也就是说Gartner已经预测到了创新创业变成各种应用变成实际产品的兴盛发起的起跑线的位置。从视频角度来看VR其实给视频带来了一个技术的飞跃,也提供了很多创新的机会,纵观影视技术发展的历史就是如图,最早人类表演通过真人,戏剧类表演,它的特点是要真人出现,每来一次观众都要做一次演出,这样使整个戏剧演出成本非常高,有了电影技术的发展可以用摄像机把整个场景记录下来进行播放,这样就不需要真人进行演出了而且可以重复播放,在这方面就降低了成本提高了收益。随着后来技术发展到电视,大家不需要坐到电影院获取这种信息体验娱乐节目,大家可以收看电视,电视特点是实时广播,大家可以在同一时刻看各个频道提供的节目,它的特点是成本比电影进一步降低了,回报率比如大家拍电视剧,艺人、导演、工作室回报率更高了。但是有个缺点,大家看节目的时候不能随心所欲看自己想看的东西,随着互联网技术的发展提供了互联网视频比如爱奇艺、腾讯、优酷这些技术允许大家能够个性化的进行视频推荐、视频观看,交互、了解关键日志、喜好进行推荐。所以回报率进一步提高了。在VR到了什么阶段?其实是互联网视频上视觉体验的飞跃,大家不但看自己喜欢看想看的内容,而且他看的沉浸感,戴了头盔之后好像获得了去电影院观看一部大片的感觉,沉浸感增加了,比如像打太空战这样的游戏可以进入太空跟机器人作战。非常的精彩。

我们要总结VR到底跟传统影视剧有什么不同?大家都知道电影其实是个艺术和技术相结合的产物,首先1、VR打破时间和空间的界限,因为是虚拟的,进入到虚拟世界中可以回到过去,探索整个宇宙。比如中间这幅图可以坐到虚拟教室里去美国斯坦福学大学的课程还可以提问,打破了观看者和表演者之间的界限,可以直接和剧情交互。3、打破了游戏和视频的界限。现在很多游戏做的越来越真实,很多界面接近动画的技术成熟度,如右图进到一个电影里可能是人生的体验可以选择自己的剧情,可以和里面的人物进行交互聊天。大家想一想这就创造了一个影视剧全新的领域。

纵观VR/AR整个产业链分成四大方面,首先VR兴起依赖于一个工具,设备软硬件的成熟,包括了拍摄设备、摄像机、头盔还有很多显示设备、编辑软件、播放软件的应用。有了这些之后就到了内容生成阶段,这些内容有哪些类型包括VR游戏,大家看到市面上的游戏可能几百款但是人需要获取的信息非常海量非常丰富,所以需要大量的VR视频、影视和直播像虚拟电商等等,有了这些内容就给我们内容分发平台,比如在一些主题公园、线下体验店、社交影院及互联网视频的网站大家需要给大家一个平台、一个渠道给大家提供VR的服务。在这里其实是有很多挑战的,比如对于多媒体网站VR视频的数据量非常大,像4K视频、6K视频不但播放的时候需要硬件支持,在网络传输的时候应用的带宽已经超过了传统的三兆带宽沈指导十兆几十兆带宽,对整个互联网提出了很大的挑战。

最后用户服务,可以为B端用户,刚才专家讲的教育、医疗还有娱乐、电商、工业、房地产等等还有广大的C端用户,人群非常丰富。所以以前一些投资的公司预测到2020年的时候,带来的产业是万亿级的规模,大概是对整个VR/AR渗透到各行各业。

下面介绍一下VR的关键技术,就是在软硬件设备领域主席包括三个方面,一个是摄像机。摄像机目前我们看到主要有几类,第一类比如像鱼眼镜头,Eyesir,insta这样的便携的设备,后来还有Gopro还有强氧科技,国内一家公司用多个摄象头组装进行360度全景拍摄,如图是几个摄像机的设备。最近大家不但对VR360度观看,还不是很满足,所以又出现了VR360度3D的视频,如右图。

在这里面我们还碰到很多问题,比如摄像机分辨率要求4K甚至8K才能真正达到看上去非常清晰的效果,而且基于我们的专业,一些媒体网站应用的时候对一些接要求非常高,比如jump有16个相机就有16张卡,拷贝出来就需要很长的时间,这就严重阻碍了视频生产的速度,所以我们特别希望快速的接口能够把多个摄像机的设备存储到一个硬盘中通过光纤或者其他接口倒到计算机理,甚至摄像机的编码拼接到硬件,直接把摄像机多个画面输出远景图,作为视频倒到PC机进行下一步的处理。

如图是VR全景的示意图,摄像机看的全面纹理中的局部窗口。我们也尝试过VR的直播,其实我们看到过非常强的需求,VR演唱会、发布会以及其他的技术进入到屏幕中。直播的时候要有实时性整个流程,要达到25桢的速度传输到用户端才能观看。另外端的IO必须快速进行传输,比如像光纤设备包括强氧用一根线非常便捷的传过来,右图是我们测试的强氧的设备。

视频拍摄之后还要对它进行后期的编辑和处理,比如加入LOGO和字幕,比如最近中网网球赛,它就需要实时把字幕加入到全景直播的系统,目前我还没有看到很好的软硬件设备。

第三步是形式设备包括VR/AR大设备的体系,左边是Oculus已经发展到了第三代,达到100度左右的视角,2K分辨率。HTC特点是可以非常容易的知道手柄和头的姿态在空间中哪个位置,从而实现VR视频的高度。索尼VR设备特点是非常实时的可以很好的消除常说眩晕的感觉。第三个是微软的hololens是个开放的观看系统,我们看到实际生活中的场景是什么样的,可以看到虚拟的通过全息光波导折射的方式把图象投射进去。但是它的特点是什么呢?大概只有30桢的非常小的画面,给人沉浸感不强。最后一个是meta2设备,视长角从30度做到了90度。

在VR交互这块看到了outside和htc,不需要很多的设备直接可以廉价便捷的交互,在动作捕捉方面也有非常多的探索,这样可以实现虚拟交互。

内容制作方面其实这也是现在VR内容发展的最大的途径,在这方面包括我们公司还有电影特技工作者已经做了非常多的探索。首先分析他们的特点,1、真正对VR要求自由机位,以前我们看到的是有边框的,在VR视频中是没有边框的,眼眶代替了画框。在VR怎么做视频呢?怎么把不想要的去掉,我们看到用绿蒙方式开设,拍摄之后整个背景可以抠除,用真实场景进行替代。另外大家看到摄像机不但可以固定,可以挂到VR,摄像机可以走动的,摄像机可以模拟人的视角跟随主角的运动进行拍摄,这样达到很好的交互叙事的特点。最近电影学院的教授提出了跟随拍摄的特点,用移动摄像机跟随拍摄,从而达到模拟主视角进行观看的体验。

对于爱奇艺来说我们发布了VR生态的战略,主要目的是要通过我们平台,以内容制作商及硬件开发商能够打造一个很好的生态系统,能够让VR的应用快速的发展。我们开发了一个VRAPP,其中有个VR影院就是我们允许在VR中看传统的3D大片及2D视频,模拟的是虚拟影院IMAX视角,这个代替了之前说的,未来电影院可能消失掉了,在家里可以体验电影院级的视觉体验,我想更多用户选择在家里佩戴VR设备。

在VR直播录播中做了很多尝试,包括第一次移动互联网大会的录播,第一次网球的直播都是爱奇艺做的,这里积累了很多经验,第一是怎么能够拍摄清晰,比如一场演唱会我们不可能把摄像机架到演员两三米的位置看到天空,经常会放到十米以外的位置,所以这里面需要更高清的摄像机,而且摄像机要模拟传统摄像机进行多机位切换,提高它的趣味性和艺术观感,而且在里面还要做特效、后期制作、加上字幕、动画等等。如图是国外的顶级工作室做的工作,其中《穿越岁月》是用360度3DVR拍摄的,在国家森林公园游览的视觉。另外像美国最高影视奖艾美奖今年是《henry》获得了这个奖项,我们看到对VR技术是非常重视的,而且更好的VR技术在不断的成熟。

我们看未来VR发展的趋势首先需要更加轻便舒适的头盔,需要好的网络传送大的视频,需要全面的感知系统,不但是手势交互还包括力学反馈等等其他的,内容上需要更加丰富优质的VR内容,而且对视频有个不同的挑战就是需要有更广阔的视角,3D能够在虚拟世界中进行漫游。在标准中对于开发中的技术我们国家工信部也在制订VR的标准,目前就是让硬件、软件及视频内容有个标准,让内容应用软硬件集成的时候能够更加标准化专业化。

最后总结一下,我们看到近几年尤其是今年号称VR技术元年,为什么是元年呢,就是因为VR技术已经成熟,VR应用站到了起跑线上,对VR+,对各行各业,对影视剧的技术,包括各种解码器、显示器、网络都提出了全新的挑战,对于内容领域如何拍摄好一个优质的VR内容,能够让用户看到清晰流畅的VR视频就是我们要进一步努力的方向。谢谢!

本文是全系列中第9 / 12篇:

文章下二维码15

责任编辑:freeAll
分享到QQ 分享到微信

0 条评论

头像发表我的观点

取消

  • 昵称 *
  • 邮箱 *
  • 网址

登录

忘记密码 ?

切换登录

注册