)--链接科技前沿，服务商业创新
如果你保持关注虚拟现实行业，那么大名鼎鼎的HTC Vive你肯定早就纳入了囊中（为了提前比别人进入下一个新世界，两万块还是很值得的，毕竟这种风口我们这个尴尬的年纪已经错过很多次了，对不？），而除了游戏领域的内容体验外，我们正在尝试通过"虚拟现实头显+手柄+Lighthouse基站定位装置+绿幕抠像技术"来创造出更有趣的行业应用和展示视频，接下来星佳就结合国外大神和圈内从业者们一起研究出的宝贵经验和读者们分享下如何低成本的打造虚拟演播室，同时利用直播软件可以通过直播平台方便的做MR视频的直播哦，当然游戏宣传片的制作也是基于此基础上进行更细节的工作，希望此章的内容可以对你有用。
什么是MR（Mixed Reality）虚拟现实混合视频？
Mixed Reality视频就是VR影像+人的影像合成的视频。相比普通录制电脑屏幕游戏画面和游戏者录像实拍分屏显示的假VR视频，Mixed Reality视频更适合用来做游戏直播和制作虚拟现实应用宣传视频，比如大名鼎鼎的Google tilt bursh绘画程序，而由此带来了很多新的可能，比如教育，多人互动，科普等虚拟现实行业应用的展示，甚至虚拟现实游戏的评测和直播，而对于线下体验店来说也是很好的引流方式。
上面这个视频截图来源HTC Vive官方宣传片的Mixed Reality视频花絮，游戏画面来源于官方赠送的一款叫做"The Lab"的射箭体验游戏，而游戏者的画面是由一台摄像机配合第三只实体Vive手柄实时捕捉的。
同样是来源于免费的"the lab"游戏的插图
因为人的影像摆放的位置，透视关系和玩家在虚拟场景中的位置，映射坐标都一样，摄像机拍摄画面中手拿手柄的位置和游戏画面中虚拟手柄的位置是完全一样的，看起来就像体验者身临其境走进了一个虚拟世界，并用双手借助实体手柄直接和游戏的虚拟环境和物体互动。
而在此之前，我们看到的大多数的虚拟现实演示大多数都是下面这样，对于很多从来没有体验过虚拟现实的人来说看起来确实有点不知所云，虽然玩耍的人确实因为身临其境感觉很爽。
综艺节目中日本女优体验VR时被吓傻
自己玩的超级high，别人看不明白
不得不说像类似这种经常在直播平台所谓的VR直播里出现的抠像画面真的让人无所适从，随便搞个绿屏就来普及虚拟现实真的可以给目前处于观望状态中的消费者们了解真实的“虚拟现实”吗？没有体验过的人看别人玩的这么high只会更雾里看花……
体验者根本没有同步出现在正确比例的游戏画面里，而本篇文章星佳就教大家如何从零开始低成本的实现MR视频，打造CG级别的视觉效果（对了，这个需要投入一点大价钱了.....）。
MR（Mixed Reality）视频的制作原理
相比普通录制，我们需要购买第三只Vive控制器通过连接usb延长线再配合游戏目录下特殊设定的配置文件，使得某些基于Unity引擎开发的虚拟现实应用就会自动开启混合现实拍摄模式（四分屏画面），第三只Vive控制器和游戏里的虚拟摄像机映射后就可以定位摄影机的位置产生虚拟空间的画面，利用现实中摄影机拍摄游玩的画面抠像后，在开源的直播软件 OBS(Open Broadcaster Software) 下进行即时合成，就能够成功制作混合现实影片了。
所以我们需要：
1. 切换成第三人称视角
2. 将体验者的影像也录制下来
3. 将游戏画面和摄像机影像合成
① 切换成第三人称视角
普通的Vive程序是在玩家头盔的位置摆放两个虚拟camera对应左右眼,分别生成左右眼的画面传给HMD,然后将其中一只眼的画面复制到PC屏幕上。 为了让屏幕上产生第三人称视角的游戏画面,就需要在和玩家一定距离外摆放一个额外的虚拟camera,并且镜头要对准玩家所在位置。之后PC上显示的不再是左右眼画面的复制,而是由这个额外的camera单独绘制的(会增加一定的渲染负担)。
② 将体验者的影像录制下来
因为我们只需要玩家本人的影像,并不需要看到房间里的桌子、墙壁等背景。所以要用到抠像技术。 在录制的时候,让体验者在一个周围是绿布(或者其他颜色)的房间里,然后用一个摄像机 (webcamera或者专业的摄像机)录制他玩游戏时的影像。最后在捕捉到的视频中将绿色去掉,就只剩下人的影像了。
③ 将游戏画面和摄像机影像合成
在1和2中分别提到了一个虚拟摄像机和一个真实的摄像机，为了让他们拍到的影像能实时的合成起来,需要保证他们的视角是一样的。也就是说,假如虚拟摄像机在游戏里的位置是主角左前方2米、朝向和主角的朝向成120度角,那么要保正现实中摄像机在体验者左前方2米,朝向和体验者朝向成120度角。这就需要借助第三个手柄来定位和定向。将额外的手柄绑在摄像机上,或者将手柄和摄像机绑在同一个位置上,原则是确保它们相对位置、相对朝向是不变的。这样当现实中摄像机移动时,游戏通过感知手柄的位置变化,也相应地改变虚拟摄像机的位置。
了解了关于MR的基础理论知识和应用场景，接下来要为大家解答原理和方案到底是如何实现的？
需要准备什么？
硬件部分：
摄影棚：墙和地面铺上绿布（至少三面哦），大概5m*5m即可，同时为了实时抠像，需要不错的布光（尤其是顶部的灯光，约均匀越好），如果没有专业经验还想拍出来牛逼的视觉效果那就请专业的影视行业老司机帮忙搭建吧。
专业工作室和影视公司巨资打造的绿棚
家里或者小型工作室可搭建的低成本绿棚
一些搭建绿棚的技巧：
架设绿幕摄影棚的目的是让真实拍摄后的影像能够去除背景，最少需要两侧墙壁加上地板三面绿布，架设好两侧背景架后，挂上绿背景布，让其中一个背景布稍微重叠到另一侧，最后再铺上地板的布。 为了有更好的去背效果，最后需要拉紧背景布黏在两侧的架子上，尽可能的保持背景布是平的，尽可能的减少皱摺。 打上灯光后尽量让拍摄范围的光线均匀，这样可以达到较好的去背效果，记住顶部的光尤为重要哦。
摄像机的两种方案：
为了节省经费用网络摄像头就行，比如网吧的聊天摄像头，五百块左右的罗技就挺好，例如Logitech Webcam C930e(可以直接通过USB延长线即可或许实时抠像的实拍视频)。
如果你是专业人士想拍出来更好的视觉效果，那么推荐您购买专业的摄像机和视频采集卡，如果有很好的抠像效果那么最后的MR合成效果会更赞，当然成本相对贵一点。
例如大疆如影稳定器或者斯坦尼康，Sony HDR CX405或者全画幅相机Sony A7S II即可。
高性能主机+第三只Vive手柄：
因为需要同时运行游戏和录像，所以要求配置相对较高的电脑，显卡最低GTX970，CPU推荐I7-4790以上。第三只手柄可以直接从HTC官方商店单独购买哦。
4K屏幕：
为了何成1080P的视频，所以需要一块4K屏幕的显示器。
视频采集卡：
采集卡的作用是实时的截取现实摄像机的画面进OBS，当然你如果用的是网络摄像头的廉价方案就不需要了，想拍出来CG级别的效果还是需要专业摄像机配合采集卡才能实时抓取视频画面，此处优先推荐内置在机箱里插主板的采集卡（需要拆装主机，有点麻烦），如果电脑不允许内置可以购买外置的USB采集卡，当然延迟就会稍微有点高了，但是也没有太大的影响。
软件部分：
目前只有Unity3D制作的虚拟现实程序支持MR模式，我们期待Value能够早日携手UE4放出来Unreal Engine for SteamVR的程序，当然SteamVR的版本得至少是1.0.8或以上哦。
OBS或者其他视频合成软件，用于实时获取应用窗口和简单抠图。
详细操作步骤：
1.制作四分屏的配置文件
打开记事本复制以下代码并存挡，名称取为「externalcamera」，并将后缀名改为.cfg，之后将这个文件放到你想要开启 MR 游戏（部分游戏支援如：Space Pirate Trainer, Job Simulator. Zenblade, Tiltbrush...等等，详细的清单会附在文章最后）的游戏目录。
x=0
y=0
z=0
rx=0
ry=0
rz=0
fov=60
near=0.1
far=100
//m=-0.999059,0.015577,-0.040472,-0.0127,-0.016016,-0.999816,0.010544,0.1799,-0.040301,0.011183,0.999125,-0.0846
sceneResolutionScale=0.5
2.固定第三只Vive手柄在摄像机上
第三控制器的作用在原理部分已经讲过，它是负责定位虚拟摄影机的位置，所以必须「完全不动」的固定在摄影机上，一般有热靴的摄影机，可以在热靴上装夹子，或者是直接把控制器绑在闪光灯上。此处由于每款相机的状况不同，请各位根据实际情况绑好手柄即可。
最理想的方式是水平的固定在摄像机上，上图为星佳的罗技C930网络摄像头的廉价方案，这种办法会为之后的同步设定时省下很多时间，如果是专业的工作室建议学习如下的绑定方式哦：
3.按顺序开启控制器
由于我们需要让SteamVR把绑在摄像机上的第三只手柄作为虚拟相机的定位，所以正确的开启顺序很重要：
①确定所以控制器处于关闭状态，之后开启SteamVR
②开启游戏者的两只Vive控制器（摄像机同步以外的两个控制器，按下系统牛钮即可开启）
③确定两只控制器被SteamVR监测后，将第三只控制器用USB延长线连接的方式接上电脑主机，确定第三只控制器被侦测到
最终的实现效果如下：
4.开启游戏启动MR四分屏模式
确定externalcamera.cfg 放入游戏目录后，将游戏开启，首先确认三个控制器都有被 Lighthouse 侦测到，之后按住Shift 开启游戏选择适合你屏幕的最高画質，之后稍等片刻电脑屏幕的游戏画面就会分成四格，代表成功开启了 MR 模式。
通过四分屏最终实现输出的影像由三个影像合成：摄像机捕捉人的影像，覆盖在背景上（合成视频的背景，虚拟摄像机控制的画面），合成视频的前景覆盖在背景上即可。
e.g 摄像机捕捉人的影像,覆盖在背景上(山和太阳),前景(花)覆盖人和背景上。
星佳测试成功的切西瓜游戏的MR视频截图：
出现四分屏画面后，基本就成功了一大半，目前此方式还只支持unity开发的程序，所以不能保证所有游戏应用都可以通过此办法来实现四分屏，文章最后会列出目前大部分支持MR模式的虚拟现实游戏。
5.设置OBS，开始直播
成功下载开源的OBS后即可开启直播，首先确保游戏的四分屏画面成功出现，真实摄像机的画面可以通过采集卡实时捕捉到电脑里。
①背景：
视频来源选择裁剪游戏窗口，裁剪区域为虚拟摄像机第三只手柄的控制画面。
②摄像机捕捉：
a.视频来源选择摄像机画面输入或者视频采集卡。
b.设置绿色为色键（和绿幕颜色一样），扣出人像。
③合成视频的前景：
a.视频来源选择裁剪游戏窗口，区域和四分屏的左上角画面重合。
b.设置黑色为色键，扣除前景画面（注意看透视关系，游戏画面前景成功的遮罩住了人）。
获取正确的前景画面后的遮罩关系图
简单的说，我们首先通过获取真实摄像机拍摄的体验者，之后在OBS里实时抠像出只有体验者的透明画面，借着获取两次窗口分别把四分屏的前景和背景成功获取，最后调整三个画面的透视关系和角度即可成功实现MR。
6.如何快速实现相机与控制器的同步？
①整个过程最难的地方在于如何正确填写.cfg配置文件里的参数，镜头与预设位置之间的距离，分为平行(X)丶垂直(Y)与前后(Z)，以及旋转的幅度，这里附上来源于台湾大神CY的经验：
②除了以上数值外，「垂直FOV」的这个数值并没有想像中的容易琢磨出来，一般相机规格写的 FOV 并非「垂直FOV」，最好的解释是留给专业影视老司机来解决，可以肯定的是每款相机和不同镜头的FOV数据都是不同的。
提供一些镜头的垂直 FOV 数据：
Sony HDR CX405: 42.7
LogitechC920 或 C910: 43.3
全片幅 (Full Frame) 搭上 35mm 镜头：27
PS3 Eye (75FOV模式) : 45
(以上来源自：SteamVR Mixed Reality 讨论串）
③把数值填入 用记事本打开「externalcamera.cfg」，X，Y，Z 单位是米，rx，ry，rz (旋转)单位是度。
④开启游戏，看着 OBS 测试，不断开启关闭调整数值，微调直到完美为止。 开始微调如果运气好会在差不多准确的对准状态，慢慢花时间调整到好为止，这里并没什么速成办法，星佳也是慢慢经过长时间的调整有了经验
⑤通过以上的步骤之后，就能够通过 OBS 录制或是直播虚拟现实混合视频的游戏视频了。
