手把手教你站在微软的肩上玩AR

如果你正琢磨着开发一款AR应用,不知道从何下手;

如果你想快速了解AR应用的窍门,正愁没有干货;

恭喜你,这是目前最详细的帖子。

如何站在微软的肩上玩AR?1

本文您将了解到:

1. 什么是Holographic(全息)平台?

2. 如何快速使用Holographic平台?

3. Holographic平台的工具有哪些?

4. Holographic平台有啥性能优势?

在如今的巨头中,微软正在凶猛发力。

在手机浪潮中错失良机的微软,正寄希望于下一代计算平台,重新杀回战场。

大厂的发力,资源的倾注,往往会带动创业者的涌动与跟随。谁能在新的AR平台抢得先机,谁也就有了更多的资本搅动力,更多的故事,以及更多脱颖而出的机会。

VR价值论也随时关注着最新的动态,以及最有价值的干货(价值菌:你懂的,我们只盯着干货)。

如下,我们为您整理出一份目前为止最干的干货,关于AR开发,关于Holographic平台的开发步骤,关于注意事项,关于技能技巧,希望对有着强烈冲动,想要在AR应用上大干一场的创业者,提供最详实的帮助。

本期(第19期)来自微软(中国)开发技术顾问梅颖广在FGF大会上的内容分享: 手把手教你如何利用好Holographic平台来进行AR应用的开发?

梅颖广

微软(中国)开发技术顾问

我的分享将主要围绕三块内容进行:

第一,我会对Holographic平台做一个大致的介绍;

第二,我会介绍一下如何利用Holographic平台做一些应用的开发。

这里又分为两个层次:

1. 如何从零开始一步一步去做Holographic的应用开发;

2. 如何利用开源工具Holotoolkit-unity。

第三个,我也会具体聊一聊Holographic的性能优化问题。

先从第一部分开始。

1什么是Holographic平台?

在此之前,大家应该已经听说过一个概念——Universal Windows Platform(价值菌注: 通用Windows平台,以下所提到的UWP就是这个的简称啦,注意要跟上哦)。

其实,这已经不是一个全新的概念了。

自去年Win10发布以来,我们在很多场合都介绍过UWP。

UWP的一个重要功能是——简化程序员的工作。

也就是说,程序员只要写一套相同的代码,其生成的应用,便可以部署在微软所有的硬件平台上。

这样做,有什么意义呢?

有两点:

1. 比如,你之前已经做了一个Win10的应用,如今,只要符合硬件的要求,就可以将应用直接部署到Holographic的平台上,而不用自己再去受累转变了;

2. 再比如,你做了一个发布在Holographic设备上的UWP应用,那么如今,这个应用也可以运行在其他UWP平台上了。

来看一下Win10的开发架构,同样,Holographic的应用也符合Win10的开发架构。

你可以看到最底下有一部分叫Universal App Platform API。

具体什么意思呢?

就是说, 程序员在UWP所有硬件平台进行最后编程的时候,都是用相同的API(价值菌注:Application Programming Interface,应用程序编程接口), 然后全部运行在所有相同的Windows Cure(Windows内核)上。

通过这个架构和内核的保证,就可以实现UWP。

2借助哪些工具开发Holographic平台?

紧接着,第二个问题,如何利用Holographic 平台做具体的开发呢?

具体的开发资料,包括开源代码等,其实都可以在微软官网上找到。

我这边给大家列了两个网址:

在这个网址所链接的开发者中心,可以找到有关于Holographic应用的专项。

打开这个网址,你可以看到两部分内容:

1.全套的Documentation(文档),通过这个Documentation就可以了解到Holographic平台的一些具体开发技能。

2.你可以看到这里有个Community(社区)。开发Holographic应用时遇到任何问题,都可以第一时间加入到这个社区里,进行提问。来自微软总部,以及世界各地的技术专家会根据所提的问题,做一些技术支持。

而在这个网页上,你是可以找到微软和Holographic相关的开发工具的。

此外,一些很有用的代码,也都已经开源在Github上。

Github/Microsoft,这个是微软所有开源项的总网址,在搜索里面输入Holo就可以找到相关项目,包括我之后会讲的Holotoolkit——所有的关于HoloLens的开发课件的源代码,都已经全部开源在Github里面了。

OK,介绍完这两个网站之后,我来介绍一下开发要求。

在前面已经和大家介绍过,整个Holographic是和Win10的UWP这套架构打通的,所以,在开发的过程中,需要注意三个方面:

第一、必须是支持Win10的设备,所有对它的开发,需要基本符合Win10的开发要求。

符合Win10的开发要求其实也比较简单,只要用Visual Studio 2015,至少要装Update1,建议升级到update3以上(包括update3),然后装Win10的SDK就可以了。

第二、除了符合Win10的开发要求,开发HoloLens因为设备的关系,推荐开发者使用HoloLens的模拟器。

第三、开发工具。

HoloLens的开发可以通过三种方式来实现,不过推荐大家直接使用Unity开发就可以了。

不过在版本上需要注意,Unity的最新的是5.4f3这个版本,如果用HoloLens去开发的话,你需要装一个HoloLens Technical Preview的版本(简称为HTP)才行。这样一个版本才可以完成HoloLens的开发。

下图是对模拟器的一个详细介绍。

如果你有Window phone的开发经验,你会发现,微软的硬件模拟器,基本都长得都差不多:

左边是它的运行结果,右面是一排工具按钮。

如果你了解HoloLens的话,应该知道HoloLens的操作方式,跟PC以及平板的的操作方式是不同的。

HoloLens有三个操作方式,分别是Gaze/Gesture/Voice,即凝视、手势和语音。

对于这三种方式,Emulator(模拟器)是全部支持的。

你可以通过按键去模拟人的凝视、手势等,而不需要在电脑面前去做这样的手势。

按下这里的按钮,你基本上就能启动我刚才说的 “通过按键来模拟人体交互” 。

在刚才模拟器的介绍图片中,大家可以看到右面有一排按钮,其中一个按钮是Open Device Portal。

HoloLens有一个Device Portal的门户,它的中文叫做设备门户。

在一个局域网里面,你只要输入HoloLens的IP地址,PC就能打开这个设备门户。

这个设备门户有以下几个功能:

比如,你可以对HoloLens的温度、功耗状态进行监测;

比如,你可以对它的混合现实数据,进行直接提取。

我们希望大家在开发过程中,一定要注意这个功耗的问题,稍后我也会讲。

有一点要注意: HoloLens毕竟是一副眼镜,不会带主动散热器件,基本都是被动散热,因此,对于应用的功耗来说,要求会高一些。

所以, 一定要使用设备门户的按键——Performance(性能),对所开发的应用在HoloLens上的功耗状态进行监控。

接下来,你的应用如何发布呢?

如果你有UWP应用的发布经验,你就会发现,其实Holographic平台设备的发布,跟UWP的平台发布是一样的。

发布的流程基本上还是按之前的六步来做, 唯一的区别就是——如果你是针对Holographic平台的话,一定要在Manifest文件里把你的硬件改为Holographic。

其次,在商店里面设置的左边,有一个小按钮叫Holographic,发布的时候记得要把这个按钮点上,因为它的默认状态是不点的。

总的来说,整个发布过程还是很简单的。

刚才为大家介绍了一些开发工具,接下来介绍一下3D技术。

3如何用Unity开发Holographic平台?

Unity是我们比较推荐的一个开发工具,这里,我分四个部分给大家介绍一下具体如何使用。

第一部分,怎样用Unity去建一个Holographic

第二部分,介绍一下Holotoolkit

先来说说如何用Unity来建Holographic。

怎样用Unity去建一个Holographic?

1. 创建一个新的工程

注意:这个新的工程在创建的时候用的工具是5.4f3版的HTP版本,而不是普通的版本。

创建新工程的时候,你需要选好3D选项,然后它会启动一个普通的3D工程。

在这里, 记得要做一些对于Main Camera的设置,最主要是把它的Clear Flags(清除标志)功能从天空盒状态切换成纯色,黑色作为它的底色。

为什么要这么设置呢?

大家知道HoloLens是一个MR产品,如果虚拟的数据你不进行显示的话,它就会默认显示眼睛后面的真实场景。所以我们要把它设置成黑色,这样就不会有投影显示了。

如果你设置天空盒的话,你看到的是一个类似叠加的场景,而不是一个MR的场景。

2. 调整近裁面

因为HoloLens在一些设备硬件方面受到限制,所以它的近裁面要比普通的设备稍远一些。

我们推荐大家把近裁面,从之前默认的0.3改成0.85。

根据HoloLens的性能表现,来调整项目的配置。比较推荐使用最快的配置,追求速度而不是追求效果。

3. 构建一些设置

构建的设置其实跟Win10的构建设置是一样的。你只需要在Unity里面把它切换到商店的应用。

从Win8开始,Unity把所有商店的应用全部归在Windows Store(Windows应用商店)这个选项里面,所以你需要在大项选择Windows Store,然后把里面的SDK改成Universal 10,这个就代表一个Win10的UWP应用了。

4. Build Type(构建类型)

里面包含两种,一种是XAML,一种是D3D。

一般来说,Holographic的应用不会去整合Win10的UI设计,所以在这里,还是建议大家使用D3D,有利于效率的提高。

5. 确认Project Settings(项目设置)

这里要确认Project Settings(项目设置)里的VR SDK是不是Windows holograhic。

虽然HoloLens是一个MR类,但Unity全部归为VR产品,所以你还是要到VR里去找。

6. 输出成为Visual Studio的window10 的解决方案

7. 部署到模拟器

使用这个Visual Studio把Win10的工程打开,就可以编译成一个Holographic的应用包,然后输出到模拟器上。

接下来,我介绍一下HoloToolKit-Unity。

何为HoloToolKit-Unity?

这是我们为了方便用Unity开发HoloLens而做的一个开源的项目。

整个项目分为两个版本,一个是后面带Unity的,一个是后面不带Unity的。

如果你是从Unity开发的话,你需要获得HoloToolKit-Unity这个项目,它基本上是有一整套组件和脚本的。

为什么要给大家去介绍这个东西呢?

首先,我理了一张表格,大家可以看出它提供了各种各样的功能,这些功能都是非常适合于Hololgraphic这个平台的开发的。

它会有很多的内容,根据类型分出不同的目录,从这个目录可以看到有脚本、有Prefabs(预制)、有材质等等,这样的类型其实你直接就可以拿到自己的Holographic的项目中去用。

其次,它的整个模块有六个。

第一个就是Input(输入)

Input模块是针对三种不同的交互手段,功能就是方便进行交互的开发。

第二个就是Sharing(分享)

Sharing(分享)这个模块也很重要,它分担了一些网络交互的功能。

第三个就是空间映射(Spatial Mapping)

空间映射是指在HoloLens启动的时候,用于周围环境采集的一个步骤。

第四个是空间声音(Spatial Sound)

这里面装了很多关于空间声音的数据,包括对音源的处理和对声音屏障的处理。

第五个是实用程序(Utilities)

除了前面四个跟Holographic相关的功能以外,Utilities的这个模块属于普通的实用功能。

举几个例子:

比如说FPS的显示。

比如,我们做一个Billboard(广告牌)。

比如,Main Camera。

你可以看到里面有一个叫Main Camera(主摄像头)的内容,我刚才的介绍中你会发现有一个步骤是对Main Camera进行设置的。在使用了utilities之后,就非常简单了,只需两步:

第一步把你的Unity提供的默认的Camera去掉,第二步直接将utilities提供的Main Camera(主摄像头)放到场景中来使用。

第六个是构建(Build)

开发完以后,我们一定要做一个工作就是用build的功能,部署成一个Win10的工程,然后在Visual Studio里面跟踪调试。

但这样其实会给开发过程带来麻烦。

针对这个情况,Build模块给开发者提供了一套比较好用的流程——也就是说,在Unity里面就能做这个事情,而不需要把它部署成一个Win10的Studio去完成。

那么到底应该怎么去用Holotoolkit呢?

其实很方便,因为它是一个开源项目,所以第一步你要把这个开源项目克隆下来,在Unity里面打开,然后选中里边的Asset这三个功能,把它输出为一个Package。

Holotoolkit可以帮助完成一些项目和一些环境的搭配。

比如说,直接用Main Camera Project(主摄像头工程)来替换Unity Camera(统一摄像头)。

它进来以后你会发现Unity多了一个叫Holotoolkit的菜单,在这个菜单里面你可以选Configure,把三个Apply都选上,分别对环境、对工程、对HoloLens capability进行一次性设置,就不用一一设置了。

所以只要做这样几步,整个工程从零开始就的搭建也就做完了。

最后可以用一下Build Windows,这就是我刚才说的Build模块,它体现在Unity里面有一个菜单——Build Windows。

你把它打开以后,会展示BW的一个界面,在这里面你可以直接生成一个XAP的包、以及一个solution(解决方案),然后可以直接部署在HoloLens上。

4性能优化建议

大家通过我刚才的介绍也知道了HoloLens对性能方面还是有一定要求的,所以我们给大家提供三个相当于纲领性的建议。

第一, Holographic的应用只要求刷新率达到60帧。这其实要比VR类的产品要求低,VR产品现在要求都是90帧。

第二,内存建议大家占用量不要超过900兆;

第三,功耗

当你应用搭建起来后,一定要到设备门户里面去看两个数据,以此保证系统的功耗和SOC的功耗,这两个数据一定要保证它的瞬时曲线,和一分钟的平均曲线,全都要在橘红色区域之下。

如果这两条曲线在橘红色区域的话,会直接进入一个过载保护状态,这个设备就会关机(状态),这点一定要注意。

下面针对于Unity这块,我稍微深入介绍一下。

Unity这个版本现在已经适用于很多的VR平台,所以大家在官网上会发现很多对于VR优化的建议,而这样一些建议同样是适合于Holographic平台的开发。

举两个例子

右边的属于遮挡剔除,除了能像左边那样进行视锥剔除外,它还可以保证把那些被遮挡的小物件不被渲染出来,这样的话,就能大大的降低DC(DRAW CALL),所以建议做的时候把这个功能打开。

再一个就是在Unity里面记得要把DC的Batching功能选上。

Unity基本上有两种,一种是静态的,一种是动态的。

静态的话基本上就相当于使用内存消耗来提高渲染效力;动态其实就是消耗CPU的资源来提高渲染程度。

我们建议大家可以把这两种都选上。

下面给大家介绍两个功能,这两个是比较新的Unity5.4所提供的功能。

第一个功能我们称为SPSR单通道立体渲染。

大家知道我们是一个双眼的渲染设备,基本上常规的话会先做左眼渲染再做右眼渲染,但从Unity5.4开始,Unity提供了一个从SPSR的功能,它的作用就是分配一个比较大的render target,然后就可以使用一套绘图指令来完成左眼和右眼同时渲染的功能,以此提高效率。

第二个功能叫Graphics Jobs(图形工作)。

我个人感觉这个功能对于多线程渲染效果比较好。

我们把这个功能打开以后,Unity就会自动地把那些在主线程上做的工作,分配一部分给到渲染线程,以此来大幅度减轻主线程占用CPU的时间。

目前为止我了解到,在Holographic的开发上,这两个功能是默认关闭的,特别是Graphics Jobs,它还是一个试验的阶段,那么为什么给大家提出来呢?

第一,我认为虽然Graphic Jobs目前是一个试验功能,还在完善中,但最终会成为正式功能,所以有必要早点提出来让大家知道。

第二,Holographic的设备,不仅仅是HoloLens, 还包括关于Holographic的VR一类产品,这些都需要Win10的PC来支持。Win10本身是支持DX12的,而DX12在多线程渲染方面,大大优于DX11, 所以我还是建议大家多关注一下Graphics Jobs这个功能。

这两个功能应该说还是比较简单,在Player Setting里面设置就可以。

最后我想从Unity的角度来谈谈其未来将对Holographic开发的支持。

从Unity5.5开始,会内嵌一个Holographic Emulation(模拟器),如果你没有用Holotoolkit/Unity,你也可以在Unity里面去使用holographic的模拟器。

那么你可以看到它的整个数据输出方式也是分两种, 一种是直接输出到editor里面,那么你就可以直接从Unity编辑器直接看到HoloLens运行出来的一个情况;

另一种,你也可以直接输出到HoloLens设备上,这样就不需要去把它发布成一个Visual Studio的工程,这样的话对开发的周期和效率都会有非常好的提升。

当然我也观察到一个细节(并非来自官方的消息),在介绍Holographic Emulation的时候,有博客的消息说,Unity5.5支持,但并没有说是5.5的HoloLens Technical Preview的这个版本去支持。

从这点可以看出,可能从5.5开始,HoloLens的开发会包含在其他VR类的开发之中。

所以,大家在使用Unity5.5的版本去开发时,就不用再下载一个特别的Holographic的Unity版本。

本文是全系列中第7 / 8篇:

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
责任编辑:zenghui
分享到QQ 分享到微信

0 条评论

头像发表我的观点

取消

  • 昵称 *
  • 邮箱 *
  • 网址

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册