支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

3月3日消息,微软在Ignite活动上发布Mesh服务平台,该平台基于微软Azure云服务,可用于开发多人跨平台沉浸式AR应用。简单来讲,就是一个支持云计算的AR开发平台,应用场景侧重于远程协作、会议、虚拟网课、社交等等。同时,也为未来的MMO AR游戏、全球范围的LBS AR/metaverse、AR云渲染带来可能。

Microsoft-Mesh-Hero-v2-1-1024x576

此外,微软还与Niantic合作展示了基于Azure和HoloLens 2的AR眼镜版《精灵宝可梦Go》多人demo体验,并宣布继续合作开发基于地理位置的全新社交内容。而微软的VR社交应用《AltspaceVR》也将推出企业版,提供安全沉浸的VR会议功能。

微软表示:开发Mesh平台的原因是看好AR成为第四代计算平台的潜力,它将在C端和B端市场普及,为用户带来不受屏幕限制、交互自然、与真实环境和人互动的体验。目前,已经有上亿人使用过Niantic的移动端AR游戏,并且随着疫情来袭,演唱会、健身培训等越来越多的线下活动开始转战线上。

据青亭网了解,全球财富500强企业中超过半数曾采用HoloLens等AR解决方案来驱动投资回报,但市面上真正应用的AR内容却并不多。为了促进AR内容发展,解决开发门槛和痛点,微软推出了全新的Mesh平台。

具体来讲,微软计划通过Mesh实现以下效果:

  • 1)降低逼真AR形象开发所需的时间和资源;
  • 2)让多人AR内容更稳定,不受延迟和跨平台影响;
  • 3)支持更多或统一导入至AR平台的3D文件格式;
  • 4)支持流畅同步的远程多人AR体验。

NRviLftbII

从微软公布的Mesh构成图来看,目前支持该平台的应用包括HoloLens Mesh应用、AltspaceVR(新增企业级功能)、微软Teams、Dynamics 365套件、合作伙伴应用。而兼容的设备则包括:HoloLens、惠普Reverb G2、Oculus Quest 2、iOS或安卓手机/平板电脑、PC/Mac等等。此外,Mesh平台由SDK和UX架构组成,功能包括多人沉浸式体现、空间地图、全息渲染、多人同步。

Mesh功能大解析

接下来,我们将逐步解析Mesh平台的几大特色:1)支持设定和导入3D虚拟角色;2)AR空间地图;3)AR云渲染;4)多人同步。

首先,利用Mesh开发应用时你可以导入已有的3D模型,并进行绑定和自定义,同时也可以上传已骨骼绑定的虚拟形象,通过基于AI算法的动作模型,可准确捕捉用户动作,并在虚拟形象上同步。定位方面,Mesh平台同时支持基于inside-out和outside-in两种定位方案的AR角色,其中inside-out指的是HoloLens等配备光学摄像头定位方案,而outside-in则包括AR容积捕捉或是Azure Kinect 3D拍摄等场景。

除了支持AR虚拟形象开发外,Mesh还具备Spatial Maps功能,可用于开发持续性的LBS AR应用,比如:AR导航、AR技术服务记录备注、AR留言等等。微软表示:在Mesh平台出现之前,每一部设备通过摄像头只能捕捉到本地的数据,而现在Mesh平台将综合每台设备的本地缓存,并生成全球范围的LBS AR架构。这种架构可以让你将内容锚定在特定的空间位置,并与其他人合作或共享。

在官方博客中,微软着重介绍了开发AR空间地图的意义,并认为基于视觉定位的AR地图有望比GPS更加精准,即使在室内等GPS信号弱的地方也能使用。同时,AR地图支持空间锚点,为AR应用带来更准确的固定效果。

Microsoft-Mesh-1-v3-2

考虑到Mesh基于Azure云服务,而云端计算与AR最直接的结合就是通过云端服务器来分担AR设备的计算压力,从而实现降低AR硬件成本、缩减设备体积、提升AR计算和显示效果等目标。据微软称,Mesh的AR云渲染功能将原生支持大多数3D文件格式,意味着在AR协作应用中导入已有的3D模型也支持Mesh云端渲染。

除了上述功能外,Mesh还支持多用户同步,也就是说可以在多人AR应用中同步用户的姿态、动作、表情、变化,据称延迟可控制在100毫秒,不受地理位置约束。通过空间音频功能,可进一步增强沉浸感和临场感。

总之,Mesh开发平台的核心是Azure云服务,该服务的特点是具备安全性和稳定性,为稳定的多人AR应用提供基础。同时,开发者也无需考虑账单、音频/视频传输、管理等核心功能。与此同时,Mesh平台具备AI功能,有助于解决大型多人AR游戏的一些复杂技术难题。而具体应用场景方面,你可以利用Mesh开发基于3D虚拟形象的多人线上应用,或是开发持续性的LBS AR内容。

为了进一步降低开发门槛,Mesh将支持Unity引擎和C++、C#语言,用它开发的AR应用可以在AR/VR/PC/手机等多平台分发。未来,该平台还将支持Unreal、Babylon、React Native等引擎和框架,同时Mesh SDK预置的UX架构让AR内容开发更加简单快捷。

apps.50572.14631394689254213.6e2df7f4-e5be-4c3c-8737-1b4978c36af8

《Microsoft Mesh App》

目前,支持Mesh功能的应用包括:HoloLens 2的《Microsoft Mesh App》(预览版)、《AltspaceVR》(新增企业级功能)等等,感兴趣的开发者或爱好者可以下载体验。其中,《Mesh App》支持一些基础的多人功能,包括:远程协作、自定义动态虚拟形象、从OneDrive(微软3D控件平台Remix3D已于去年关闭)导入3D内容、保存同步和异步会话/合作内容、AR标记。而全新的《AltspaceVR》企业版将支持VR会议、安全登陆、会议管理、隐私规定等功能。

展示AR眼镜版《精灵宝可梦Go》

在今天举行的Ignite活动上,为了展示Mesh平台的多人同步和协作效果,微软与Niantic合作,在HoloLens 2上展示了基于《精灵宝可梦Go》的多人AR demo。据悉,《精灵宝可梦Go》原本是移动端LBS AR游戏,而在Azure云服务技术支持下,微软成功展示了两个人同步用AR眼镜来玩游戏效果。

JH-Pikachu-1140x638

微软技术院士Alex Kipman表示:用眼镜体验AR内容是行业的初心,因为用AR眼镜看到的画面足够沉浸,可以让使用者在虚拟环境中与其他人实时远程共享内容,不受地理位置约束,也能有共处一室的体验。

PokémonGoMR_2-1140x641

除了沉浸式体验感外,HoloLens 2还支持手势操作,因此徒手就能与游戏互动,画面和操作范围、方式不受屏幕的限制,比手机用起来更自然、方便。尽管在AR眼镜中玩游戏看起来很有趣,目前微软和Niantic都没有将其商业化的计划,考虑到HoloLens 2高昂的价格,显然它目前难以被C端用户接受,因此现在推出游戏应用确实有点早。

PokémonGoMR_1-810x456

不过,Niantic CEO John Hanke表示:目前Niantic正在与微软合作,开发融合数字和物理世界的创新体验,带来全新的社交和互动方式。值得注意的是,Niantic曾打造Real World LBS AR平台,并正在《Ingress》和《精灵宝可梦Go》等游戏上测试收集真实环境数据,为未来的3D AR世界地图做准备。因此,Niantic与微软的合作将会以何种形式呈现,值得关注。

ezgif-2-458b2335977d

除了Niantic外,微软还公布了其他的一些合作项目,比如:海洋探测团队OceanX将推出3D AR海底实验室,加拿大创意组织Lune Rouge将打造AR/VR活动平台Hanai World,开发AR/VR演唱会、戏剧表演、DJ演奏、社交等应用,可以让你体验策划的活动内容或是用户创建的空间和内容。据悉,Lune Rouge创始人名为Guy Laliberté,同时也是受疫情影响而申请破产的太阳马戏团创始人,他希望通过逼真的线上活动来弥补线下活动的局限。

为何现在才推出AR云平台

实际上,在PC时代微软通过Windows系统助力电脑软件生态,让软件开发和分发越来越轻松,让用户得到越来越多丰富的内容。而现在,微软也将通过Mesh平台,进一步简化AR内容开发门槛,吸引更多开发者来丰富AR生态。那么,为什么微软选择在现在这个时间点推出AR云平台?

Microsoft-Mesh-2

首先,Kipman表示:为了全新计算平台发展,你需要在整个生态上进行深度投资,这就是微软一直在做的事。通过Mesh平台提供的完整开发方案,希望让更多开发者受益,开发出有价值的AR/VR内容。

微软一直定位云战略,发展Azure、Office 365、Dynamics 365三驾智能云马车,因此不止是AR,Office等大量业务也围绕云展开。此外,微软作为AR硬件大厂,在现在推出AR云平台应该是认为时机已经成熟。相比之下,这也意味着现有的AR云服务功能不够完善,还存在一些问题。尤其是在规模上,还没有人做到像Mesh一样支持HoloLens 、AR/VR、PC、手机等大部分主流平台。

据了解,在微软发布Mesh之前,市面上已经存在Scape、Arvizio、GridRaster、8th Wall Web AR、Magic Leap Metaverse、Niantic Real World等AR云端开发平台,它们并不像Mesh那样通用于各种多人、跨平台、云渲染AR场景,而是各有不同的侧重点。比如,Scape主要应用场景是基于AR云地图的视觉导航(VPS),而GridRaster和Arvizio则侧重于移动端AR指导、可视化、模拟和协同解决方案,8th Wall侧重于WebAR内容开发。

另外,Magic Leap Metaverse更像是一个虚实结合的概念应用,在公布多年后才于今年初与Google Cloud合作推进,与此前定位​的大规模LBS AR地图场景相比,目前Metaverse更侧重于B端应用。而Niantic Real World目前来看主打LBS AR游戏内容开发,未来的长期布局是3D世界地图。除此之外,还有人爆料特斯拉正在开发基于户外场景的AR云平台,助力汽车和导航技术。

与上述AR云平台相比,微软Mesh几乎融合所有的功能,让开发者在统一的平台上就能开发支持多个设备/客户端的云AR服务和应用,适用于多样化的应用场景。同时,Mesh的AR云渲染功能也为轻量化、低成本的AR眼镜带来可能。

不过,对于消费者来讲AR作为计算平台可能还是比较遥远的概念。就像是电脑最初以办公、科研为主要应用场景,AR的应用也将以B端场景为主,而打开C端市场应该还需要一段时间。参考:微软VRScout微软

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:小新
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册

freemoviexxx.cc freemoviexxx freemoviexxx