苹果ARKit 4解析:凸显LiDAR战略布局,为AR眼镜做准备

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

虽然上周WWDC20主Keynote中,并没有提及ARKit 4,但AR肯定是不可或缺的一部分,在WWDC之后的议程中又面向开发者公布8段视频,进一步阐述与ARKit和AR相关的部分,除了ARKit 4更新点之外,还包括RealityKit、Reality Composer新功能,甚至还有ARKit 3.5中高级场景理解相关视频。

今天的文章中,就来将将其中3段关于新功能的视频进行详解,它们分别是:ARKit 4新功能、USD新功能、RealityKit新功能。

WWDC 20 ARKit 4

ARKit 4新功能

我们在WWDC 20当天就解析了ARKit 4的新功能,根据苹果在本次更新的视频中,ARKit 4主要带来以下几点创新:位置锚定、场景几何、面部追踪优化升级等。

位置锚定:结合GPS数据,重点是还结合了苹果地图视觉定位(但这对苹果地图的数据能力提供了较大挑战,发布会上讲的骑行导航貌似仅支持部分机型)。仅支持A12及更高的iOS 14机型。

其中一个技术重点是,当你使用相关功能时,系统会基于GPS数据,然后自动从苹果地图下载周围的相关数据。再通过机器学习技术对视觉信息进行匹配,意思就是同时结合GPS和视觉进行双重定位。

也就是说,ARKit 4为广大LBS AR应用提供一个更为开放的平台,这点无疑也给Niantic提出挑战。视频中讲到:此功能已全面开放,目前在美国纽约、洛杉矶、芝加哥、迈阿密的部分地区可供体验,夏天还会支持更多城市。

WWDC 20 ARKit 4 (3)

场景几何:基于LiDAR,其由此生成整个环境的拓扑图,然后进行语义分析,识别环境物体等,并用于提升遮挡和照明(光影)等效果。

WWDC 20 ARKit 4 (4)

深度API:基于LiDAR,可以实现高级场景理解能力,可对每个像素深度进行分析让虚拟对象与现实无缝融合,提升遮挡效果、提升测量准确性等。

对象放置:基于LiDAR数据,来改善对象放置速度,让虚拟对象位置更精准。

面部追踪:此前ARKit面部追踪仅限于使用原深感模组的设备,包括iPhone X等。而本次新的面部追踪API,允许iPhone SE 2、iPad mini 5、iPad Air 3等基于A12且没有原深感模组的机型使用面部追踪技术。

WWDC 20 ARKit 4 (12)

严格来讲,其中包括场景结合、对象放置应该是ARKit 3.5的新功能,而打在LiDAR的首款设备iPad Pro 2020发布时并未有iOS/iPadOS大版本更新,因此在大版本更新时也着重进行介绍。

USD新功能

USD的新功能基本围绕Reality Composer(AR专用开发工具)展开,这是在去年WWDC上推出的创建工具。

USD是皮克斯推出的大型资源管线设计的文件格式,而苹果的AR文件格式则依托于USD,并称之为USDZ。据悉,苹果对USD文件标准进行了结构更新,同时体现在文件导入,导出两方面。

WWDC 20 ARKit 4 (10)

文件导入方面,此前Reality Composer仅支持导入Reality格式(类似于PS中的PSD)和USDZ两种格式,而现在苹果加入了一个新的Reality Converter转换工具,这也意味着任何通用3D模型均可通过转换格式,从而直接在Reality Composer中使用。

文件导出方面,此前仅支持导出Reality格式,而最新版本将支持同时导出Reality格式和USDZ两种格式。

这意味着,苹果正在把Reality Composer变成更强大的AR创作工具,就像是视频编辑工具界的《Final Cut Pro X》那般定位。

微信截图_20200629184527

而在USDZ文件分发渠道方面,此前仅支持分享文件给朋友或内嵌到第三方应用,可通过AR快速查看进行浏览。而今年则因为支持导出USDZ格式,从而可以在Maya、Unity等支持USDZ的软件进行二次编辑。

与此同时,USD格式也加入了一些新的特性,例如:单USDZ支持多个场景、优化锚定(水平、垂直、图像、面部等)、加入空间音频、物理交互特性(例如可模拟钢珠在塑料中弹跳等场景)、3D书写等功能。

RealityKit新功能

RealityKit是苹果专为AR开发的集合动画、物理和音效的渲染引擎,开发者可以通过它轻松开发高质量AR应用。最新的RealityKit更新包括:视频资源简化、基于LiDAR提升场景理解能力、提高渲染调试能力、支持面部追踪、支持位置锚定。

WWDC 20 ARKit 4 (8)

关于视频资源方面,其可从视频中获取纹理,例如上图中那样可以这只“虚拟昆虫”的眼睛直接对应左侧视频中的部分区域。也就意味着,整个模型的纹理完全可以基于一个视频来展开,而苹果也对视频提供看了大量个性化的设定,甚至你可以直接使用在线视频。

场景理解方面,包括遮挡、光影效果,物理特效,碰撞特效等设定。

WWDC 20 ARKit 4 (6)

WWDC 20 ARKit 4 (5)

另外,在真实环境中的网格模型使用颜色进行区分深度的,如上图中,颜色越深代表距离越近,越浅则相反,到白色时距离恰好在5米。此前我们在iPad Pro 2020发布时已知,其配备的LiDAR具备5米的深度感知能力,因此真实环境中5米以内的环境均可实现高精度网格覆盖。
综合来看,由于iPad Pro 2020发布时同期发布的ARKit 3.5并没有伴随着iOS/iPadOS大版本更新,因此在iOS 14/iPad OS 14发布时苹果围绕其配备的LiDAR进行详解。

从中我们可以看出,苹果的ARKit以及相关功能越来越强大,而基于软件的AR体验基本上没有太多新的进展,而ARKit 3.5和ARKit 4中大部分都是围绕LiDAR模组展开。我们有理由猜测未来苹果设备将更多配备LiDAR模组来可开展开AR应用,例如新的iPhone甚至AR/VR眼镜,而这个进程也在加速推进。

与此同时,苹果系统和功能在升级的同时,对硬件的要求也越来越高。其中ARKit 4中不少新特性都要求是A12芯片及更高的设备,也意味着即便是iPhone X也无法体验,因此如果你要购买,我们建议选择A12芯片及更新的设备。

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册