苹果LiDAR应用解析:开启沉浸式AR和3D场景扫描新玩法

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

伴随着昨天iPhone 12 Pro的发布,激光雷达这个词再一次频发的出现在社交平台和公众号文章中,而上次则是半年前的iPad Pro 2020发布时。

即便是苹果硬件之最,大众目前对激光雷达并没有太深印象,它也不是消费者选择iPhone的关键,大家往往更看重拍照(这次Max底更大),屏幕大小等等因素。

pro_max_camera__bzij6665trhy_large

那么,激光雷达到底能带来什么?

在iPad Pro 2020发布后,我们报道,激光雷达将是苹果开启房间级AR体验新篇章。

然而AR眼镜并非短时间走进大众消费市场,苹果选择现在数量庞大的iOS设备中加入,进行探索和内容的积累,这里给开发者释放的信号就是:未来的AR眼镜就是围绕LiDAR展开。​

简单来说,激光雷达功能就是:测距。而测距功能可集成到AR应用中,还可以用于优化拍照、甚至3D扫描等。

  • AR应用:凭借激光雷达快速测距特性,可让设备快速进入AR应用环境,减少等待时间;同时由于激光雷达更精准的测距表现,可以让AR应用虚实结合更逼真,提供更良好的遮挡表现等等;
  • 优化拍照:基于高精度的测距,可以提供更接近单反相机的、大光圈虚化效果,尤其是人像模式;
  • 3D扫描:同样基于高精度测距,可以呈现细节更良好的3D扫描效果。

AR应用

随着iPhone 12 Pro发布,Snap今天正式宣布旗下内容创作平台Snap Lenses 3.2版本正式兼容LiDAR模组,创作者可充分利用LiDAR创作出更身临其境的AR体验。

Snap表示:基于LiDAR、ARKit 3.5的能力,Snapchat可理解网格化的场景,理解环境中的对象几何性状,甚至理解场景的含义。基于这些理解能力,提升AR体验效果,例如光线投射功能,遮挡等。

ezgif-1-b2940bcb284d

Snap基于Snap Lenses 3.2的Demo

Snap平台高级副总裁Eitan Pilipski谈到:“在iPhone 12 Pro中的LiDAR,可将AR创造力达到了新的水平。”

另外一个重点是,由于LiDAR这种纳秒级的场景定位能力结合A系列处理强大的性能,AR中可以同时放置多达1000个虚拟物体,这为未来大型LBS体验提供了必要基础。

ezgif-3-77ce4e3e4869

多人LBS AR活动City Painter

与此同时,Snap前不久还宣布在伦敦进行了一场大型多人LBS AR活动:City Painter,进入特定地点后即可在AR场景街道上进行涂鸦、装饰等,支持多人交互,玩法有趣。

据了解,这场LBS AR活动是Snap基于全景的街景图像来建模,它基于AI算法将大量2D图像或全景图像重建成3D点云,以此来实现对立体空间的识别和建模。

ipad pro 2020 AR

CAD建模应用《Shapr3D》

同时,iPad Pro 2020发布时,宜家《IKEA Place》展示了支持同时放置多个AR虚拟物体、《Hot Lava》展示了优秀的AR遮挡带来的沉浸式效果、《Shapr3D》展示了3D扫描对于CAD建模和设计上的巨大帮助等。

在LiDAR帮助下,只需通过简单扫描即可快速创建和进入LBS AR大型场景之中,无疑极大的提升了AR体验。虽然iPad Pro 2020中的LiDAR有效探测距离为5米,但仍有助于大幅提升大空间AR、多人AR体验效果。​

LiDAR就是苹果来实现这些,炫酷的、极具未来感的AR功能,对于今后AR普及以及多人AR体验有着至关重要的作用。

优化拍照

优化拍照实际上是广大消费者最为看重的一个功能,iPhone 12 Pro中LiDAR发挥的作用是:提升人像和黑暗环境拍照。

微信截图_20201015150857

这点比较容易理解,由于可以理解环境深度,就可提升低光环境的自动对焦速度(宣称最大提升6倍),开始支持夜间人像模式,可以更清晰的获得人物轮廓等。

3D扫描

今天我们要讲的就是3D扫描,实际上带有“刘海儿”的iPhone设备早已加入前置3D传感模组“原深感相机”,当时也有一些应用通过其前置模组实现3D扫描拍摄功能,但是效果并不算理想。

而在安卓方面,更是早于iPhone多年就开始配备ToF传感器,只不过给了安卓“硬件”,但没有生态,比如早期的OPPO R17 Pro就联合高德推出AR步行导航、AR体验感游戏、荣耀V20支持3D建模、3D美体拍照、3D体感游戏等、三星S20+也支持3D建模、AR测距等,实际使用几乎没有什么可玩性。

虽然苹果AR应用普及率和活跃率依然很高,但不得不承认,当前的AR生态依然很小。

REscan

《REscan》扫描效果图

此前也有很多类似的看房应用采用全景方案,这里说的扫描结果“没有准确的深度”,不能准确记录下场景内每个地点的深度信息。当然,这并不影响它们可以带来很好的画面呈现效果,比如应用在全景看房、博物馆、历史纪念馆等场景扫描方面就有很高的价值。例如《REscan》、《Matterport Capture》、《3D Scanner》等应用。

《Polycam》就是专为iPad Pro 2020推出的3D扫描应用,其基于激光雷达,可以实现高分辨率的彩色3D扫描。

实际上,苹果也为iPad Pro 2020提供了激光雷达扫描的基础框架,而《Polycam》特点在于:扫描速度更快。

ezgif-7-d63cdebf5eef

ezgif-7-efd10c336200

《Polycam》扫描效果图

Polycam创始人Chris Heinrich发推表示:《Polycam》将网格数据转换为纹理的速度比其它同类应用快5倍。

微信截图_20201013174623

《Polycam》扫描效果图(Sketchfab

微信截图_20201013182418

《Polycam》扫描效果图(Sketchfab

Heinrich谈到:《Polycam》比较适合扫描房间、大型物体,未来还会支持更大场景扫描、以及更小的例如人脸面部细节的扫描。目前仍在开发一些新的功能,未来几周将会上线。

感兴趣的朋友可以点击进入Sketchfab页面查看,从中可以发现细节部分的处理并不完善,例如规则的地砖现实并不错位,花丛部分缺失,汽车纹理错位等。

当然,LiDAR可以更好的理解和呈现出这些3D场景扫描,虽然目前还不完美,但无疑展示了未来的技术融合方向。

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册