苹果ARKit 4解析：凸显LiDAR战略布局，为AR眼镜做准备

就像是为AR眼镜准备的技术...

hi188｜编辑

虽然上周WWDC20主Keynote中，并没有提及ARKit 4，但AR肯定是不可或缺的一部分，在WWDC之后的议程中又面向开发者公布8段视频，进一步阐述与ARKit和AR相关的部分，除了ARKit 4更新点之外，还包括RealityKit、Reality Composer新功能，甚至还有ARKit 3.5中高级场景理解相关视频。

今天的文章中，就来将将其中3段关于新功能的视频进行详解，它们分别是：ARKit 4新功能、USD新功能、RealityKit新功能。

ARKit 4新功能

我们在WWDC 20当天就解析了ARKit 4的新功能，根据苹果在本次更新的视频中，ARKit 4主要带来以下几点创新：位置锚定、场景几何、面部追踪优化升级等。

位置锚定：结合GPS数据，重点是还结合了苹果地图视觉定位（但这对苹果地图的数据能力提供了较大挑战，发布会上讲的骑行导航貌似仅支持部分机型）。仅支持A12及更高的iOS 14机型。

其中一个技术重点是，当你使用相关功能时，系统会基于GPS数据，然后自动从苹果地图下载周围的相关数据。再通过机器学习技术对视觉信息进行匹配，意思就是同时结合GPS和视觉进行双重定位。

也就是说，ARKit 4为广大LBS AR应用提供一个更为开放的平台，这点无疑也给Niantic提出挑战。视频中讲到：此功能已全面开放，目前在美国纽约、洛杉矶、芝加哥、迈阿密的部分地区可供体验，夏天还会支持更多城市。



场景几何：基于LiDAR，其由此生成整个环境的拓扑图，然后进行语义分析，识别环境物体等，并用于提升遮挡和照明（光影）等效果。



深度API：基于LiDAR，可以实现高级场景理解能力，可对每个像素深度进行分析让虚拟对象与现实无缝融合，提升遮挡效果、提升测量准确性等。

对象放置：基于LiDAR数据，来改善对象放置速度，让虚拟对象位置更精准。

面部追踪：此前ARKit面部追踪仅限于使用原深感模组的设备，包括iPhone X等。而本次新的面部追踪API，允许iPhone SE 2、iPad mini 5、iPad Air 3等基于A12且没有原深感模组的机型使用面部追踪技术。



严格来讲，其中包括场景结合、对象放置应该是ARKit 3.5的新功能，而打在LiDAR的首款设备iPad Pro 2020发布时并未有iOS/iPadOS大版本更新，因此在大版本更新时也着重进行介绍。

USD新功能

USD的新功能基本围绕Reality Composer（AR专用开发工具）展开，这是在去年WWDC上推出的创建工具。

USD是皮克斯推出的大型资源管线设计的文件格式，而苹果的AR文件格式则依托于USD，并称之为USDZ。据悉，苹果对USD文件标准进行了结构更新，同时体现在文件导入，导出两方面。



文件导入方面，此前Reality Composer仅支持导入Reality格式（类似于PS中的PSD）和USDZ两种格式，而现在苹果加入了一个新的Reality Converter转换工具，这也意味着任何通用3D模型均可通过转换格式，从而直接在Reality Composer中使用。

文件导出方面，此前仅支持导出Reality格式，而最新版本将支持同时导出Reality格式和USDZ两种格式。

这意味着，苹果正在把Reality Composer变成更强大的AR创作工具，就像是视频编辑工具界的《Final Cut Pro X》那般定位。



而在USDZ文件分发渠道方面，此前仅支持分享文件给朋友或内嵌到第三方应用，可通过AR快速查看进行浏览。而今年则因为支持导出USDZ格式，从而可以在Maya、Unity等支持USDZ的软件进行二次编辑。

与此同时，USD格式也加入了一些新的特性，例如：单USDZ支持多个场景、优化锚定（水平、垂直、图像、面部等）、加入空间音频、物理交互特性（例如可模拟钢珠在塑料中弹跳等场景）、3D书写等功能。

生态RealityKit新功能

RealityKit是苹果专为AR开发的集合动画、物理和音效的渲染引擎，开发者可以通过它轻松开发高质量AR应用。最新的RealityKit更新包括：视频资源简化、基于LiDAR提升场景理解能力、提高渲染调试能力、支持面部追踪、支持位置锚定。



关于视频资源方面，其可从视频中获取纹理，例如上图中那样可以这只“虚拟昆虫”的眼睛直接对应左侧视频中的部分区域。也就意味着，整个模型的纹理完全可以基于一个视频来展开，而苹果也对视频提供看了大量个性化的设定，甚至你可以直接使用在线视频。

场景理解方面，包括遮挡、光影效果，物理特效，碰撞特效等设定。





另外，在真实环境中的网格模型使用颜色进行区分深度的，如上图中，颜色越深代表距离越近，越浅则相反，到白色时距离恰好在5米。此前我们在iPad Pro 2020发布时已知，其配备的LiDAR具备5米的深度感知能力，因此真实环境中5米以内的环境均可实现高精度网格覆盖。

综合来看，由于iPad Pro 2020发布时同期发布的ARKit 3.5并没有伴随着iOS/iPadOS大版本更新，因此在iOS 14/iPad OS 14发布时苹果围绕其配备的LiDAR进行详解。

从中我们可以看出，苹果的ARKit以及相关功能越来越强大，而基于软件的AR体验基本上没有太多新的进展，而ARKit 3.5和ARKit 4中大部分都是围绕LiDAR模组展开。我们有理由猜测未来苹果设备将更多配备LiDAR模组来可开展开AR应用，例如新的iPhone甚至AR/VR眼镜，而这个进程也在加速推进。

与此同时，苹果系统和功能在升级的同时，对硬件的要求也越来越高。其中ARKit 4中不少新特性都要求是A12芯片及更高的设备，也意味着即便是iPhone X也无法体验，因此如果你要购买，我们建议选择A12芯片及更新的设备。

（ END）


每天五分钟，轻松了解前沿科技。
—— 青亭网

    关注 青亭网