ARKit入门

ARKit介绍

ARKit是iOS11引入的一个全新的框架，使用Visual Inertial Odometry(VIO，视觉惯性里程计)来精确跟踪现实世界中的真实场景。相比其它设备平台，ARKit中的VIO可以将传感器数据和CoreMotion的数据融合在一起，从而提供更为精确的信息。ARKit可以让iOS设备精确感知它如何在房间内移动，而无需外部设备的校准。基于此原理，ARKit可以获取关于iOS设备位置和运动信息的高精度模型，并在场景中使用。

ARKit的强悍功能都是基于海量的计算，因此目前只支持Apple A9和A10处理器。从硬件设备上来看，目前搭载了Apple A9和A10处理器的只有iPhone 6s, iPhone 6s Plus, iPhone SE，iPhone7，iPhone 7 Plus，两代iPad Pro和最新的iPad。

ARKit目前已经支持Unity、Unreal Engine和Scenekit，由于目前正在做Unity开发，故下面就简单介绍一下Unity下的ARKit开发。

 

工具版本要求

• 开发IDE：Unity 5.6.1p1 或以上版本
• 运行系统：iOS 11 或以上版本
• 编译工具：XCode 9 beta 或以上版本
• 运行设备：支持ARKit的iOS设备

 

Unity插件介绍

插件的下载地址：https://oc.unity3d.com/index.php/s/3hfM9T05P9vOpCf

该Unity插件将让开发者们可以轻松访问ARKit的功能，例如世界追踪（World Tracking）、实时视频渲染（Live Video Rendering）、平面预测与更新（Plane Estimation and Updates）、碰撞检测API（Hit-testing API）、环境光预测（Ambient Light Estimation）以及原点云数据（Raw Point Cloud Data）

其基本使用方法可以参考此文，这里不做重复叙述。

将该插件导入到Unity中，有几个重要文件需要做一下说明：

"/Assets/Plugins/iOS/UnityARKit/NativeInterface/ARSessionNative.mm" - OC文件，ARKit SDK的本地接口文件

"/Assets/Plugins/iOS/UnityARKit/NativeInterface/UnityARSessionNativeInterface.cs" - C#版本的ARKit SDK接口文件 这两个文件完成了C#对OC跨语言调用ARKit功能的工作

UnityARSessionNativeInterface 包含下面几个重要方法：

• public void RunWithConfigAndOptions(ARKitWorldTackingSessionConfiguration config, UnityARSessionRunOption runOptions)
• public void RunWithConfig(ARKitWorldTackingSessionConfiguration config) public void Pause()
• public List HitTest(ARPoint point, ARHitTestResultType types)
• public ARTextureHandles GetARVideoTextureHandles()
• public float GetARAmbientIntensity()
• public int GetARTrackingQuality()

 

还包含几个重要事件

• public delegate void ARFrameUpdate(UnityARCamera camera)
• public delegate void ARAnchorAdded(ARPlaneAnchor anchorData)
• public delegate void ARAnchorUpdated(ARPlaneAnchor anchorData)
• public delegate void ARAnchorRemoved(ARPlaneAnchor anchorData)
• public delegate void ARSessionFailed(string error)

"/Assets/Plugins/iOS/UnityARKit/NativeInterface/AR*.cs" - ARKit用到的数据结构脚本

"/Assets/Plugins/iOS/UnityARKit/Utility/UnityARAnchorManager.cs" - 一个实用程序，可以跟踪ARKit的锚更新，并可以为其创建相应的Unity游戏对象 (具体可以参看在 GeneratePlanes.cs 组件里查看使用方法)

"/Assets/Plugins/iOS/UnityARKit/Editor/UnityARBuildPostprocessor.cs” - 编译时用到的编辑脚本，对导出工程做一些相应的操作，例如添加ARKit库文件等

ARKit有用的组件 "/Assets/Plugins/iOS/UnityARKit/UnityARCameraManager.cs" - 这个组件应该放置在通过ARKit引用的摄像机的场景中的一个游戏对象，并且它将定位和旋转相机，并提供基于ARKit更新的正确投影矩阵。该组件还具有初始化ARKit的功能

"/Assets/Plugins/iOS/UnityARKit/UnityARVideo.cs" - 该组件应放置在相机上，并抓取渲染视频所需的纹理，并将其设置为对后缓冲区进行拼接所需的材质，并设置命令缓冲区以进行实际布局

 

ARKit使用说明

1. 首先给Camera挂上UnityARCameraNearFar和UnityARVideo这两个脚本并为UnityARVideo的ClearMaterial设置上YUVMaterial材质，其中UnityARCameraNearFar脚本将Camera的nearClipPlane和farClipPlane提供给ARKit使用，UnityARVideo则将摄像头拍摄到的真实世界组合到Camera呈现的背景中去。
2. 通过UnityARSessionNativeInterface.GetARSessionNativeInterface()拿到ARKit的会话接口，暂且叫它m_session。
3. 调用m_session.RunWithConfig(config)或m_session.RunWithConfigAndOption(config，option)可以创建一个ARSession，这也代表着ARKit的启动。
4. 通过m_session.GetCameraPose()可以获取ARKit所认为的Camera当前姿态，例如位置和旋转，将其设置给Camera。
5. 通过m_session.GetCameraProjection()可以获取ARKit所认为的Camera当前投影矩阵，将其设置给Camera。(以上2-5步可以参考UnityARCameraManager.cs中的使用)
6. 通过以上步骤，一个基本的AR场景就算搭建好了，你可以通过m_session.HitTest(point，resultTypes)来确定摄像头中的该位置在ARKit理解中是虚拟世界的什么位置和形态。(参考UnityARHitTestExample.cs)
7. 也可以通过m_session的配置进行平面检测，通过设置UnityARSessionNativeInterface.ARAnchorAddedEvent，UnityARSessionNativeInterface.ARAnchorUpdatedEvent和UnityARSessionNativeInterface.ARAnchorRemovedEvent来获得ARkit对摄像头中平面的理解。(参考UnityARAnchorManager.cs)
8. 同样的，如果想获取ARKit理解的特征点数据，可以通过设置UnityARSessionNativeInterface.ARFrameUpdatedEvent来及时获取。(参考PointCloudParticleExample.cs)
9. 还可以通过m_session.GetARAmbientIntensity()来获取对光线强度的估算(参考UnityARAmbient.cs)
10. 最后需要注意的是，ARKit的各种方法的回调速度和Unity的更新速度是不一样的。

 

总结

ARKit的功能非常强大，但使用却如此简单，使用不难，只能说苹果牛逼呀！

本文来自网易云社区，经作者张志明授权发布。

原文地址：ARKit入门

更多网易研发、产品、运营经验分享请访问网易云社区。