AR For Unity3D之HiAR分析
前言
关于AR和Unity的基础知识，请自行前往各自的文档中心进行科普。
本文以国产的HiAR SDK为例，日后将尝试高通的vuforia SDK
我的环境
基于Hi AR1.2.0 ( hiar_sdk_unity_20160809_v1.2.0_3c0e908.zip ( 47.4 MB ) )
Unity3D 5.3.5f1 x64
Windows 7 x64
罗技摄像头(硬件)，摄像头支架
制作识别图集
1. 在SDK的管理后台创建一个新应用，获取应用的Appkey和Secret，在Unity中会用到。
2. 在SDK的管理后台中创建图集，并添加图片，完成之后发布图集
3. 把图集和应用进行关联
4. 在SDK的管理后台中下载本地识别包文件，一般是以图集为命名的unitypackage文件。
导入识别图集到Unity
我创建的图集名称：xxdata
图集中有以下两张图片：
-
battleboard.png
-
card.png
下载的本地识别包文件(xxdata.unitypackage)，在导入到Unity中的文件如下：
Editor
HiAR
ImageTargetTextures
xxdata
battleboard.png
card.png
StreamingAssets
HiAR
xxdata.xml (里面是图集中的图片信息，一行是一张图片的数据，Key值是一个32位字符串)
xxdata
792c5ed97942d50f185be13ed9822b3c.db(32位的key和xxdata中对应)
22b72d7e5b182ed15e9ede20268d8a6b.db
总结一下就是：
1. 在Editor\ImageTargetTextures\下有以图集命名的文件夹，文件夹中有图集中的图片文件
2. 在StreamingAssets\HiAR\目录下有以图集命名的xml文件和图集命名的文件夹，文件夹下有图片Id命名的db文件
xxdata.xml文件内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<HiAR>
<KeyItemList>
<KeyItem name="card" targetID="22b72d7e5b182ed15e9ede20268d8a6b" width="535" height="528" extName=".png" version="1.2.0"></KeyItem>
<KeyItem name="battleboard" targetID="792c5ed97942d50f185be13ed9822b3c" width="1024" height="1024" extName=".jpg" version="1.2.0"></KeyItem>
</KeyItemList>
</HiAR>
32位key值文件名的db文件
某种格式的文件，从里面可以看到HiScene AR Key，猜测db中存储了图片的识别点数据
图集中每个图片有对应的一个db文件，可知此db文件必然和图片有关联关系。
示例分析
简单识别
场景层次(Hierarchy)结构：
HiAR Camera （SDK的核心，绑定了两个脚本：HiAREngineBehaviour，TargetManagerBehaviour）
camera (3D相机，渲染3D GameObject，绑定的脚本：HiARCameraBehaviour)
Imager Target （识别点，可以有多个，绑定的脚本：ImageTargetBehaviour，实现这几个接口ITrackableEventHandler, ILoadBundleEventHandler, IRelativeMoveTarget）
识别成功：识别图移动时或者有遮挡时，Transform的属性会发生改变，并且ImageTarget下的Child会显示
识别失败：Transform属性无变化，并且ImageTarget下的Child会隐藏
camera source （一个MeshRenderer，硬件摄像头摄像到的图像实时渲染在此（类似于render texture？））
camera background （2D相机，渲染camera source的图形）
重点解释：
camera (3D相机 Clear Flags为Depth，拍摄场景中的3D GameObject)
camera background （2D相机，Clear Flags为Solid Clear，渲染物体摄像头拍摄的画面）
摄像头拍摄的图像显示在camera source(mesh renderer)上
摄像头拍摄的真实画面和引擎生成的三维物体进行叠加。
AR识别成功的应用
当识别图识别成功之后，执行一些操作，可以理解为Callback。
HiAR的例子是：识别成功之后，播放视频。
当然你可以在识别成功之后，生成一些模型和场景出来，这样就和开发其它游戏一样，可以对Scene中的GameObject进行控制，比如播放动画，打斗，特效之类的。
涂涂乐
把识别图上的图像实时渲染在模型上(Material)，类型涂鸦。
-
添加一个待涂包的模型，添加组件：HiARPaint，Shader：HiARPaint
-
硬件摄像头拍摄识别图(实时拍摄)
-
根据识别到的图，提取图像生成Material，动态地渲染。
-
期间会生成几个识别点
过程中如果有拍摄到其它物体，新生成的材质会实时更新
多图识别
多图识别，就是在简单识别的基础上添加多个ImageTarget
步骤：
- 在HiAR Camera（HiAREngine组件） 的属性面板勾选 MuiltTarget
- 在场景中添加多个ImageTarget，并为每一个ImageTarget选择识别图
动态加载
动态加载识别目标进行识别跟踪的功能，继承自TartgetDynamic
void OnGUI()
{
if (GUI.Button(new Rect(30, 30, 200, 80), "Add Key"))
{
AddImageTarget(System.IO.Path.Combine(Application.streamingAssetsPath, Pic1Path), Pic1Key, 1024, 1024);
}
}
//识别回调
public override void OnDynamicReco(RecoResult recoResult)
{
Debug.Log("识别成功。。。。。");
GameObject gameObject = null;
gameObject = new GameObject();
if (recoResult.keyType == KeyType.IMAGE)
{
gameObject.AddComponent<ImageTargetBehaviour>();
}
Debug.LogFormat("recoResult.keyType:{0}", recoResult.keyType);
Target target = gameObject.GetComponent<Target>();
if (target == null)
{
Debug.LogError("Get Target Null !");
return;
}
target.PixelWidth = recoResult.Width * 0.01f;
target.PixelHeight = recoResult.Height * 0.01f;
gameObject.transform.parent = transform.parent;
gameObject.SetActive(true);
if (recoResult.KeyId.Equals(Pic1Key))
{
GameObject cube = GameObject.CreatePrimitive(PrimitiveType.Cube);
cube.transform.parent = gameObject.transform;
cube.transform.localScale = new Vector3(1.0f, 1.0f, 1.0f);
}
else
{
Debug.LogErrorFormat("recoResult.KeyId:{0} not equals :{1}", recoResult.KeyId, Pic1Key);
}
bindingGameObject(gameObject, recoResult.KeyId);
}
设置中心点
勾选 ImageTarget (ImageTargetBehaviour组件)的CenterPoint之后，带有物理引擎效果的物体运动就有了中心点。
