[AR]ImageTarget(图像识别)

ImageTarget

前言

ImageTarget 顾名思义，就是图像识别，本文记录下作者最近学习vuforia中的imageTarget笔记与心得。

vuforia guide：https://library.vuforia.com/articles/Training/Image-Target-Guide

vuforia sample  - 选择 Core Features下载，导入ImageTarget.unitypackage：https://developer.vuforia.com/downloads/samples

vuforia 基础知识：高通Vuforia Getting Started

开发环境

Vuforia 6.0.112

Unity 5.3.6f1 x64  (Android平台)

Windows 7 x64

名词说明

下面列举下本文中所列出的几个名词，可能每个人对这些英文的理解不一样，这些解释仅仅代表个人观点。

Database（数据集、图集）：大体都是指多张图片组合在一起的那个东西

ImageTarget（识别图）：具体的某张识别图像

自带Demo简单分析

1、从Demo中可以看出，当有多个ImageTarget时，每个ImageTarget之间是有间距的，可以简单理解为每个ImageTarget的坐标值不一样【（x，z）平面】，如下所示：

2、Demo中把需要识别的图，全部以ImageTarget的形式，放置在场景中

3、Word Center Mode默认的模式选择的是 FirstTarget

4、如果需要同时识别多个ImageTarget，需要设置最大识别数量

World Center Mode

FirstTarget

相机在运动，第一个Found的ImageTarget坐标不动，其它ImageTarget会轻微地运动

Camera

ImageTarget在运动，相机不动

自己搭建的简单步骤

1、上传识别图到管理后台（单张图像不超过2mb大小，如果是灰度图，建议使用jpg格式），管理后台会智能地标注出图像的识别点（如何让图像更具可识别性？有针对图像的设计指南）

2、下载识别图package，导入到Unity中，package中包括数据集(xxx.data)，xml(xxx.xml)，识别图(xxx_scale.jpg,xxx_scale.png)

3、根据Demo的示例创建一个新场景，里面有ARCamera，ImageTarget，在ImageTarget的属性面板选择database和识别图(ImageTarget)

4、运行程序，当摄像头识别到步骤3的选定的识别图之后，就会触发OnFound事件，而当识别图移开或者被遮挡，会触发OnLost事件

具体的业务逻辑，在OnFound和OnLost中进行处理

void OnFound(string trackableName){
//TODO 识别成功的逻辑处理，参数trackableName就是xml中的name
}

void OnLost(string trackableName){
//TODO 丢失的逻辑处理，参数trackableName就是xml中的name
}

xml 分析

下载的package中的xml内容如下

<?xml version="1.0" encoding="UTF-8"?>
<QCARConfig xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="qcar_config.xsd">
  <Tracking>
    <ImageTarget name="798_01" size="1.000000 1.434034" />
    <ImageTarget name="799_01" size="1.000000 1.434034" />
  </Tracking>
</QCARConfig>

分析：这里面的内容就是我们上传的识别图的图片名，长宽的比例。

默认这份xml是放在 StreamAssets\database\database.xml，当然如果不需要那么多的识别图，而又不想在管理中删除多余的识别图，那么有个简单的方法，删除xml中的几行数据，就会删除相应的识别图了。

查看图像识别点

登录vuforia的管理后台 https://developer.vuforia.com/targetmanager/singleDeviceTarget/deviceSingleImageTargetDetails

选择TargetManager - 选择具体的 Database - 具体的 Image  - Show Feature 可以看到识别图的识图点

Tips

同一张识别图，彩图和灰白图的识别点是一样的，如下所示我上传的是张彩色的图，但Show Features显示的是张灰白图。

识别任意张图代码实现

需求说明

假设共有20张图像，当用户扫描其中任意一张图，都可以成功被识别，再比如图集中有500张图像，当扫描任意张图像时都可以被成功识别

思路分析

通过上面的操作步骤，我们知道只有在场景中存在的ImageTarget，在摄像头扫描到时，才可以触发识别成功事件。

那么我们需要做的就是：把database中的识别图全部实例成ImageTarget，可能你会想，那就把ImageTarget的prefab实例化20或500个，每个实例的ImageTarget不同呗。

思想是这样的，但还有更简捷的方法。

Load Database

在ARCamera的Database Load Behaviour中勾选了需要的 database之后，运行就会把database中所有的imagetarget都生成出来，并自动已选择好了不同的ImageTarget

测试代码

通过上面的实践，我们知道既然Vuforia会自动把所有的ImageTarget都生成出来，那么我们就可以更加方便了

下面这段代码可以获取所有的识别对象

IEnumerable<TrackableBehaviour> trackableBehaviours = TrackerManager.Instance.GetStateManager().GetTrackableBehaviours();

Tips

1、经测试多图识别中，在丢失之后最好重设下ImageTarget的位置到初始值，否则可能出现奇怪现象。

2、可以获取ImagetTargetBehaviour的Size，设置每个ImageTarget的位置

测试代码：https://github.com/zhaoqingqing/blog_samplecode/tree/master/ar-vr-mr/vuforia/imagetarget