【导读】每个人只有单样本的识别是人脸识别(FR)中最具挑战性的问题之一，每个人只有一个单本（SSPP）参加训练。虽然现有的基于patch的方法在FR中取得了很大的成功，但是在处理复杂的人脸变化时，它们在特征提取和识别阶段仍然存在局限性。今天，我们要说的技术，提出了一种新的基于patch的方法，称为鲁棒异构判别分析(RHDA)，用于带有SSPP的FR。为了提高对复杂人脸变化的鲁棒性，首先提出了一种新的基于图的Fisher-like准则，它包含了两个不同的嵌入，以学习图像块的异构判别表示。然后引入两个距离度量，即patch-to-patch距离和patch-to-manifold距离，并通过联合多数投票的方式，开发一种融合策略，将上述两个距离度量的识别输出结合起来进行识别。在各种基准数据集上的实验结果表明了该方法的有效性。
背景
尽管现有的基于patch的SSP 在FR取得了较好的性能，但这些方法仍然存在两个主要缺陷:
1）特征提取：基于图的Fisher准则应用于最先进的基于patch的方法，即DMMA和SDMME不能生成表示(即特征)足够有辨别力的。注意，LE-graph和l1-graph分别是描述图像数据相似性关系和重构关系的两种常用图。然后，对于上述两种基于patch的方法：
- DMMA保留类内patch的LE-graph，同时破坏类间patch的LE-graph(见下图1)，这样做会使类内临近的patch相互靠近，而相邻的类间patch在学习的子空间中保持较远的距离。然而，在该准则中，忽略了类内patch的关键重构结构，可能导致恢复的子空间结构偏离了原本子空间结构。
- SDMME保留了类内patch的l1-graph，同时破坏了类内patch的l1-graph(见下2)。与直接抑制类间patch的相似性相比，破坏类间重建关系是一种较弱的惩罚，因此类间patch仍然有机会留在附近。此外，SDMME中类间patch的重建系数计算比较费时，因为类间patch的数量远远大于类内patch的数量。
2）识别：人们相信，一个patch的查询示例，它应该(1)类似于patch在同一位置,或/和(2)由邻近重建的patch。然而，现有patch-based方法只考虑两个观测中的一个，这在处理复杂的面部变化时是不够的。例如，PSRC和PCRC只是利用相同位置的patch的相似性来标识查询样本。但是，当查询样本中存在位姿变化或不对齐时，查询与图库样本位置相同的patch很可能不匹配，容易导致查询patch被错误分类。另外，DMMA和SDMME只是简单地计算查询patch程序与库样例中相邻patch程序之间的重建残差，用于识别。然而，这种基于重构的距离度量对查询样本中的严重光照和阴影等面部变化非常敏感。
怎么去解决呢？？？
方法
针对上述两个问题，提出了一种基于patch的鲁棒异构判别分析方法(RHDA)。
针对第一个问题：基于重构的l1-graph和基于相似度的LE-graph，在RHDA模型中提出了一种新的基于图的Fisher-like准则来对LE-graph和l1-graph进行判别分析。前者保留了同一个体相邻patch稀疏重建关系，后者抑制了不同个体相邻patch的相似性(在下图中看到Fisher-like标准)，从而与DMMA和SDMME相比，提高了学习子空间中patch分布的判别能力。
针对第二个问题：提出了两种不同的判别流形嵌入，即判别单流形嵌入(DSME)和判别多流形嵌入(DMME)。这两种嵌入分别将所有人的整个分割块作为单个流形和多流形嵌入进行建模，然后将其合并到类fisher准则中，生成图像块的异构判别表示。随后，引入两个距离公式，即patch-to-patch距离和patch-to-manifold距离，分别对应于单个patch和多个patch，提出了一种融合策略，将异构表示分配给两个距离度量，并通过联合多数投票的方式确定它们的识别输出，从而识别未标记的查询样本。在此基础上，提出的RHDA方法可以大大增强对复杂人脸变化的鲁棒性，并取得良好的识别性能。在五个基准数据集上的实验结果，即、AR、CAS-PEAL、FERET、E-YaleB、Multi-PIE等，用SSPP验证了RHDA对FR的有效性。
框架
下图，提出的两步RHDA：异构特征提取和人脸识别。针对异构特征提取问题，首先构造了一个固有图和一个惩罚图，然后提出了两个判别流形层，最后利用Fisher-like准则生成图像patch的异构判别子空间表示。对于人脸识别，引入了两个距离度量，即提出了一种融合策略，利用异构子空间表示，通过联合多数投票的方式识别每个未标记查询样本。
通过fisher-like准则提取特征：提出了一种新的fisher判别准则来提取两个异质邻接图的判别特征，LE-graph和l1-graph。具体地说，它的目的是在保持l1-graph中相邻类内patch重建关系的同时，抑制LE-graph中不同类的相邻patch。下图中给出了类似Fisher准则的说明。
从下图可以看出:
•首先，原始流形中的patch比较分散，不同主题的流形之间有很高的重叠；
•其次，来自DMMA和SDMME的patch在子空间的散射要优于原始流形，但是不同主体之间仍然存在少量的重叠patch；
•第三，DMME学习的子空间中不同的patch有明显的分离，不同类簇之间的可分离性优于DMMA和SDMME。
下图，提取相邻patch的提取策略，展开局部字典d，高亮框表示patch的xij位置。
算法
联合多数投票方式
数据
实验
不同大小尺度patch的RHDA在不同数据集上的实验结果
关注“计算机视觉战队”，后台回复“文章地址”就可以获取文章和相应的源代码！
如果想加入我们“计算机视觉战队”，请扫二维码加入学习群。计算机视觉战队主要涉及机器学习、深度学习等领域，由来自于各校的硕博研究生组成的团队，主要致力于人脸检测、人脸识别，多目标检测、目标跟踪、图像分割等研究方向。
