Adversarial Discriminative Heterogeneous Face Recognition
当前的问题及概述：
在NIR-VIS图像转换的一个主要挑战是，图像对在大多数数据库中没有准确对齐。即使我们可以根据面部的位置标记对图像进行对齐，同一对象的姿势和面部表情仍然有很大的差异。
本文提出了一种对抗式特征学习框架，分为跨模态面部生成模块和对抗判别特征学习模块。这两个部分分别在pixel空间和feature空间上消除了不同模态间的差异。
模型及loss：
本文提出的HFR network网络框架：
2.1Cross-spectral Face Hallucination
我们引入了一对GV: IN→IV和GN: IV→IN实现相反的变换，这样我们就可以构建VIS和NIR域之间的映射循环。同时，通过DV和DN进行判别，生成器和判别器loss如下：
同时加入cycleGAN的思路，采用了cycleGAN loss：
生成部分采用two-stream结构，由于近红外图像与其他面部区域的VIS图像之间存在特殊的对应关系，我们在眼睛周围增加了一条stream，以精确地恢复眼周区域的细节：
我们将生成图像与原图像在YCbCr space上进行L1 loss训练（YCbCr 、RGB、YUV是最常见的3种基本色彩模型）：
生成器objective：
2.2Adversarial Discriminative Feature Learning
本文提出了一种利用对抗性鉴别特征学习策略学习人脸跨模态不特征的方法。
将生成的VIS图像和数据集其他的VIS进行two-stream输入，通过共享权重的卷积层分别学习特征，将得到的特征FN和FV，经过判别器DF，DF输出一个标量值，表示属于VIS特征空间的概率。故DF loss为：
Adversarial loss只能处理由模态转移引起部分人的内部差异，而不能处理与模态无关的因素。所以加入了类间方差差异(CVD)，在标签的指导下，确保同一类别的一致性:
最后通过交叉熵损失，对不同模态的特征进行分类：
总loss：
实验：
数据集：The CASIA NIR-VIS 2.0 face database、The BUAA-VisNir face database 、The Oulu-CASIA NIR-VIS facial expression database
不同网络的生成效果比较（以此为原始NIR图像，cycleGAN生成VIS图、本文生成VIS图、原始VIS图）：
消融实验（CASIA NIR-VIS 2.0）：
与其他框架比较（CASIA NIR-VIS 2.0）：
总结：
在现有的数据集中，虽然同一ID的人脸都是成对的，但由于角度和表情等不同，并没有严格的对齐。所以，本文第一部分在pixel-level，先通过GAN网络将NIR图像生成VIS图，在生成过程中，将人脸与眼睛分别生成再合并，精确地恢复眼周区域的细节，生成效果更好，再生成的图片由RGB转化到YCbCr 再与原始输入图的NIR图像作LI loss。第二部分是在feature-level，将生成的VIS图像与原始数据集的VIS图像分别提取特征，输入给判别器DF，这个判别器的作用是判别是不是RGB图像，进一步对生成的VIS图像进行处理，再通过类间方差差异CVD对标签（类别）进行指导，确保同一类别的一致性，最后通过交叉熵损失进行分类。