论文:A Discriminative Feature Learning Approach for Deep Face Recognition
现如今,卷积神经网络已经被广泛地应用到计算机视觉领域,在大部分卷积神经网络中,经常使用softmax loss作为损失函数训练模型,因为softmax loss 能够使得特征可分。softmax loss的公式定义如下:
其中表示第ith个特征,属于第个类别。
下图是以MNIST作为数据集做的实验,10种颜色表示10种类别,展示了每个类别的特征分布。从图中可以看出不论是训练集还是测试集,特征之间都有明显的判别界限,即特征可分。
然而,在人脸识别中,深度学习的特征不仅仅具有可分性,还应当具有可判别性。所以此论文提出了一种新的损失函数 center loss,它能够通过在最小化类内距离的同时保证特征可分来提高特征之间的可判别性。center loss 公式定义如下:
其中 表示第个类别的特征中心,m是一个mini-batch的大小。这个公式则是希望在mini-batch中的每个样本特征距离特征中心的距离的平方和要越小越好,也就是类内距离越小,这样相同类别的特征越会聚集在一起。
center-loss能够容易地被执行,它的梯度和更新公式能够很容易地被提取,如下所示:
为了在最小化类内距离的同时也使不同的类别特征可分,即同时满足特征可分和特征可判别性,论文中将softmax loss 和center loss两个损失函数相结合,用参数控制比重。公式定义如下:
在论文中,作者也测试参数取不同的值时特征判别性的影响,效果图如下: