人脸对齐之Adaptive Wing Loss

论文：Adaptive Wing Loss for Robust Face Alignment via Heatmap Regression

Github: https://github.com/protossw512/AdaptiveWingLoss

 

ICCV2019

 

论文贡献：

1. 改进了Wing loss，提出了Adaptive Wing loss，实现了前景和背景的误差平衡
2. 提出了编码坐标信息的CoordConv
3. 提出了将关键点的边界Boundary和关键点landmark一起训练的思路。

 

整体网络结构：

整体模型结构N=4个hourglass模块。输入图像大小为256*256，输出图像大小为64*64。

输入图像为人脸检测得到的图像，会对该图像进行长宽各10%的扩充。

预测的特征图包含c个通道的landmarks和1个通道的boundary。其中，landmarks表示人脸关键点，一个channel预测一个点，boundary表示人脸轮廓的分割的线。Landmarks+boundary一起预测有助于促进网络学习的更好。

 

传统的Wing loss：

y：groundtruth上的heatmap

y^：预测的heatmap

 

改进版Adaptive Wing loss：

w：正数，等于14

θ：正数，等于0.5

e：正数，等于1
α ：大于2的数，等于 2.1

 

Weighted loss map:

其中，W = 10

这样设置loss，可以使得前景（经过高斯处理的关键点位置）获得比背景区域更大的loss传递。

 

Coordinate aggregation：

 

其他：

本文的方法，人脸关键点的检测也可以应用于人体关键点的检测，也会有不错的效果。

 

实验结果：

 

总结：

1. 基于heatmap的关键点预测的方法精度会远高于基于回归的方法。缺点就是最后的参数量大。
2. Adaptive Wing loss可以应用于好多关键点回归的程序，比如人体关键点回归的。
3. Weighted Loss Map有助于使得前景回传更大的loss，背景传递更小的loss，使得训练效果更好。
4. CoordConv更像一种attention机制，有助于网络学习到更好的效果。
5. Boundary和landmark的相互促进作用。