基于无约束照片集的自适应三维人脸重建
《Adaptive 3D Face Reconstruction from Unconstrained Photo Collections》
文章来源：IEEE Computer Vision and Pattern Recognition (CVPR 2016)
文章链接：http://openaccess.thecvf.com/content_cvpr_2016/papers/Roth_Adaptive_3D_Face_CVPR_2016_paper.pdf
文章引用：Roth J , Tong Y , Liu X . Adaptive 3D Face Reconstruction from Unconstrained Photo Collections[C]// Proc. IEEE Computer Vision and Pattern Recognition (CVPR 2016). IEEE, 2016.
目录
本文提出了一种利用反照率信息重建三维人脸模型的方法，即使在较少图像的低质量照片集中，该方法也能适用。本文通过拟合3D变形模型以形成个性化模板，并在从粗到细的方案下开发新的光度立体公式来实现这一点。该方法的核心步骤：1）利用形变模型模板生成初始粗糙的人脸模板；2）使用光度立体技术（Photometric Stereo）为基础的方法估计个体的表面法线；3）使用估计的法线重建一个精细的人脸模型。
算法流程图：
一、数据准备和预处理
1、照片集合是包含个人面部的一组n张图像，并且可以用多种方式获得，例如，搜索名人的Google图像或个人照片集合。
2、从图像中检测和裁剪面部。本文使用Bob（一个用来信号处理和机器学习的工具箱）中内置的人脸检测模型，该模型在多种人脸数据集（如CMU-PIE）上训练，包括轮廓视图人脸。
3、给定人脸边界框，我们将图像转换为强度通道，并在人脸边界框之外裁剪，以确保包括整个人脸。为了估算二维坐标，我们采用最新的回归器级联方法将68个坐标自动拟合到每个图像上。
二、生成初始人脸模板
通过形变模型库生成一个初始的粗糙人脸模型：
其中 
是平均模型，
和 
分别为形状和表情分量，通过矩阵奇异值分解获取；
和 
分别为形状系数和表情系数。
为了将形变模型拟合到人脸图像，我们假设弱透视投影 
，其中 
是尺度，
是旋转矩阵的前两行, 
是图像平面上的平移。采用最小化以下能量函数来使投影误差最小化：
其中 
是图像上的特征点坐标。将模型 
代入能量方程求解：
这个极小化函数不是联合凸的，但是由于它对于每个变量都是线性的，所以可以通过交替估计来解决。一旦学习了参数，我们就使用形状系数和表情系数的平均值来生成个性化模板 
。
基于当前模板网格 建立集合中的图像之间的对应关系：在模型拟合过程中，给定 和投影参数求解，我们对图像 
中顶点j的投影位置的强度进行采样，并将其放入一个对应矩阵 
，即
，其中 
是第 幅图像，
是图像中顶点 
的投影2D位置。
三、光度法线估计
1、我们假设一个朗伯照明模型，其中投影点处的强度由照明参数和表面法线的线性组合定义，公式如下：
其中 
是顶点 处的表面反照率，
, 
, 
是顶点j处的单位表面法线，
是环境系数，
是扩散系数，
, 
, 
是单位光源方向。为了计算方便，记 
为光照向量，
为法向量，
为形状向量。因此，
。
为了解决这个朗伯照明模型，先前的工作让我们认识到面部图像集的变化的95%是由F的前四个主要成分来解释的。因此，因此，奇异值分解(SVD)用于将F因子分解为光照矩阵L和形状系数矩阵S，其中L每一行是图像i的光照系数，而S是顶点j的形状系数矩阵。不幸的是，由于任何可逆的4×4矩阵A形成一个有效的解，SVD不能单独确定真实的照明和形状矩阵，
。为了解决这种模糊性，模板模型通常用来约束 
到数值稳定的解。
我们建议用以下损失函数解决能量最小化方法中的未知数：
其中 
是顶点 处的模板的当前表面法线。可以通过初始化 
到 和 
，然后针对照明、反照率和法线以交替的方式求解该函数来解决。
2、通过表情改变的部分面部将具有不同的表面法线，在图像内投影点的可靠性中，有许多因素起作用。最后，我们发现可以简单地使用 
，其中 
是垂直于图像平面的单位相机向量，是一个很好的可靠性度量。当顶点垂直于相机接近时，这减少了权重，因为它更容易受到姿态估计的小变化的影响，而指向相机的顶点更可靠。我们更新损失函数为：
3、光照和反照率估计:我们先初始化 到模板顶点 处的表面法线，并使 。在保持表面法线不变的情况下，我们交替求解光照系数和表面反照率。在估计表面法线之前，我们让它收敛，这允许当前表面法线找到局部最小解。求解得反照率是一个过约束最小二乘解，即 
。类似地，可得到图像的光照系数的解析解，即 
，其中 
为哈达玛积或内积。
4、表面法线估计：给定一个图像的子集 
，我们为图像每个顶点最小化下面的能量方程：
正则化有助于保持面部接近初始化。但是，由于求和不是平均的，随着更多的照片被添加到集合中，正则化具有更小的权重，并且估计的法线可以偏离以匹配所观察到的集合的光度特性。相比之下，当照片收集量较小时，正则化项在确定期望的表面法线时将起到相对较大的权重。因此，这种自适应加权处理不同的照片收集大小。
四、面部重建
给定表面法线 ，指定表面的细节，我们重建一个新的面部模型 
。面部重建的总能量由三部分组成：
其中，
是拉普拉斯算子，
是一个符号的离散化，
是平均曲率，
是基于法线的估计。
是由平均曲率公式导出的法线能量方程。
，我们收集并重复 
到向量 。
是边界能量方程，因为平均曲率公式沿表面边界退化为测地曲率，而测地曲率不能由光度法线确定。因此，我们试图在 
的边界上保持相同的拉普拉斯算子，其中 
是连接相邻边界顶点i和j的边长。
，它使用界标投影误差来提供对面部的全局约束，没有该约束，法线的积分会在脸部表面具有数值偏差。
五、实验结果
六、总结与展望
本文提出了一种从无约束的二维照片集合中重建三维人脸模型的方法，这种二维照片集合适应低质量和较少的图像。通过使用3D形变模型来创建一个个性化的模板，该模板会自适应地影响粗到细的重建方案，我们可以有效地创建一个比以前的工作更精确的模型，如合成和现实数据实验所示。未来的工作有许多途径，例如融合3D形变模型和基于光度立体的重建，这样它可以优雅地降级为单个图像，并自动识别从任意照片收集可能重建的细节级别。