目录
一、仿射变换
1、什么是仿射变换
2、原理
3、图像的仿射变换
1）图像的几何变换主要包括
2）图像的几何变换主要分为
1、刚性变换：
2、仿射变换
3、透视变换
3）常见仿射变换
二、案例实现
1、定义关键点索引
2、定义函数用于获取脸部掩膜
3、定义函数求变换矩阵
4、定义求68关键点函数
5、定义函数修改图片颜色
6、主函数
运行结果：
一、仿射变换
1、什么是仿射变换
仿射变换（Affine Transformation）是指在向量空间中进行一次线性变换(乘以一个矩阵)和一次平移(加上一个向量)，变换到另一个向量空间的过程，即对图像进行形状、大小和方位的变换。
2、原理
仿射变换代表的是两幅图之间的映射关系，仿射变换矩阵为2x3的矩阵，如下图中的矩阵M，其中的B起着平移的作用，而A中的对角线决定缩放，反对角线决定旋转或错切。
原像素点坐标(x,y)，则矩阵仿射变换基本算法原理：
所以仿射变换是一种二维坐标（x,y）到二维坐标（u,v）之间的线性变换，其数学表达式如下：
这个矩阵是2×3的，但是这会改变原始图像的维度，为此，增加一个维度，构造齐次变换矩阵3×3
这就保持了图像的‘平直性’和‘平行性’。 平直性：直线、圆弧不变。平行性：平行关系不变，直线相对位置不变，但是夹角可能会改变。
3、图像的仿射变换
1）图像的几何变换主要包括
平移、旋转、缩放、剪切、仿射、透视等。
2）图像的几何变换主要分为
刚性变换、仿射变换和透视变换（投影变换）
1、刚性变换：
平移+旋转 相似变换：缩放+剪切
2、仿射变换
从一个二维坐标系变换到另一个二维坐标系，属于线性变换。通过已知3对坐标点可以求得变换矩阵
3、透视变换
从一个二维坐标系变换到一个三维坐标系，属于非线性变换。通过已知4对坐标点可以求得变换矩阵。
3）常见仿射变换
常见的仿射变换包括平移（Translation）、缩放（Scaling）、旋转（Rotation）、错切（Shearing）和镜像（Flipping）等
平移：沿着x和y轴的平移使图像的位置发生改变。
缩放：沿着x和y轴的缩放使图像的大小发生改变。
旋转：绕图像中心点进行旋转，使图像按某个角度进行旋转。
错切：使图像在某个方向上产生倾斜。
镜像：沿着x或y轴进行镜像翻转，使图像左右或上下对称。
二、案例实现
1、定义关键点索引
# 定义关键点索引
JAW_POINTS = list(range(0,17)) # 脸部轮廓关键点
RIGHT_BROW_POINTS = list(range(17,22)) # 左眉毛
LEFT_BROW_POINTS = list(range(22,27)) # 右眉毛
NOSE_POINTS = list(range(27,35)) # 鼻子
RIGHT_EYE_POINTS = list(range(36,42)) # 左眼
LEFT_EYE_POINTS = list(range(42,48)) # 右眼
MOUTH_POINTS = list(range(48,61)) # 上嘴唇
FACE_POINTS = list(range(17,68)) # 除了脸颊的其余部位
# 关键点集
POINTS = [LEFT_BROW_POINTS + RIGHT_EYE_POINTS +
LEFT_EYE_POINTS +RIGHT_BROW_POINTS + NOSE_POINTS + MOUTH_POINTS]
# 处理为元组，后续使用方便
POINTStuple = tuple(POINTS) # 元组内存放关键点集的列表2、定义函数用于获取脸部掩膜
def getFaceMask(im,keyPoints): # 传入图像和关键点矩阵，根据关键点获取脸部掩膜
im = np.zeros(im.shape[:2],dtype=np.float64) # 生成一个和图像大小一致的0矩阵，类型为浮点型
for p in POINTS: # 遍历每一个关键点的索引号
points = cv2.convexHull(keyPoints[p]) # 调用凸包函数，获取凸包，即最小凸多边形,返回凸包边界信息
cv2.fillConvexPoly(im,points,color=1) # 在掩膜im上填充凸包points，color=1表示填充蓝色
# 单通道im构成3通道im(3，行，列)，改变形状(行、列、3)适应0penCV
im = np.array([im,im,im]).transpose((1,2,0)) # 将掩膜升高一个维度然后转换第一个维度和第三个维度的位置，表示为宽、高、3通道
im = cv2.GaussianBlur(im,ksize=(25,25),sigmaX=0) # 使用高斯模糊对im掩膜进行处理，高斯核大小为25*25,0表示指定高斯核在x方向的标准差，设置为0表示自动计算一个合适的值
return im # 返回处理完的掩膜图像3、定义函数求变换矩阵
def getM(points1, points2):
points1 = points1.astype(np.float64) # int8转换为浮点数类型
points2 = points2.astype(np.float64) # 转换为浮点数类型
c1 = np.mean(points1,axis=0) # 计算均值，axis=0表示计算行方向或垂直方向
c2 = np.mean(points2,axis=0) # 用于归一化:(数值-均值)/标准差，均值不同，主要是脸五官位置大小不同
points1 -= c1 # 减去均值
points2 -= c2 # 减去均值
s1 = np.std(points1) # 方差计算标准差
s2 = np.std(points2)
points1 /= s1 # 除标准差,计算出归一化的结果
points2 /= s2 # 除标准差,计算出归一化的结果
# 奇异值分解，Singular Value Decomposition
U, S, Vt = np.linalg.svd(points1.T * points2) # points1.T * points2计算协方差矩阵，使用np.linalg.svd对协方差矩阵进行奇异值分解，返回三个矩阵
R = (U * Vt).T # 通过U和Vt计算旋转矩阵R，U * Vt将points1对其到points2，T为转置
return np.hstack(((s2 / s1) * R,c2.T-(s2 / s1) * R * c1.T)) # 返回a仿射到b的变换矩阵
# 计算一个刚体变换矩阵，该矩阵可以将一个点集（points1）经过旋转和平移后对齐到另一个点集（points2），同时考虑了可能的尺度差异。
4、定义求68关键点函数
def getKeyPoints(im): # 接收到一张图片，获取图片中人脸的关键点
rects = detector(im,1) # 调用人脸检测器，获取人脸方框位置，返回数组类型，其中存放方框左上角坐标和右下角坐标
shape = predictor(im,rects[0]) # 调用预训练模型,获取人脸的68个关键点
s = np.matrix([[p.x,p.y] for p in shape.parts()]) # shape.parts()获取关键点的迭代器，遍历出来每一个关键点，将遍历出来的关键点存入列表，然后使用np.matrix创建一个二维矩阵
return s # 返回68个关键点的坐标矩阵
5、定义函数修改图片颜色
def normalColor(a, b):
ksize = (111,111) # 非常大的核，用于进行高斯模糊的核，去噪等运算时为11就比较大了
aGauss = cv2.GaussianBlur(a,ksize,0) # 对a进行高斯滤波
bGauss = cv2.GaussianBlur(b,ksize,0) # 对b进行高斯滤波
weight = aGauss/bGauss # 计算目标图像调整颜色的权重值,存在0除警告，可忽略。
where_are_inf = np.isinf(weight) # 检查weight中是否有无穷大的值
weight[where_are_inf] = 0 # 如果有将其更改为0
return b * weight # 将权重应用于图像b，以调整其颜色
6、主函数
a = cv2.imread("pyy1.png") # 待换脸的A图片
b = cv2.imread("zly1.png")
detector = dlib.get_frontal_face_detector() # 构造脸部位置检测器
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat") # 读取人脸68关键点检测器的预处理模型
aKeyPoints = getKeyPoints(a) # 将图片传入函数，获取A图片的68个关键点坐标矩阵
bKeyPoints = getKeyPoints(b)
bOriginal = b.copy() # 不对原来的图片b进行破坏和修改
aMask = getFaceMask(a,aKeyPoints) # 获取图片A的人脸掩膜
cv2.imshow("aMask",aMask) # 展示掩膜
cv2.waitKey()
bMask = getFaceMask(b,bKeyPoints) # 获取图片B的人脸掩膜
cv2.imshow("bMask", bMask)
cv2.waitKey()
"""求出b脸仿射变换到a脸的变换矩阵M"""
M = getM(aKeyPoints[POINTStuple],bKeyPoints[POINTStuple]) # 传入a脸关键点坐标和b脸关键点坐标，获取a仿射到b的变换矩阵
"""将b的脸部(bmask)根据M仿射变换到a上"""
dsize = a.shape[:2][::-1] # 获取原图高宽，然后倒序
# 目标输出与图像a大小一致
# 需要注意，shape是(行、列),warpAffine参数dsize是(列、行)
# 使用a.shape[:2][::-1]，获取a的(列、行)
# 函数warpAffine(src,M,dsize,dst=None, flags=None, borderMode=None, borderValue=None)
# src:输入图像
# M:运算矩阵，2行3列的，
# dsize:运算后矩阵的大小，也就是输出图片的尺寸
# dst:输出图像
# flags:插值方法的组合，与resize函数中的插值一样，可以查看cv2.resize
# borderMode:边界模式，BORDER_TRANSPARENT表示边界透明
# borderValue:在恒定边框的情况下使用的borderValue值;默认情况下，它是0
bMaskWarp = cv2.warpAffine(bMask,M,dsize,borderMode=cv2.BORDER_TRANSPARENT,flags=cv2.WARP_INVERSE_MAP)
# 返回变换后的掩膜图像，包含了根据变换矩阵M和指定大小dsize对bMask进行仿射变换的结果。
cv2.imshow("bMaskWarp",bMaskWarp)
cv2.waitKey()
"""获取脸部最大值(两个脸模板叠加)"""
mask = np.max([aMask,bMaskWarp],axis=0) # a将掩膜图像与b变换后的掩膜图像数值转变为数组类型，然后沿行方向求最大值
cv2.imshow("mask",mask)
cv2.waitKey()
"""使用仿射矩阵M，将b映射到a"""
# 计算b图片经过变换矩阵进行仿射变换处理后的图像
bWrap = cv2.warpAffine(b,M, dsize,borderMode=cv2.BORDER_TRANSPARENT,flags=cv2.WARP_INVERSE_MAP)
cv2.imshow("bWrap",bWrap)
cv2.waitKey()
# 求b图片仿射到图片a的颜色值，b的颜色值改为a的颜色
bcolor = normalColor(a,bWrap)
cv2.imshow("bcolor",bcolor)
cv2.waitKey()
# 换脸(mask区域用bcolor，非mask区城用a)
out = a*(1.0-mask) + bcolor * mask
# 输出原始人脸、换脸结果
cv2.imshow("a",a)
cv2.imshow("b" ,bOriginal)
cv2.imshow("out", out/255)
cv2.waitKey()
cv2.destroyAllWindows()运行结果：
