批量规范化：通过减少内部协变量转移加快深度网络训练
1. 摘要
- 内部协变移位现象
- 训练深度神经网络很复杂，训练中随着前一层参数变化，后一层输入分布就会变化。就要求是用较低学习速率和着重仔细的设置参数初始化值，导致训练速度较慢，并且使训练具有饱和非线性的模型变得非常困难。
- 通过规范输入层来解决问题的方法。【Batch Normalization】
- 将批量数据集输入之前进行标准化,进行训练。
- 将 Batch Normalization（标准化)作为模型体系结构的一部分，并为每个训练小批量执行标准化，从而发挥了其优势。
- 允许使用更高的学习率(也不能太高)，并且对初始化参数不那么着重仔细。
- 充当正则化器，在某些情况下去除了dropout的必要性。
- 应用于图像分类模型，Batch Normalization实现了相同的精度且训练次数减少了14倍，并以显著的优势击败了原始模型。
- 使用批量归一化网络，ImageNet分类结果精度得到提升：达到4.9%的top-5验证错误（和4.8%的测试错误），超过了人类识别的准确度。
2. 序言
- 深度学习极大地提高了视觉、言语和许多其他领域的艺术水平。
- 随机梯度下降（SGD）证明是训练深度网络的一种有效方法。
- SGD优化了网络参数，以使损失最小化
- SGD变换方法（例如：momentum【动量随机梯度下降】和Adagrad【自适应随机梯度下降】）已被用于实现最先进的性能。
- 由于网络容易陷入饱和模式，sigmoid激活函数会导致梯度消失问题，所以使用ReLu作为激活函数【一般情况下，都会使用ReLu激活函数，或者转变的ReLu激活函数，不会用sigmoid激活函数】
- 解决消失梯度方法
- 使用ReLU激活函数
- 调整超参数初始化值【Batch Normalization】
- 使用较小的学习率
2.1 min-batches的优缺点
- 优点
- 小批量训练的损失梯度是训练集上的梯度估计，其质量随着批量大小的增加而提高(批量大小的增加使梯度更接近真实的全局梯度)。
- 由于现代计算平台的并行性，并行批量计算的效率比m次迭代计算要高得多。
- 缺点
- 超参数初始化值难设置
- 由于每个输入层都受到所有先前层参数的影响，因此训练变得复杂，因此网络参数的微小变化会随着网络的深入而放大，即需要仔细调整模型超参数，特别是学习率，以及模型参数初始值。
- 会发生内部协变量转移
- 内部协变量转移：深度网络内部节点分布变化。
- 训练过程中，以输入网络的每一个mini-batch进行训练(部分训练集)，导致每个batch具有不同的分布，随着网络的加深，分布差异会越来越大，使模型训练收敛速度很慢，出现梯度消失的问题。
- 输入层分布的变化带来了问题，因为输入层需要不断适应新分布。当学习系统的输入层分布发生变化时，据说会经历协变变化。这通常通过领域适应来处理。然而，协变移位的概念可以扩展到整个学习系统之外，应用到其部分，例如子网络或层。
- 超参数初始化值难设置
2.2 批量归一化解决内部协变量转移的优点
- 通过批量归一化，每个输入层使用相同的的均值和方差，保持相同分布，减少内部协变移位，可以显著加快模型训练。
- 减少梯度对参数或其初始值的依赖性，批量归一化对通过网络的梯度传播也有益。【批量归一化可以降低梯度消失问题，更好的反向传播】
- 允许使用更高的学习率(也不能太高)，并且对初始化参数不那么着重仔细，而不存在差异的风险。
- 充当正则化器，在某些情况下去除了dropout的必要性。
- 使用批量归一化可以防止网络陷入饱和模式，使得使用饱和非线性激活函数(例如：sigmoid激活函数)成为可能，但是大多数还是用ReLu激活函数。
3.减少内部协变量转移实现思想
- 内部协变量转移定义：由于训练期间网络参数变化而导致的网络激活分布的变化。【前一输出层结果是后一输入层的参数】
- whitened(白化，也叫标准化)：对网络训练每个输入层使用具有零均值和单位方差(均值为0，方差为1)的相同分布，并且去相关性，网络训练收敛更快。这将消除内部协变移位的不良影响。
3.1 白化的问题
- 标准化方法：在每个训练步骤或某个时间间隔内标准化，直接修改网络参数或根据网络激活值改变优化算法参数。如果同时修改网络参数与优化算法参数，则梯度下降需要根据归一化后的网络参数来更新参数(增加了归一化步骤，增加了计算量)，这会降低梯度下降的效率。
- 标准化公式
x ^ = x − E [ x ] \begin{aligned} \hat{x}&=x-E[x] \end{aligned} x^=x−E[x] - 例如：输入层u,输出层x
- b为此次卷积导致分布变化的偏移量
x = u + b \begin{aligned} x=u+b \end{aligned} x=u+b - 梯度下降过程中，就是对b的更新，参数优化就会对b产生依赖，而不是参数本身
b = b + Δ b ∆ b ∝ − ∂ ℓ l o s s ∂ x ˉ \begin{aligned} b=b+\Delta{b}\\ ∆b\propto-\frac{∂ℓ_{loss}}{∂ \bar{x}} \end{aligned} b=b+Δb∆b∝−∂xˉ∂ℓloss - 标准化后的x为
x ^ = u + b + Δ b − E [ u + b + Δ b ] = u + b − E [ u + b ] \begin{aligned} \hat{x}&=u+b+\Delta{b}-E[u+b+\Delta{b}]\\ &= u+b-E[u+b] \end{aligned} x^=u+b+Δb−E[u+b+Δb]=u+b−E[u+b]
- b为此次卷积导致分布变化的偏移量
- 问题：对b的更新和随后的归一化变化不会导致分布变化，也不会导致增加损失。训练加深，b将无限增长，而损失保持不变。如果标准化不仅集中而且扩展了激活【自己理解的这句话：如果标准化后的参数值比较密集，而且导致激活函数激活造成梯度消失】，问题可能更糟。实验发现，在梯度下降步骤之外计算归一化参数时，模型会崩溃。
- 标准化公式
3.2 解决白化问题
-
上述方法问题发生，在于梯度下降优化没有考虑到参数归一化后已经改变。
-
解决问题：对于任何参数值，确保网络总是产生具有所需分布的激活。确保归一化会对模型参数Θ具有依赖性。(根据参数Θ求梯度，而不是根据参数偏移量的值b求梯度)
- 例如：输入层x,视为向量，则
χ
\chi
χ是训练数据集上这些输入的集合。
- 对x进行标准化
x = N o r m ( x , χ ) \begin{aligned} x&=Norm(x,\chi) \end{aligned} x=Norm(x,χ) - 反向传播，计算雅可比矩阵
∂ N o r m ( x , χ ) ∂ x ∂ N o r m ( x , χ ) ∂ χ \begin{aligned} \frac{∂Norm(x,\chi)}{∂x}\\ \frac{∂Norm(x,\chi)}{∂\chi} \end{aligned} ∂x∂Norm(x,χ)∂χ∂Norm(x,χ)
- 对x进行标准化
- 协方差矩阵公式
C o v [ x ] = E x ∈ χ [ x x T ] − E [ x ] E [ x ] T \begin{aligned} Cov[x]=E_{x∈\chi}[xx^T]− E[x]E[x]^T \end{aligned} Cov[x]=Ex∈χ[xxT]−E[x]E[x]T
- 例如：输入层x,视为向量，则
χ
\chi
χ是训练数据集上这些输入的集合。
-
白化层输入是昂贵的，因为它需要计算协方差矩阵及其平方根的倒数，以产生白化激活 C o v [ x ] − 1 2 （ x − E [ x ] ） Cov[x]^{−\frac{1}{2}}（x− E[x]） Cov[x]−21（x−E[x]）以及用于反向传播的这些变换的导数。这促使我们寻求一种替代方案.
4.小批量统计进行标准化
- 由于每一层输入的完全白化代价高昂，且并非处处可微(可导)，因此我们进行了两个必要的简化。
4.1.白化简化的两种方式
4.1.1 对通道维度进行标准化
- 我们将通过使每个标量特征的均值为零，方差为1，而不是联合白化层输入和输出中的特征(根据通道进行标准化，不根据所有通道进行标准化)。
-
对于具有d维(d个通道)输入 x = （ x （ 1 ） … x （ d ) ) x=（x（1）…x（d)) x=（x（1）…x（d))的层，我们将对每个通道进行标准化
x ^ k = x k − E [ x k ] V a r [ x k ] \begin{aligned} \hat{x}^{k}=\frac{x^{k}-E[x^{k}]}{\sqrt{Var[x^{k}]}} \end{aligned} x^k=Var[xk]xk−E[xk] -
其中在训练数据集上计算期望值和方差。即使特征不去相关，这种归一化也会加快收敛速度
-
进行标准化后每个输入层的内容(输入的值)会发生改变。因此，我们为每个激活 x （ k ） x（k） x（k）引入一对参数 γ ( k ) γ(k) γ(k)、 β ( k ) β(k) β(k)，它们缩放并移动归一化值(根据此操作，是数值更接近归一化之前的值),这些参数与原始模型参数一起学习，并恢复网络的表示能力。
y k = γ ( k ) x ^ k + β ( k ) \begin{aligned} y^{k}=γ^{(k)}\hat{x}^{k}+β^{(k)} \end{aligned} yk=γ(k)x^k+β(k) -
通过设置 γ ( k ) γ^{(k)} γ(k)与 β ( k ) β^{(k)} β(k)参数函数,我们可以恢复原始激活
γ ( k ) = V a r [ x k ] β ( k ) = E [ x k ] \begin{aligned} γ^{(k)}=\sqrt{Var[x^{k}]}\\ β^{(k)}=E[x^{k}] \end{aligned} γ(k)=Var[xk]β(k)=E[xk]
-
4.1.2 对小批量数据集进行标准化
- 在批量归一化中，每个训练步骤都基于整个训练集，使用整个数据集来规范激活。然而，当使用随机优化时，这是不合适的。
- 由于我们在随机梯度训练中使用了小批量，所以每个小批量产生了每个激活的均值和方差的估计。用于小批量归一化的统计数据可以完全参与梯度反向传播。
- 注意，使用小批次是通过计算每维方差而不是联合协方差实现的；在联合情况下，需要正则化，因为小批量的大小可能小于被白化的激活次数，从而导致奇异协方差矩阵
- 例如：
- 一个大小为m的小批量 β \beta β。有m个激活值， β = { x 1 … m } \beta=\{x_{1…m}\} β={x1…m}。
- 设归一化值为
x
^
1
…
m
\hat{x}_{1…m}
x^1…m，其线性变换为
y
1
…
m
{y}_{1…m}
y1…m。称为批量归一化变换。
B N γ ， β ： x 1 … m → y 1 … m \begin{aligned} BNγ，β：{x}_{1…m}→ {y}_{1…m} \end{aligned} BNγ，β：x1…m→y1…m - 在算法中，
ε
\varepsilon
ε是一个常数，添加到小批量方差中以获得数值稳定性（防止分母为0）
- 在公式
y
=
B
N
γ
,
β
(
x
)
y = BN_{γ,β}(x)
y=BNγ,β(x)中，要学习参数γ和β。
- 注意，BN变换并不独立处理每个训练样本中的激活。相反， B N γ , β ( x ) BN_{γ,β}(x) BNγ,β(x)取决于训练样本和小批量中的其他样本。
- 被缩放和移动的值y传递到其他网络层。标准化激活 x ^ \hat{x} x^是转化至关重要的内在因素。
- 只要每个小批次样本是从相同的分布中采样的，并且在忽略了 ε \varepsilon ε，任何 x ^ \hat{x} x^的值的分布都是期望值0和方差1。
- 每个归一化激活 x ^ k \hat{x}^k x^k可以被视为由线性变换 y ( k ) = γ ( k ) x ^ ( k ) + β ( k ) y^{(k)}=γ^{(k)}\hat{x}^{(k)}+β^{(k)} y(k)=γ(k)x^(k)+β(k)组成的子网络的输入，然后由原始网络进行其他处理。
- 尽管这些归一化 x ^ k \hat{x}^k x^k的联合分布在训练过程中会发生变化，但我们预计归一化输入的引入会加速子网络训练，从而加速整个网络训练。
- BN变换是将归一化激活引入网络的可微变换。这确保了在模型训练时，层可以继续学习表现出较少内部协变移位的输入分布，从而加速训练。此外，BN变换后保持着网络容量。
- 在训练期间，需要通过变换反向传播损失的梯度，以及计算关于BN变换参数的梯度。我们需要使用链式法则
- 实际上，变换不是线性的，归一化的值也不能保证是高斯的或独立的，但我们仍然期望批量归一化能够帮助更好地进行梯度传播。批量归一化对梯度传播的精确影响仍是一个有待进一步研究的领域。
4.2.批量归一化训练与步骤
4.3.批量归一化卷积网络
4.3.1 变换函数推理
- BN添加在卷积之后非线性之前
- 批处理归一化可以应用于网络中的任何一组激活。
- 由仿射变换和元素非线性组成的变换函数:
- W和b是模型的学习参数，g(x)是非线性激活函数，如sigmoid或ReLU
z = g ( W u + b ) \begin{aligned} z=g(W u + b) \end{aligned} z=g(Wu+b)
- W和b是模型的学习参数，g(x)是非线性激活函数，如sigmoid或ReLU
- 可以将输入层u归一化，但由于u可能是另一个非线性的输出，其分布的形状在训练过程中可能会改变，可能不会消除协变量移位【不合适】。
- 通过归一化 x = W u + b x = W u + b x=Wu+b，可能具有对称的非稀疏分布(根偏向于高斯分布);将其归一化很可能产生具有稳定分布的激活。
- 归一化
x
=
W
u
+
b
x = W u + b
x=Wu+b，偏差b可以被忽略，因为它的影响将被随后的平均减法抵消。因此变换函数代替为
- BN变换独立于
x
=
W
u
x = W u
x=Wu的每个维度，每个维度有单独学习参数γ(k),β(k)。
z = g ( W u ） \begin{aligned} z=g(W u） \end{aligned} z=g(Wu）
- BN变换独立于
x
=
W
u
x = W u
x=Wu的每个维度，每个维度有单独学习参数γ(k),β(k)。
4.3.2 归一化遵循卷积性质实现
- 希望归一化遵循卷积性质——这样同一特征映射的不同元素，在不同位置，以相同的方式归一化。
-
实现方法：我们将所有位置的所有激活共同标准化。
-
β
\beta
β是一个小批量元素和空间位置的特征图中所有值的集合,大小为m小批量数据集和
p
∗
q
p *q
p∗q大小的特征图，使用大小为
m
′
m^{'}
m′的有效小批量。
m ′ = ∣ β ∣ = m ∗ p ∗ q \begin{aligned} m^{'}=|\beta|=m*p*q \end{aligned} m′=∣β∣=m∗p∗q - 每个特征图学习一对参数γ(k)和β(k)，而不是每个激活。以便在推理过程中BN变换对给定特征映射中的每个激活应用相同的线性变换。
-
β
\beta
β是一个小批量元素和空间位置的特征图中所有值的集合,大小为m小批量数据集和
p
∗
q
p *q
p∗q大小的特征图，使用大小为
m
′
m^{'}
m′的有效小批量。
4.3.3.使用更高的学习率
4.3.3.1使用更高的学习率缺点
- 传统深度网络使用更高的学习率缺点
- 可能会导致梯度爆炸或消失。
- 陷入糟糕的局部极小值。
4.3.3.2批处理规范化优点
- 通过批处理规范化解决更高的学习率带来的问题：通过将整个网络的激活归一化。
- 它可以防止参数的微小变化放大为梯度中激活的较大和次优变化。
- 它可以防止训练陷入非线性的饱和状态
- 参数更新速度快。
- 通常，较大的学习率可能会增加层参数的尺度(值大小)，然后在反向传播过程中放大梯度，导致模型爆炸。然而，使用批处理归一化，通过层的反向传播不受其参数规模的影响。这个尺度不影响雅可比矩阵，也不影响梯度传播。此外，较大的权重导致较小的梯度，批量归一化将稳定参数的增长。
- 保留了反向传播过程中的梯度大小。
- 批处理归一化可能会导致层雅可比矩阵具有接近1的奇异值，这对训练是有益的，这保留了反向传播过程中的梯度大小。
- 批处理归一化规范了模型【Dropout可以被删除或降低强度】
- 当使用批处理归一化进行训练时，一个训练样本与小批中的其他样本一起被看到，并且训练网络不再为给定的训练样本产生确定性值。在实验中，我们发现这种效应有利于网络的泛化。虽然Dropout通常用于减少过拟合，但在批处理标准化网络中，我们发现它可以被删除或降低强度。
- 可以使网络训练速度更快，准确率更高。
- 使分布更加稳定，减少了内部协变量的移位。
5.阅读总结
5.1 模型实现步骤
- 深度学习模型网络较深，容易导致梯度消失问题，引入批量训练
- 批量训练，导致每个批次的数据分布不同，引入白化(数据标准化)
- 使用白化，使参数服从高斯分布，增加标准化，计算量高昂，引入通道标准化
- 由于使用批量训练，使用全局标准化期望与方差不合实际，引入小批量期望与方差标准化
- 由于标准化导致数据变化，该变了原始模型参数表达含义，引入 B N γ , β BN_{γ,β} BNγ,β转换，使模型恢复原始表达含义
- 最终得到Batch Normalization
5.2 感悟
- 不喜欢读论文，翻译不准确，理解不了专业术语，这个论文视频讲解没有找的详细的，只能自己看
- 找了好几个视频结合论文看，一篇论文读了好像有5天(原先以为一天应该就读完了，发现有些读不懂，费脑子，但是第二天再读，发现又读懂了。。。)，脑子清醒的时候效率比较高
- 写总结的时候也很乱，因为作者是根据思路一步一步实现的，就自己向前看了一下论文步骤，总结了模型实现步骤，发现，11页论文也没有多少东西。。。
- 第一次总结的文章，还有很多不太理解的，有时间再读，再修改。。。