摘要：在深度神经网络训练的过程中，由于网络中参数变化而引起网络中间层数据分布发生变化的这一过程被称为内部协变量偏移（Internal Covariate Shift），而 BN 可以解决这个问题。
本文分享自华为云社区《神经网络基础部件-BN层详解》，作者：嵌入式视觉 。
一，数学基础
1.1，概率密度函数
随机变量（random variable）是可以随机地取不同值的变量。随机变量可以是离散的或者连续的。简单起见，本文用大写字母 XX 表示随机变量，小写字母 xx 表示随机变量能够取到的值。例如，x1x1 和 x2x2 都是随机变量 XX 可能的取值。随机变量必须伴随着一个概率分布来指定每个状态的可能性。
概率分布（probability distribution）用来描述随机变量或一簇随机变量在每一个可能取到的状态的可能性大小。我们描述概率分布的方式取决于随机变量是离散的还是连续的。
当我们研究的对象是连续型随机变量时，我们用概率密度函数（probability density function, PDF）而不是概率质量函数来描述它的概率分布。
更多内容请阅读《花书》第三章-概率与信息论，或者我的文章-深度学习数学基础-概率与信息论。
1.2，正态分布
当我们不知道数据真实分布时使用正态分布的原因之一是，正态分布拥有最大的熵，我们通过这个假设来施加尽可能少的结构。
实数上最常用的分布就是正态分布(normal distribution)，也称为高斯分布 (Gaussian distribution)。
如果随机变量 XX ，服从位置参数为 μμ、尺度参数为 σσ 的概率分布，且其概率密度函数为:
