AE
自编码器，无监督的特征学习，其目的是利用无标签数据找到一个有效低维的特征提取器。
AE学习过程使用无监督，输入样本$x$通过编码器获得低维特征$z$，最后通过解码器重构输入数据获得$\hat x$，loss直接最小化$||x-\hat x||^2$即可实现无监督训练。
学习完成之后，编码器可以作为监督学习的特征提取器，解码器就可以做图片生成器。在低维空间上非编码处进行解码可以生成新的不同于输入的样本。
但是问题在于因为神经网络只是稀疏地记录下来你的输入样本和生成图像的一一对应关系，所以，如果介于某两个特征之间的某个点，编码器并没有学习到码空间里。因此无法实现码空间随机采样即可生成对应的图片，随机采样的点在解码时一定不会生成我们所希望特征的图像。码空间的泛化能力基本为零，所以AE模型训练出来的解码器存在缺陷。
用大白话说一下，中间灰色分割线是我们学到的码空间， 下边的月亮是输入，上边的月亮是重建的输出。AE的编码器只能知道，满月对应码空间中间那个点，把这个点给AE的解码器，就能重建出一个满月。但是如果你说左数第二个点会生成什么呢？解码器说：啊？编码器没告诉过我啊。 所以是生成不出你期望的东西的。那怎么办呢？我们可以使用VAE。
VAE
编码器
VAE的编码器不再是对一个样本直接生成一个码空间上的点，而是使一个样本对应一个分布。
那怎么做到这一点呢？AE中编码器直接得到一个低维特征表示。而VAE中会生成一组均值$\mu$（其实$\mu$就是原来的编码$z$）和标准差$\exp(\sigma)$。这样编码器出来的东西就可以变成一个正态分布$\mathcal N(\mu,\exp(\sigma)^2)$，再从这个正态分布中采样获得$z$编码。但是看下图，VAE出来的编码是$z=\exp(\sigma) \times \epsilon + \mu$。这里是用了参数重整化技巧。
一步一步解释：
- 为什么要给$\sigma$加上$\exp$? 因为标准差必须是正的，但$\sigma$是从神经网络出来的，可能是负的，所以取$\exp (\sigma)$确保其是正值。
- $\epsilon$是从标准正态分布中采样的一组噪声。
为什么$\mathcal N(\mu,\exp (\sigma)^2)$可以变成$\exp(\sigma) \times \epsilon + \mu$？ 参数重整化技巧 看一下下图左边的计算图，$\mathcal N(\mu,\sigma^2)$是神经网络$\phi$学出来的，分布中采样出来的$z$是可导的，二者在学习过程中可以梯度反传，但是问题出在$\phi$学到的分步中采样获得$z$这个过程是不可导的。
那我们就要想办法： $\begin{aligned} & \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left(-\frac{(z-\mu)^2}{2 \sigma^2}\right) d z \ =& \frac{1}{\sqrt{2 \pi}} \exp \left[-\frac{1}{2}\left(\frac{z-\mu}{\sigma}\right)^2\right] d\left(\frac{z-\mu}{\sigma}\right) \end{aligned}$ 上边公式可以知道$\epsilon = \frac{z-\mu}{\sigma}$是服从标准正态分布的。 所以我们就可以从 $\mathcal{N}\left(\mu, \sigma^2\right)$中采样一个 $z$ ，相当于从 $\mathcal{N}(0, I)$中采样一个 $\varepsilon$，然后让 $z=\mu+\varepsilon \times \sigma$ 。 于是，我们将从$\mathcal{N}\left(\mu, \sigma^2\right)$采样变成了从$\mathcal{N}(0, I)$中采样，然后通过参数变换得到从 $\mathcal{N}\left(\mu, \sigma^2\right)$中采样的结果。这样一来，采样这个操作就不参与梯度下降了，改为采样的结果参与，使得整个模型可训练了。
这就是参数重整化技巧（ reparameterization trick ） 。
补一个链接：变分贝叶斯学习（variational bayesian learning）及重参数技巧（reparameterization trick） - zcsh - 博客园 (cnblogs.com)
现在模型学习的码空间中一个样本从原来对应的单点变为一个分布，分布上采样的点可以重建输入样本。那两个分布中心之间的点会被覆盖到。采样码空间两个分布中心之间的点的时候，模型就会尽力产生与两个分布中心都相似的东西，因此模型获得一定的泛化能力。
比如我们输入一个满月，获得绿色的分布，那绿色分布上采样得到的点就应该尽力重建一个满月。当我们从绿色蓝色分布共同覆盖到的地方采样的时候，它应该尽力重建一个既像满月又像弯弯月亮的的东西。
损失函数
在AE中我们只需要最小化重构损失，让重建图像和原图尽量相像。
现在我们就不能只最小化重构损失了，因为
是模型自己学的，如果不加约束，那它可以直接学成0，开摆了，那模型就会退化回AE。所以需要加条件限制
。
加一个损失最小化$\sum_{i=1}^n\left(\exp(\sigma_i)-(1+\sigma_i)+\mu_i^2\right)$
- 下图中蓝色的线是$\exp(\sigma_i)$，红色的线是$(1+\sigma_i)$，$\exp(\sigma_i)-(1+\sigma_i)$是绿色曲线，绿色曲线最低点是$\sigma_i = 0$的时候，也就是$\exp(\sigma)=1$的时候。
- 而$\mu _i^2$最小的时候是$\mu_i = 0$的时候
也就是说这个损失的目的是为了让编码器出来的分布$z\sim \mathcal N(\mu,\exp(\sigma)^2)$。让其在标准正态分布的空间上。
这段是我个人的理解，如果大家有什么观点可以和我交流，如果我理解有错误欢迎各位大佬指正。
解码器
在说解码器怎么做到这一点之前我们先看一下什么是高斯混合模型。
高斯混合模型
上图是一个高斯混合模型，我们可以看到上边有一条黑线，实际生活中我们可能无法知道这条线的具体分布，我们就无法获取到它的表达式，但是我们可以用多个高斯分布去逼近它。
下边的红线就是用七个高斯分布去逼近这条黑线，来模仿它的分布。这就是一个高斯混合模型。 混合高斯的概率分布为$P(x) = \sum_{i=1}^7P(i)P(x|i)$，$i$是高斯分布组件的数量。 在图中的例子中，我们是用到七个高斯组件，这七个高斯模型要有对应的$P(i)$概率，$\sum P(i) = 1$。我们将其认为是高斯混合模型中每个高斯分布的权重。 看右边的图，如果我们想要从高斯混合模型中采样一个值的时候，首先我们选择一个权重比如我们取到$P(3)$，然后找到其对应的高斯分布$x|3 \sim \mathcal N (\mu_3,\sigma_3^2)$ 进行采样即可。
所以对于一个高斯混合模型，我们需要两项：
- $i \sim P(i)$多项式分布
- $x|i \sim \mathcal N (\mu^i,\sigma'^i)$
我举的例子中多项分布是有限的离散的，所以公式是$P(x) = \sum_{i=1}^7P(i)P(x|i)$，但是如果我们高斯组件是无限的连续的时候，要用$P(x) = \int P(i)P(x|i)di$。 无限连续的意思是下边那七个变成一个连续分布，比如正态分布。
现在我们假设有一个标准正态分布p(z)，那我们用它采样计算高斯组件就是$p(x) = \int p(z)p(x|z)dz$。
那你想问，高斯混合模型和我的VAE有什么关系？
我们的数据集，即我们的输入对象是符合一定的分布的。
假设现在我们有一个宝可梦的分布，可以看到第二个波峰比较容易生成蒜头王八，第三个波峰比较容易生成喷火龙，第四个波峰比较容易生成水箭龟。
如果我们模型学到的分布能模拟这个原始图像的分布，我们就可以从中采样去生成其他的组合体宝可梦。
编码器的作用是把输入分布编码成一个码空间（假设是标准正态分布），解码器的作用就是从这个码空间中采样，去尽力还原编码器的那个分布。
比如我们这个宝可梦分布，当我们训练完一个VAE之后，宝可梦分布会被编码器编码成为尽量接近于 标准正态分布 的分布了，现在解码器就要从这个接近于 标准正态分布 的分布去重建宝可梦分布。
编码器学到的不是单个的值，而是一个连续分布 。 那VAE的解码器就是使用这个分布，解码，再用极大似然去估计宝可梦分布。
解码器就是要计算极大似然估计$L=\sum_x \log p(x)$，其中$x$代表每一个样本。就是让你每个样本的码$z$都能重建出一个$p(x)$接近于图片$x$的分布，让每个样本重建的分布都尽量地接近。
我们先抛开前边的那个$p(x) = \int p(z)p(x|z)dz$。
解码器计算极大似然估计$L=\sum_x \log p(x)$，其中$\log p(x) = \int q(z|x)\log p(x)dz$，可以看到这是一个关于q分布的积分。好吧，怕你们不懂，再写写$\int q(z|x)\log p(x)dz = \log p(x)\int q(z|x)dz = p(x) \times 1$，其中q是关于z的分布，对z的分布做dz积分就是1啊。
接着往下可以写为$\int q(z|x)\log p(x)dz = \int q(z|x)\log \frac{p(z,x)}{p(z|x)}dz$因为条件概率公式$P(A \mid B)=\frac{P(A B)}{P(B)}$。
接下来这一步也没问题$\int q(z|x)\log \frac{p(z,x)}{p(z|x)}dz = \int q(z | x) \log \frac{p(z, x)}{q(z |x)} \frac{q(z| x)}{p(z | x)} d z$，分子分母同时乘以一个数，结果不影响。
公式再给他拆一下$\int q(z | x) \log \left(\frac{P(z, x)}{q(z |x)}\right) d z+\int q(z| x) \log \left(\frac{q(z|x)}{P(z| x)}\right) d z$，这一步用的是初中的对数公式吧$\log(AB) = \log A + \log B$。拆成两部分之后我们可以知道$\int q(z| x) \log \left(\frac{q(z|x)}{P(z| x)}\right) d z$是算了一下$K L(q(z| x) | p(z | x))$，我们知道KL散度一定是大于等于0的，所以我们就可以丢了KL散度，用另一部分做一个边界（lower bound缩写为$L_b$)。
到这里公式就推完了，整个极大似然估计就是算：
$$
\begin{aligned}
\log p(x) &= \int q(z|x)\log p(x)dz \
&= \int q(z|x)\log \frac{p(z,x)}{p(z|x)}dz \
&=\int q(z | x) \log \frac{p(z, x)}{q(z |x)} \frac{q(z| x)}{p(z | x)} d z \
&=\int q(z | x) \log \left(\frac{P(z, x)}{q(z |x)}\right) d z+\int q(z| x) \log \left(\frac{q(z|x)}{P(z| x)}\right) d z \
& \geq \int q(z | x) \log \frac{p(x |z) p(z)}{q(z | x)} d z
\end{aligned}
$$
现在$\log p(x) = L_b + KL(q(z| x) | p(z | x))$。这个lower bound越高，意味着$\log p(x)$越大，所以我们就可以转化为最大化$L_b$。
我们在这里调节p和q的概率，就可以使L_b不断增大，以此提高p(x)，并且如果我们不断增大$L_b$的占比，就会导致$KL(q(z| x) | p(z | x))$减小，从而使$q(z| x)$ 和 $p(z | x)$更为接近。
紧接着我们继续看一下$L_b$的公式：
$$
\begin{aligned}
L_b&=\int_z q(z | x) \log \left(\frac{p(z, x)}{q(z |x)}\right) d z \
&=\int_z q(z |x) \log \left(\frac{p(x |z) p(z)}{q(z | x)}\right) d z \&=\int q(z | x) \log \left(\frac{p(z)}{q(z | x)}\right) d z+\int q(z| x) \log p(x | z) d z \end{aligned}
$$
我们又可以发现前半项又是一个KL散度，即-K L(q(z | x) | p(z))。q(z|x)是给编码器x让它获得z，p(z)是前边假设的标准正态分布。如果我们最小化-K L(q(z| x) | P(z))那就相当于让编码器结果越来越接近标准正态分布，也就对上了我们在编码器部分讲的那个损失最小化
。
那最后就变成了计算最大化$L_b$的后半项$\int q(z |x) \log p(x|z) d z=E_{q(z |x)}[\log p(x | z)]$。就是根据$q(z|x)$获得$\log p(x|z)$的最大期望。现在我们发现已经丢弃掉假设的$p(z)$了，其实这里并不要求$p(z)$一定是标准正态分布，也可以是别的分布，但是在VAE原文中是假设这里是标准正态分布，也可以设置别的分布的，可以去看一下补充内容中苏神的博客。
总体框架
都讲完了，放一下总体框架图。
我画的：
作者论文中的：
VAE的效果
下图是人家拿VAE做的数据增广，既然模型有了泛化能力，那就可以拿去做数据增广了。
其他材料
代码复现：VAE代码极简复现 - 掘金 (juejin.cn)
论文：[1312.6114] Auto-Encoding Variational Bayes (arxiv.org)
作者博士论文附件：????cover_and_thesis.pdf
代码：GitHub - AntixK/PyTorch-VAE at 8700d245a9735640dda458db4cf40708caf2e77f