夕小瑶的卖萌屋”中的 《 机器学习系列-强填EM算法在理论与工程之间的鸿沟（上）》、《 机器学习系列-强填EM算法在理论与工程之间的鸿沟（下）》。
前言
小夕曾经问一位做机器学习理论的学姐：“学姐学姐，EM算法是什么呢？”
学姐回答：“EM算法啊，就是解决包含隐变量的参数估计问题。”
小夕：
然后小夕去问一位做工程的学长：“学长学长，EM算法是什么呢？”
学长回答：“EM算法就那样啊，就是先用有标签的样本训练个分类器，再给未知标签的样本贴标签，然后再拿全部样本再训练分类器，就这样来回倒腾~”
小夕：
于是小夕自己一个人看了一整天的EM算法QAQ
EM算法在工程上确实有很多应用场景，例如：
- 半监督学习：即利用包含缺失类别标签的数据的混合数据集训练分类器。
- 数据预处理：给缺失某一维特征的值的数据补上缺失值。
- 聚类：对，聚类。
- 隐马尔科夫模型：训练隐马尔科夫模型中的参数。
- …
在不同场景中用过EM算法的攻城狮可能有这种感觉”不同场景的EM算法有时看起来差别很大，但是又总隐约觉得应该有一根线将它们串起来。“这一根线就是本文的目标。
一个栗子
工程上的EM算法非常简单，甚至有时给人Naive的感觉。比如小夕搬出一个半监督学习的大栗子，这是EM算法非常典型的工程应用。
比如，我们要做文档分类。我们手头有10000篇文章，其中只有600篇标好了类别，其余9400篇均没有类别标签。那么如何训练出一个尽可能高精度的分类器呢？
半监督学习的原理
有人可能想，既然9400篇文档都没有标签，难道这些没有标签的数据都会有助于提高分类器的精度？怎么可能呢？
其实很好理解。虽然有些文档没有类别标签，但是这些文档的内容就包含分类信息啊。这里的信息指的是“词共现”，或者广义上说“特征共现”。比如我们利用有标签的文档发现“么么哒”是非常有助于文档分类的强特征，然而我们又在没有标签的文档中发现“么么哒”经常与“抱抱”一起出现！也就是共现！那么就可以从很大程度上说明“抱抱”也是有助于文档分类的强特征。
举个生动的事实，在UseNet语料库中做新闻类别分类，若要达到70%的精度，则需要2000篇有类别标记的文档。但是，如果我们有600篇有类别标记的文档，还有10000篇无类别标记的文档，那么同样可以达到70%的精度。
攻城狮眼中的EM算法
在攻城狮眼中，对于上面这个半监督学习问题，显然是可以搬出来EM算法的。
在攻城狮眼中，EM算法可能非常简单：
- 仅利用有标签的数据，训练一个朴素贝叶斯分类器。
- 利用训练好的分类器给无类别标签的数据打上标签，顺便记下分类器对该标签的把握。然后将所有标签的把握求和，得到值sum。
- 利用全部数据重新训练朴素贝叶斯分类器。
- 重复2、3步，直到sum不再变化（或者说近似于不再变化）。
诶？明明思路很简单啊，小夕怎么会说它并没有看起来那么简单呢？
机智的你有没有想过，算法为什么要这样写呢？这就是关键啦。在进一步讨论之前，小夕用尽可能严谨而通俗的语言来讲解一下EM算法的纯理论原理。
理论家眼中的EM算法
首先声明一下，对于没有微积分与概率统计基础的同学，或者有公式恐惧症的同学，请快速下滑跳过本章节！
开门见山，EM算法的目标是使包含隐变量的数据集的后验概率或似然函数最大化，进而得到最优的参数估计。
我们知道，通过贝叶斯公式，可以发现后验概率中包含了似然函数和先验概率（忽略分母的那个evidence项），因此求最大后验概率的过程中包含了求极大似然估计的过程。因此虽然EM算法的目标是最大化后验概率或似然函数，而本质上就可以认为是最大化似然函数。因此下面我们直接讨论最大化似然函数。
似然函数设为l(θ)，描述样本可以用多维随机变量（对应于机器学习的多维特征），每一维的随机变量都可以认为服从某种概率分布。因此要描述每一维的样本情况，我们只需要估计出这一维度的概率分布模型的参数就可以啦。而将所有维度的分布模型的参数放在一起，就是似然函数的参数，即θ。因此根据定义，
即似然函数代表着该包含m个样本的样本集存在的合理性（似然函数值越大，该样本集的存在就越合理，即意味着参数取的越正确），描述每个样本的多维随机变量的分布模型的参数即上面的θ，p(x; θ)代表着固定θ的值，求p(x)的概率。
第二行的z则代表隐变量，确切的说是隐含的随机变量。哈？看不懂第二步怎么来的？请回去复习微积分...算了，小夕太过善良，还是讲讲吧。
显然，这里似然函数讨论的是离散情况（毕竟都是∑符号而不是∫符号呀），因此，在p(x; θ)中加上z这个随机变量后，只能将这个随机变量积分掉才能保证加上z以后的式子依然等于p(x;θ)，当然，z是离散的，所以积分掉的意思是“求和”掉。
（回顾一下，对于任何一个连续随机变量x，∫p(x)dx=1；对于任何一个离散随机变量x，∑p(x)=1）
好，懂了第二步，在继续往下推之前，想一想我们可不可以直接计算第二步呢？当然不行啦，不仅有θ，还有隐变量啊。因此继续往下推。
诶？又出来个Qi。这个Qi是什么呢？这个Qi是隐变量z的概率分布函数啦。为什么要加上它呢？再好好观察一下最后这一步中的这一部分！
有没有发现什么！？对！这就是数学期望呀~别说数学期望都忘了啊，小夕还是再啰嗦一下吧...对于某离散随机变量X来说，其数学期望
看吧~加上Qi这个概率分布函数后，是不是就出来了一个数学期望啦！但好像还是不能计算，懂数值计算的读者应该知道log(∑…)的计算量是十分恐怖的，而且我们还被我们加上了一个不知道怎么计算的Qi！！！因此要继续变！！！怎么变呢？Jensen不等式来啦！
直接抠了个图（看不懂没关系）：
通过这个Jensen不等式，我们发现可以进一步往下推了。
诶？虽然是往下推了一步，但是我们必须要让等号恒成立才行啊，否则这个推理是不成立的呀。。。那么怎么让等号恒成立呢？
根据Jensen不等式的等号成立条件，E[f(X)]≥f(E[X])中的随机变量X必须恒等于常数！！也就是说：
≡c（c为常数）
于是重点来了，将分母的Qi移到右边，将右边的c移到左边！我们发现：
好，再利用
（概率分布函数的基本性质），发现我们可以继续这样推！
推到最后竟然是这个？？？？？
这个不就是每个样本的隐变量z的后验概率吗！！！
也就是说我们只要求出来了每个样本的隐变量的每个取值的后验概率，就能得到这个样本的Qi！！！
就能让Jensen不等式的等号成立！！！
就能让log(∑…)的不可计算成功变成可计算！！！
就能计算我们的目标——似然函数啦！！！
所以，总之，我们首先固定一个θ（也就是随便给θ取个初始值），然后我们计算出隐变量z的取值的后验概率，就能让这个包含隐变量的似然函数变成传统意义上的似然函数~也就是只考虑参数θ的似然函数~（这个过程称为E步）
而最大化传统意义上的似然函数就不用啰嗦啦~那就用传统的方法最大化呀~最大化了以后就得到了当前的最优θ。（这个过程称为M步）
而得到了当前的最优θ以后，我们又可以重新计算出隐变量z的取值的后验概率，就能……~~~总之就又可以E步，然后又M步，然后又E，又M……
就这样一直重复，一直重复，直到似然函数的值不再变化，此时每个样本的Qi就是每个样本的标签~而此时的θ就是最终那个最优的θ啦~
至此，理论上的EM算法完成了，最终得到的就是我们要估计的最优参数θ，顺便得到了每个样本的隐变量的取值。
好桥梁，小夕造
可以看到，我们在理论EM中的目标是最大化似然函数！而小夕也讲到了，其实最大化后验概率的本质工作就是最大化似然函数。
这时再回顾一下工程上看似简单的EM算法：
- 仅利用有标签的数据，训练一个朴素贝叶斯分类器。
- 利用训练好的分类器给无类别标签的数据打上标签，顺便记下分类器对该标签的把握。然后将所有标签的把握求和，得到值sum。
- 利用全部数据重新训练朴素贝叶斯分类器。
- 重复2、3步，直到sum不再变化（或者说近似于不再变化）。
诶？发现了没有~在工程上，我们在第2步中收集分类器对每个标签的把握并求和，那不就是收集的整个数据集的后验概率嘛！不就是在近似计算似然函数嘛！
因此，显然，在工程上的第4步，也就是不停的重复2、3步，肯定会让分类器的精度越来越大呀，因此分类器会对每个标签的把握越来越大！因此这不就是相当于理论上的最大化似然函数嘛！
再想，在工程上，第3步的训练朴素贝叶斯分类器的本质是什么？不就是训练朴素贝叶斯分类器的参数嘛！而朴素贝叶斯分类器的参数是什么？不就是先验概率跟每个类别下的每个特征的每个值的后验概率嘛！而先验概率不用管了，那每个类别下的每个特征的每个值的后验概率合在一起是什么？不就是理论EM算法中的每个随机变量的概率分布模型的参数嘛！恍然大悟啊有没有？！
路人某：╮(╯_╰)╭并没有。
小夕：(╯°Д°)╯︵ /(.□ . \)
好吧，给你几分钟时间接受一下训练分类器的理论意义竟然是计算随机变量所服从的概率分布模型的参数这个事实。
工程EM的第2、3、4步竟然完完全全的卡到了理论EM算法的相应位置。那么理论EM算法还有哪一步没有对应上呢？当然是参数θ的初始化啦~相信机智的你已经想到了，那就是工程EM中的第1步所做的事情啦。
细心的你又有没有留意到什么不同之处呢？
如果能留意到，那就非常厉害了。还记得理论EM中，我们计算似然函数的过程中，是要计算无标签样本的每种标签取值的概率之和的！对，就是下面这货：
然而，我们在工程上计算似然函数则是先用分类器预测一个类别，然后叠加该类别的后验概率！
这意味着什么呢？显然意味着忽略了样本为其他类别的概率呀！这样做，肯定导致导致计算出的后验概率没有那么准，但是，却极大的提高了计算效率！
因此，本质上讲，工程上，半监督学习中的EM算法不过是简化了计算、优化了初始化的理论EM模型罢了╮(╯▽╰)╭
同样的道理，在其他工程应用场景中，EM算法必然是以数学理论为主线，从某些角度来对数学过程进行简化或优化，从而完成工程场景的适配。这也是为什么讨厌数学的攻城狮可能会记住很多场景下的EM算法，而喜欢数学（最起码不要跟数学打起来）的攻城狮则以不变应万变，早已看透一切(￣∇￣)
更多精彩文章，欢迎关注小夕的订阅号”夕小瑶的卖萌屋“o(≧v≦)o