机器学习-EM算法-GMM模型笔记

时间:2021-03-18 05:33:51

GMM即高斯混合模型,下面根据EM模型从理论公式推导GMM:

    随机变量X是有K个高斯分布混合而成,取各个高斯分布的概率为φ1,φ2,... ,φK,第i个高斯分布的均值为μi,方差为Σi。若观测到随机变量X的一系列样本x1,x2,...,xn,试估计参数φ,μ,Σ。

    E-step

    机器学习-EM算法-GMM模型笔记

M-step

    将多项分布和高斯分布的参数带入EM模型:

    机器学习-EM算法-GMM模型笔记

    对均值求偏导:

     机器学习-EM算法-GMM模型笔记

    令上式等于0,解的均值:

    机器学习-EM算法-GMM模型笔记

    高斯分布的方差:求偏导,等于0:

    机器学习-EM算法-GMM模型笔记

    多项分布的参数:

    机器学习-EM算法-GMM模型笔记

    得到

    机器学习-EM算法-GMM模型笔记

        拉格朗日乘子法:

        由于多项分布的概率和为1,建立拉格朗日方程:

        机器学习-EM算法-GMM模型笔记

        求解的φi一定非负,不用考虑φi≥0这个条件,求偏导,等于0:

        机器学习-EM算法-GMM模型笔记

至此GMM的推导正式完成。