GMM即高斯混合模型,下面根据EM模型从理论公式推导GMM:
随机变量X是有K个高斯分布混合而成,取各个高斯分布的概率为φ1,φ2,... ,φK,第i个高斯分布的均值为μi,方差为Σi。若观测到随机变量X的一系列样本x1,x2,...,xn,试估计参数φ,μ,Σ。
E-step
M-step
将多项分布和高斯分布的参数带入EM模型:
对均值求偏导:
令上式等于0,解的均值:
高斯分布的方差:求偏导,等于0:
多项分布的参数:
得到
拉格朗日乘子法:
由于多项分布的概率和为1,建立拉格朗日方程:
求解的φi一定非负,不用考虑φi≥0这个条件,求偏导,等于0:
至此GMM的推导正式完成。