高斯分布

时间:2024-05-18 13:43:51
  • 高斯分布的数学表达式
    p(x) = \frac{1}{\sqrt{2\pi} \sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}
  • 标准高斯分布
    高斯分布
    当均值变化而方差不变的时候,可以看作将图像进行了平移。当均值不变,而标准差变化的时候,可以看作将图像进行了“挤”或“压”(方差越大越扁).总结来说,\mu决定了高斯分布的对称轴,\sigma决定了高斯分布的扩散程度.
  • 求解高斯分布 即均值和方差
    最大似然估计 MLE
    似然函数(Likelihood)
    似然指的是在给定模型参数的情况下观测值出现的概率。它被定义成了一个条件概率p({x_i}|\mu,\sigma)。比如,在上一节的小球例子中,{x_i}表示所有“黄色”像素点的色相值,如果给定了高斯分布的\mu和\sigma,我们就能算出{x_i}出现的概率。
  • 最大似然概率,就是在已知观测的数据的前提下,找到使得似然概率最大的参数值
    \hat{\mu}, \hat{\sigma}=\text{arg}\ \underset{\mu,\sigma}{\max}\ {\prod_{i=1}^Np(x_i|\mu,\sigma)}

  • 多元高斯模型
    p(\boldsymbol{x}) = \frac{1}{(2\pi)^{D/2}|\Sigma|^{1/2}}\exp{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol\mu)^T\Sigma^{-1}(\boldsymbol{x}-\boldsymbol\mu)}

  • 混合高斯模型
    高斯混合模型就是多个单高斯模型的和。它的表达能力十分强,任何分布都可以用GMM来表示。
    p(\boldsymbol{x})=\sum_{k=1}^Kw_kg_k(\boldsymbol{x}|\boldsymbol\mu_k,\Sigma_k)
    其中,g_k是均值为\boldsymbol\mu_k,协方差矩阵为\Sigma_k的单高斯模型,w_k是g_k的权重系数(w_k>0, \sum_{k=1}^Kw_k=1),K是单高斯模型的个数。
GMM也有缺点。其一,参数太多了,每一个单高斯模型都有均值、协方差矩阵和权重系数,
另外还有单高斯模型的个数K也是其中一个参数,这使得求解GMM十分复杂。
其二,有时候所建立的高斯混合模型对观测值的建模效果很好,但是其他值可能效果不好,
我们称这个缺点为过度拟合(Overfitting)
  • 求解高斯混合模型:EM算法 最大期望算法
    用迭代的思想求解

参考文献
https://zhuanlan.zhihu.com/p/21648507?refer=robotics-learning