HMM隐Markov模型的原理及应用建模

时间:2022-11-06 12:48:33

这里不讲定量的公式。(由于我也没全然弄明确。不想误人子弟)仅仅谈高速定性理解。

隐Markov模型原理

隐Markov模型(Hidden Markov Model。HMM)的实质就是:已知几种原始分类,预測未知原始分类的观測状态的原始分类的过程。其应用是求观測状态到分类的近似最大似然预计。近似是由于理论最大的实际计算量太大,无法做,所以找了个优化求近似最优的方法,简称EM算法。

一个直观理解的样例:

问题题干:

设某人在3个装有红白两种颜色球的盒子中,任取一个盒子,然后在此盒子中连续抽取m次,每次抽取且记录颜色之后放回盒子里。假定各个盒子的内容分别为:

         红球数        白球数      

盒1   90              10            

盒2   50              50           

盒3   40              60            

如今得到一个记录(红。红。红,红。白)(即m=5) 。可是不告诉我们球出自哪个盒子,该怎样猜測是从哪个盒子取出的观測样本呢?

问题分析:

已知三种原始分类,预測未知原始分类的观測状态(红,红。红,红,白)的原始分类的过程。每次概率是固定的,直观感受,出现该记录最大可能是出自盒1。

HMM隐Markov的基本思想就是这么简单。

略微变一下题目,如果三种盒子里抽取方式不同。即

         红球数       白球数      抽取方式

盒1   90              10            随机取。记下颜色后不放回

盒2   50              50            随机取,记下颜色后放回

盒3   40              60            随机取,记下颜色后不放回,并放入一个红球

则问题变成了盒1和盒3的每次抽取的样本概率受上次抽取状态的决定,与更之前的状态无关。

无论问题怎么变复杂。都是从已知原始分类(先验知识),根据概率理论。预測观測样本到原始分类的问题。

隐Markov模型的应用

语音识别:音素相应上例中的球

手写体汉字识别:像素相应上例中的球

实际处理过程中会先预处理,得到保持特征不变性的量,而不是简单的音素、像素。

补充

1、EM:E步骤。求期望,M步骤。求最大值。针对在測量数据不全然时,一种近似最大似然预计的统计方法。

2、隐Markov模型扩展:刚才讲的都是简单离散概率模型的隐Markov模型,实际情况能够推广到连续随机变量。典型的有正态分布、Gamma分布,或者某些混合分布等。

比方最常写在一起的GMM-HMM。即高斯混合模型-隐形马尔科夫模型。该模型即是卷积神经网络的基础。

3、GMM-HMM的语音识别应用,參考http://blog.csdn.net/abcjennifer/article/details/27346787

4、GMM即多变量的高斯模型。在机器学习的异常检測中也用到。能够參考http://blog.csdn.net/lonelyrains/article/details/49861491