统计语言模型

时间:2022-03-10 12:53:56

1.一句话真正意思的概率P(S)=P(W1,W2,...,Wn)

     根据条件概率变形:
         P(W1,W2,...,Wn)=P(W1)P(W2|W1)...P(Wn|W1,W2,...,Wn-1)——统计语言原始模型
          
     假设一个词出现的概率只跟上一个词有关(马尔科夫假设),则原始模型变形为
          P(S)=P(W1)P(W2|W1)...P(Wn|Wn-1)——统计语言模型的二元模型
          可以通过#(wn,wn-1)/#(wn)来计算P(wn|wn-1),其中#(wn,wn-1)表示两者同时出现的次数
 
     一般的,一个词出现的概率与前N个词有关
          即P(wi|w1,w2,..,wi-1)=P(wi|wi-N+1,w2,...wi-1)
          得出统计语言的N元模型:一般用3元模型,google用的是4
 
2.规避词出现的概率为0的平滑过渡方法
     模型应用中会出现#(wn,wn-1)=0的情况,其规避思路如下:
          对于没有看见的事件,我们不能认为其发生的概率为0,因此我们可以从概率的总量中,分配一个很小的比例给这些看不见的时间
          预料库的总词数为N,出现r次的单词有Nr个,则 统计语言模型统计语言模型
               则r次的词在整个词料库中的相对频度为r/N
          当r较小时,其统计可能不可靠,因此出现r次词的概率应该用更小一点的次数dr=(r+1)*Nr+1/Nr,而显然 统计语言模型统计语言模型.
          一般来说,出现一次的词的数量比出现两次的词多,两次的比三次的词多,这种规律称为Zipf定律,
 
          实际中,当频率超过阀值的词,他们的概率估计就是其在语料库中的相对频度,而小于此频率的词,其概率估计就小于他们的相对频度,因为根据大数定律,出现次数越高的词,它的相对频度越接近概率分布
           统计语言模型统计语言模型 
 
3.预料的选取问题:
     如果训练预料和模型应用的领域脱节,模型的效果会大打折扣
     对于模式的、量大的嗓音,在训练集中必须进行过滤