文件名称：基于互信息的语言模型回退平滑算法 (2009年)
文件大小：159KB
文件格式：PDF
更新时间：2024-06-15 23:43:11
工程技术 论文
针对二元模型,提出了一种基于互信息的回退( MI Back-off)平滑算法。从互信息的角度,分析词之间的 搭配关系,根据模型中每个二元对的互信息对其概率进行不同程度的折扣,并利用低阶模型对零概率事件进行 补偿,通过极小化困惑度的原则体现新算法的合理性。在不同类别测试集下,该平滑算法与传统 Katz平滑算法 相比,模型困惑度下降均超过20%。