最大熵模型

【文件属性】：
文件名称：最大熵模型
文件大小：961KB
文件格式：PPT
更新时间：2015-06-12 07:50:36
最大熵 模型 MEMs 最大熵模型（Maximum Entropy Models, MEMs）是基于最大熵理论的统计模型， 广泛应用于模式识别和统计评估中。最大熵原理有一个很长的历史，其中最大熵理论方面的 先驱E.T.Jaynes 在1990 年给出了最大熵原理的基本属性[10]：最大熵概率分布服从我们已知 的不完整信息的约束。主要思想是，在用有限知识预测未知时，不做任何有偏的假设。根据 熵的定义，一个随机变量的不确定性是由熵体现的，熵最大时随机变量最不确定，对其行为 做准确预测最困难。最大熵原理的实质是，在已知部分知识前提下，关于未知分布最合理的 推断是符合已知知识的最不确定或最随机的推断，这是我们可以做出的唯一不偏不倚的选 择。最大熵的原理可以概括为，将已知事件作为约束条件，求得可使熵最大化的概率分布作 为正确的概率分布