联合熵和条件熵
联合熵
联合集 X Y 上, 对联合自信息 的平均值称为联合熵:
当有 n 个随机变量 , 有
信息熵与热熵的关系
信息熵的概念是借助于热熵的概念而产生的。
1.信息熵与热熵含义相似 2.信息熵与热熵的区别: 1)信息熵的不增原理;2)热熵不减原理。
3.热熵的减少等于信息熵的增加。
条件熵
联合集 上, 条件自信息的平均值定义为条件 熵:
推广:
注意:
注意: 表示已知变量 后, 对变量 尚存在的平均不确定性(存在疑义)。
定义:一个平稳的时域离散随机过程的熵速率 (entropy rate) 定义为
具有记忆性的信源的熵速率定义为
Example 6. 两个二进制随机变量 和 , 其联合分布为 p(X=Y=0)=p(X= 0, Y=1)=p(X=Y=1)=1 / 3 . 计算 H(X), H(Y),, , and H(X, Y) . Solution:
各类熵的关系
- 条件熵不大于信息熵
熵的不增原理:
- 联合熵不大于个信息熵的和,即
仅当各 相互独立时, 等号成立。
四、离散无记忆信源的序列熵
马尔可夫信源的特点:无后效性。
发出单个符号的信源
- 指信源每次只发出一个符号代表一个消息;
发出符号序列的信源
- 指信源每次发出一组含二个以上符号的符号序列代表一个消息。
- 当信源无记忆时
信源的序列熵
- 若又满足平稳特性, 即与序号 l 无关时:
- 信源的序列熵
- 平均每个符号(消息)熵(符号熵) 为
例: 有一个无记忆信源随机变量 , 等概率分布,若以 单个符号出现为一事件, 则此时的信源熵:
即用 1 比特就可表示该事件。
- 如果以两个符号出现 ( 的序列)为一事件, 则随机序 列 , 信源的序列熵
即用2比特才能表示该事件。
- 信源的符号熵
离散有记忆信源的序列熵
- 对于有记忆信源,就不像无记忆信源那样简单, 它必须 引入条件熵的概念, 而且只能在某些特殊情况下才能 得到一些有价值的结论。
- 对于由两个符号组成的联合信源, 有下列结论:
- 当前后符号无依存关系时,有下列推论:
- 若信源输出一个L长序列,则信源的序列熵为
- 平均每个符号的熵为:
- 若当信源退化为无记忆时:若进一步又满足平稳性时
平稳有记忆N次扩展源的熵
设 为离散平稳有记忆信源, 的 次扩展源记为 ,
根据熵的可加性,得 根据平稳性和熵的不增原理,得, 仅当无记忆信源时等式成立。
对于 的 次扩展源, 定义平均符号熵为:
信源 的极限符号熵定义为:
极限符号熵简称符号熵, 也称熵率。
定理: 对任意离散平稳信源, 若 , 有:
(1) 不随 而增加; (2) (3) 不随 N 而增加; (4) 存在,且
该式表明, 有记忆信源的符号熵也可通过计算极限条件熵得到。