信息论与编码(三)| 联合熵和条件熵

时间:2022-10-08 10:15:26

联合熵和条件熵

联合熵

联合集 X Y 上, 对联合自信息 信息论与编码(三)| 联合熵和条件熵 的平均值称为联合熵:

信息论与编码(三)| 联合熵和条件熵

当有 n 个随机变量 信息论与编码(三)| 联合熵和条件熵 , 有

信息论与编码(三)| 联合熵和条件熵

信息熵与热熵的关系

信息熵的概念是借助于热熵的概念而产生的。

1.信息熵与热熵含义相似 2.信息熵与热熵的区别: 1)信息熵的不增原理;2)热熵不减原理。

3.热熵的减少等于信息熵的增加。

条件熵

联合集 信息论与编码(三)| 联合熵和条件熵 上, 条件自信息信息论与编码(三)| 联合熵和条件熵的平均值定义为条件 熵:

信息论与编码(三)| 联合熵和条件熵

推广:

信息论与编码(三)| 联合熵和条件熵

注意:

信息论与编码(三)| 联合熵和条件熵

注意: 信息论与编码(三)| 联合熵和条件熵 表示已知变量 信息论与编码(三)| 联合熵和条件熵 后, 对变量 信息论与编码(三)| 联合熵和条件熵 尚存在的平均不确定性(存在疑义)。

定义:一个平稳的时域离散随机过程的熵速率 (entropy rate) 定义为

信息论与编码(三)| 联合熵和条件熵

具有记忆性的信源的熵速率定义为

信息论与编码(三)| 联合熵和条件熵

Example 6. 两个二进制随机变量 信息论与编码(三)| 联合熵和条件熵信息论与编码(三)| 联合熵和条件熵 , 其联合分布为 p(X=Y=0)=p(X= 0, Y=1)=p(X=Y=1)=1 / 3 . 计算 H(X), H(Y),信息论与编码(三)| 联合熵和条件熵,信息论与编码(三)| 联合熵和条件熵 , and H(X, Y) . Solution:

信息论与编码(三)| 联合熵和条件熵

各类熵的关系
  1. 条件熵不大于信息熵

熵的不增原理: 信息论与编码(三)| 联合熵和条件熵

  1. 联合熵不大于个信息熵的和,即
    信息论与编码(三)| 联合熵和条件熵
    仅当各信息论与编码(三)| 联合熵和条件熵 相互独立时, 等号成立。
  2. 信息论与编码(三)| 联合熵和条件熵
  3. 信息论与编码(三)| 联合熵和条件熵
四、离散无记忆信源的序列熵

信息论与编码(三)| 联合熵和条件熵

马尔可夫信源的特点:无后效性。

发出单个符号的信源

  • 指信源每次只发出一个符号代表一个消息;

发出符号序列的信源

  • 指信源每次发出一组含二个以上符号的符号序列代表一个消息。
  • 当信源无记忆

信息论与编码(三)| 联合熵和条件熵

信源的序列熵

信息论与编码(三)| 联合熵和条件熵

  • 若又满足平稳特性, 即与序号 l 无关时:
    信息论与编码(三)| 联合熵和条件熵
  • 信源的序列熵
    信息论与编码(三)| 联合熵和条件熵
  • 平均每个符号(消息)熵(符号熵) 为
    信息论与编码(三)| 联合熵和条件熵

例: 有一个无记忆信源随机变量 信息论与编码(三)| 联合熵和条件熵 , 等概率分布,若以 单个符号出现为一事件, 则此时的信源熵:

信息论与编码(三)| 联合熵和条件熵

即用 1 比特就可表示该事件。

  • 如果以两个符号出现 (信息论与编码(三)| 联合熵和条件熵 的序列)为一事件, 则随机序 列 信息论与编码(三)| 联合熵和条件熵 , 信源的序列熵
    信息论与编码(三)| 联合熵和条件熵

即用2比特才能表示该事件。

  • 信源的符号熵
    信息论与编码(三)| 联合熵和条件熵

信息论与编码(三)| 联合熵和条件熵

离散有记忆信源的序列熵

  • 对于有记忆信源,就不像无记忆信源那样简单, 它必须 引入条件熵的概念, 而且只能在某些特殊情况下才能 得到一些有价值的结论。
  • 对于由两个符号组成的联合信源, 有下列结论:

信息论与编码(三)| 联合熵和条件熵

信息论与编码(三)| 联合熵和条件熵

  • 当前后符号无依存关系时,有下列推论:

信息论与编码(三)| 联合熵和条件熵

  • 若信源输出一个L长序列,则信源的序列熵
    信息论与编码(三)| 联合熵和条件熵
  • 平均每个符号的熵为:
    信息论与编码(三)| 联合熵和条件熵
  • 若当信源退化为无记忆时:若进一步又满足平稳性时
    信息论与编码(三)| 联合熵和条件熵
平稳有记忆N次扩展源的熵

信息论与编码(三)| 联合熵和条件熵 为离散平稳有记忆信源, 信息论与编码(三)| 联合熵和条件熵信息论与编码(三)| 联合熵和条件熵 次扩展源记为 信息论与编码(三)| 联合熵和条件熵 ,

信息论与编码(三)| 联合熵和条件熵

根据熵的可加性,得 信息论与编码(三)| 联合熵和条件熵 根据平稳性和熵的不增原理,得信息论与编码(三)| 联合熵和条件熵, 仅当无记忆信源时等式成立。

对于信息论与编码(三)| 联合熵和条件熵信息论与编码(三)| 联合熵和条件熵 次扩展源, 定义平均符号熵为:

信息论与编码(三)| 联合熵和条件熵

信源 信息论与编码(三)| 联合熵和条件熵 的极限符号熵定义为:

信息论与编码(三)| 联合熵和条件熵

极限符号熵简称符号熵, 也称熵率。

定理: 对任意离散平稳信源, 若 信息论与编码(三)| 联合熵和条件熵 , 有:

(1) 信息论与编码(三)| 联合熵和条件熵 不随 信息论与编码(三)| 联合熵和条件熵而增加; (2) 信息论与编码(三)| 联合熵和条件熵 (3)信息论与编码(三)| 联合熵和条件熵 不随 N 而增加; (4) 信息论与编码(三)| 联合熵和条件熵 存在,且 信息论与编码(三)| 联合熵和条件熵

该式表明, 有记忆信源的符号熵也可通过计算极限条件熵得到。