信息熵的定义及物理含义

信源符号自信息的数学期望为信源的平均信息量——信息熵

注意: 是一个数, 不是随机变量.

Example 请计算下述离散无记忆二进制信源的信息熵。

Solution

信息熵的物理含义

1.信息熵H(X)表示信源输出后，每个消息（符号）所提供的平均信息量;

2.信息熵H(X)表示信源输出前，信源的平均不确定性;

3.用信息熵H(X)来表征变量X的随机性。

注: 信息熵不等于平均获得的信息量(仅是能提供的信息量)。一般情况下获得的信息量是两熵之差，而不是信息熵本身（获得的还是需要根据实际计算）。

Example:

甲地天气预报， 乙地天气预报

求：两地天气预报各自提供的平均信息量

解:

• 

  比特/符号

• 

  比特/符号
• 甲地提供的平均信息量大于乙地。

甲、乙地天气预报为两极端情况:

比特/符号

比特/符号

• 信源是确定信源, 所以不存在不确定性, 信息熵等于零。

甲、乙地天气预报为两极端情况:

比特/符号

比特/符号

• 这种情况下,信源的不确定性最大,信息熵最大。
• 甲地比乙地提供更多的信息量。因为甲地可能出现的消 息数多于て地可能出现的消息数, 不确定性更大。

结论: 由上可知，信源熵大于等于0（若信源输出为确定符号)而小于等于log(N)（信源输出的不确定性最大)。

其中N为信源字符集元素的个数

Example 某信号带宽为4000Hz ，以奈奎斯特速率抽样。假设其抽样序列可以建模成一个字符集为A={-2,-1,0,1,2} 的DMS，相应的概率为{1/2,1/4,1/8,1/16,1/16},求信源的速率(b/s)

其中 为信息速率。

注：奈奎斯特抽样速率为 。信息速率Rb=平均信息量H(X)×码元率B（波特率），单位为bit/s。

参考文献：

1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
3. 周炯槃. 通信原理（第3版）[M\]. 北京：北京邮电大学出版社, 2008.
4. 樊昌信, 曹丽娜. 通信原理（第7版） [M\]. 北京：国防工业出版社, 2012.