信息熵的计算公式_什么是信息熵?

时间:2024-10-18 07:55:23

1948 年,伟大的信息论之父香农(Shannon)将热力学中熵的概念引入到了信息论中,提出了“信息熵”这一概念。

信息熵用于解决信息的量化问题,将原本模糊的信息概念进行计算得出精确的信息熵值,信息熵是描述消息中,不确定性的值。

理解起来需要一点耐心,可以先这么说,信息熵就是用来描述信息中不确定性的值,熵越低,不确定性越低,我们也就更容易得到确定的信息。

举个栗子,张三的女朋友小红又要过生日了,他现在挑选礼物有三个选择:口红、包、机械键盘。张三并不知道小红到底喜欢那种礼物,因此对于张三来说,小红喜欢口红、包、键盘的概率目前都是 1/3。也就是说不确定性是三种可能的选择,每一种概率都相等,这就是信息熵,它与信息对应,但是概念相反,信息可以用来消除不确定性,也就是消除熵,降低熵值。

为了送出更合适的礼物,张三需要一些信息来消除这些不确定性,通过打听得知,小红最近刚有只舔狗送了她一堆口红,所以小红短时间内不需要买口红了,那么不确定性消除了一个,此时可能性为包和键盘,概率都是1/2.

然后张三突然想起来小红经常在朋友圈卖包,既然卖包了就不需要再送了,因此这条信息可以消除掉送包这个可能性,键盘的概率为1.

信息熵也是有值的,可以计算的,信息熵用 bit(比特)为单位,计算公式如下,其中 P 是概率质量函数。

初始状态下,对于张三来说,小红喜欢这三个礼物的概率都是 1/3,所以此时 P(x) = 1/3,信息熵可以用如下公式计算:

H(x)=1/3*log(3)+1/3*log(3)+1/3*log(3)
=1.56

也就是说目前的信息熵是 1.56bit.

当小明知道小红目前不需要口红时的信息熵为:

H(x)=1/2*log(2)+1/2*log(2)
=1

好了,关于信息熵的简单概念大概就是这样了,其中还有很多内容本文没有介绍到,感兴趣的可以去深入看看。

欢迎关注我的公众号,还有更多干货:zhangke_blog