熵(Entropy):机器学习

熵(Entropy):机器学习

• 熵(Entropy):机器学习
  • 熵
    • 定义
    • SOURCE CODING THEOREM
  • 联合熵(Joint Entropy)
    • 定义
  • 条件熵(Conditional Entropy)
    • 定义

熵

定义

从信息的角度来说，熵(Entropy)是一种从定量的角度来衡量信息(Information) 多少的指标。简单的说，就是信息所包含的不确定性的大小度量。一个信息所包含的事件的不确定性越大，它所含的信息就越多。我的理解是在这个信息还未获得时，这个信息所描述的事件的不确定性的大小。

举两个例子，当你获得一条可靠的信息：明天太阳从东方升起。这个信息所包含的信息量很少，因为就算你没获得这个信息，你也知道太阳确定以以及肯定是东方升起，这个信息毫无价值。但是当你获得一条可靠的信息：下期彩票的中奖号码是XXXXXXXX时，这个信息就非常有价值了，因为可能的中奖号码有很多，每个概率都很低。
下面给出熵的定义：

H(X)=−∑i=1Npilog2pi $$H(X)=-\underset{i=1}{\overset{N}{\sum }}{p}_{i}lo{g}_2{p}_i$$

H(X) $H(X)$ 表示X包含的信息， pi $p_i$ 是 X $X$ 第 i $i$ 种可能的概率。
例如，明天太阳升起，有 X={东方，西方} $X=\{东方，西方\}$ 两种可能，假设 p(X=东方)=0.99999 $p(X=东方)=0.99999$ ， p(X=西方)=0.00001 $p(X=西方)=0.00001$ ，那么我们可以发现 H(X)≈0 $H(X)\approx 0$ ,几乎不包含信息，这从直观上反映了这个定义的合理性。
可以证明以下公式成立：

H(XY)≤H(X)+H(Y) $$H(XY)\le H(X)+H(Y)$$

等号当且仅当 X $X$ 和 Y $Y$ 是相互独立时成立。

SOURCE CODING THEOREM

对Source X进行编码的编码率R(bit/symbol)理论下界是：

R≥H(X) $$R\ge H(X)$$

具体例子看信息编码方面的资料吧。

联合熵(Joint Entropy)

定义

X $X$和 Y $Y$两个事件联合熵定义为：

H(XY)=−∑x,yp(x,y)log2p(x,y) $$H(XY)=-\underset{x,y}{\sum }p(x,y)lo{g}_{2}p(x,y)$$

其中 p(x,y) $p(x,y)$ 是联合概率密度(joint probability)

条件熵(Conditional Entropy)

首先举一个栗子,我们发现事件：今天天气情况 Y={晴天，下雨} $Y=\{晴天，下雨\}$和事件小涛今天是否去上课 X={去上课，在家里} $X=\{去上课，在家里\}$之间有一个联合概率。当今天下雨时,小涛有大概率不去上课;当天气晴朗时，他也有不小的概率不去上课(哈哈哈)。那么，对于小涛有没有去上课这个事件 X $X$来说,它有一个不等于零的熵H(X)(有不确定性)，那么，当我们已知今天下雨 Y=下雨 $Y=下雨$ 的前提下，事件 X $X$的熵(不确定性)发生变化了吗？这个时候的熵就变成 H(X|Y=下雨) $H(X|Y=下雨)$

定义

H(X|Y)=∑i=1QH(X|Y=yi)P(Y=yi) $$H(X|Y)=\underset{i=1}{\overset{Q}{\sum }}H(X|Y=y_i)P(Y=y_i)$$

利用条件概率公式：

H(X|Y)=−∑i=1Q∑j=1qP(xj,yi)log2P(xj|yi) $$H(X|Y)=-\underset{i=1}{\overset{Q}{\sum }}\underset{j=1}{\overset{q}{\sum }}P(x_j,y_i)lo{g}_{2}P(x_j|y_i)$$

这个公式定义了，在已知事件Y发生的前提下，事件X的熵的大小。很明显，如果事件X,Y是相互独立的事件，它们俩之间不存在任何的关联(但是现实中哪有不存在任何关联的两个事件呢,比如本泽马的锅)，那么 H(X|Y)=H(X) $H(X|Y)=H(X)$
可以证明：

H(XY)=H(X|Y)+H(Y) $$H(XY)=H(X|Y)+H(Y)$$

这事实上就是条件概率和联合概率 P(XY)=P(X|Y)P(Y) $P(XY)=P(X|Y)P(Y)$ 的熵的表述。