1、信息熵
信息熵是度量样本集的纯合度的一种常用的指标，熵值越大，随机变量的不确定性越高。
比如：
- {0,0,01,1,1,1}
- {1,2,3,4,5,6,7}
在这两组数据中，上面的数据的不确定性要小，只有两种可能性，抽中的数字2的概率为1/2。所以其熵值就低
下面的那组数据的不确定性就要大，每个数字抽中的概率都要小。所以其熵值要高，不确定性就越大。
信息熵公式：
计算信息熵实例：
数据如下图
计算嫁与不嫁的信息熵：可以看出不嫁的概率为：1/2，嫁的概率也为1/2。
由信息熵的公式计算得到：-1/2log1/2-1/2log1/2 = -log1/2=0.301。
2、条件熵
条件熵就是在某一条件下，随机变量的不确定（复杂）的程度。
条件熵公式：
计算实例：
由上图的数据可知，身高这个特征的值有（高，中，矮）；
其中矮一共有7个，其中嫁有1个，不嫁有6个
中的有2个，其中嫁有2个，不嫁0个
高的有三个，其中嫁的有3个，不嫁0个
由条件熵的公式可得：矮：H（嫁不嫁|矮）=-1/7log1/7-6/7log6/7=0.178；
中：H（嫁不嫁|中）=-1log1-0 = 0；
高 ：H（嫁不嫁|高）=-1log1-0 = 0；
所以可得出条件熵为：7/12*0.178+2/12*0+3/12*0=0.103；
3、信息增益
信息增益=信息熵-条件熵。也就是说信息增益就是在某一条件下，信息熵（条件的复杂度）减少的程度。
所以有上面计算的结果得知：0.301-0.1.3=0.198。得知身高后的信息增益为0.198.
4、总结
由上面计算的数据的推出的结论，女嘉宾在不知道任何信息的条件的会选择嫁给男嘉宾的不确定性为0.301，在得知了男嘉宾的身高之后会选择嫁给男嘉宾的不确定性为0.103，比在得知男嘉宾的身高之前不确定下降了0.198.