KL散度定义
KL(Kullback-Leibler divergence)散度多应用于概率论或信息论中，又可称相对熵(relative entropy)。它是用来描述两个概率分布P和Q的差异的一种方法。
【记】KL具有非对称性，即D(P||Q) ≠ D(Q||P)。
在信息论中，D(P||Q) 表示用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布
KL散度公式定义
对于离散型随机变量有：
对于连续型随机变量有：
KL散度的物理定义
在信息论中，它是用来度量使用基于Q分布的编码来编码来自P分布的样本平均所需的额外的比特(bit)个数。
在机器学习领域，是用来度量两个函数的相似程度或者相近程度。
在信息论中，用基于P的编码去编码来自P的样本，其最优编码平均所需要的比特个数（即这个字符集的熵）为：
用基于P的编码去编码来自Q的样本，则所需要的比特个数变为：
【注】P(x)为各字符出现的频率，log()为该字符相应的编码长度，log()为对应于Q的分布各字符编码长度。
那么KL散度即可表示为如下：
简要介绍Jensen不等式
利用Jensen不等式证明P与Q之间的KL散度不小于0：