参考资料
Oliver Woodford：Notes on Contrastive Divergence
CD（Contrastive Divergence）算法由Geoffrey Hinton提出，用于求ML（Maximum-Likelihood）问题的近似解。
问题描述
假设模型为
，
为模型参数，则
的概率可以表示为
.(1)其中
是归一化函数，因为概率和等于1。
假设训练集是
，根据最大似然原则，要使得训练集的联合概率最大，即最大化
.(2) 若对上式取负对数，则问题就相当于最小化能量
(3)这就是ML问题的描述，下面以几个例子说明如何求解。
ML问题求解
- 假如模型为单高斯分布，即
，则
. 显然，此时
。分别对（3）求
和
求偏导，由导数等于零可以求出解析解，概率统计或者统计信号的书都会有详细的求解。 - 若模型为多个高斯分布的和（混合高斯模型），即
. 此时，
. 同样可以通过求偏导得出解析解，但是模型参数之间是互相依赖的（偏导中包含了其他参数），并不能简单地通过导数等于零解出参数。这时候可以用GD（Gradient Descent）和Line Search找到局部最小点。 - 若模型为多个高斯分布的乘积，即
. 此时不再是常数（取几个特殊指即可知）。因此能量值只能通过积分计算，然后再通过GD寻找最小值。但对于高维的数据或者参数空间来说，计算这个积分显然是相当耗时的。CD算法的作用就在于此，即使对于无法准确计算的能量函数，CD也可以提供有效的梯度计算方法，用于求解模型参数。
CD算法原理
对能量函数（3）求偏导
其中，最后一项即为给定
的期望值，该项显然是可以直接求出的，因为
是给定的训练集。而第一项可以进一步展开，
即分布
的期望值。但该分布的样本无法直接获取，因为
无法直接计算，但可以通过MCMC（Markov Chain Monte Carlo）采样，把训练集的样本转换为指定的分布。关于MCMC和Gibbs Sampling可参阅统计之都的文章，
LDA-math-MCMC 和 Gibbs Sampling.
假设
是MCMC的第
步转换，
是输入训练集，则
即为所需分布
. 综上所述，即可得
实际使用中MCMC并不需要无限步，因为随着不断迭代，输入数据的分布与目标分布会越来越接近。Hinton进一步指出，即使每次只做一步MCMC，ML问题同样可以收敛。因此，使用Gradient Descent，每一次迭代，参数更新为
其中，
是GD的步长。