受限玻尔兹曼机 RBM
由于使用梯度下降发来对参数进行更新,因此关键是梯度如何求取,这里的推到结果显示了和BP神经网络类似的结果,可以非常容易的得到梯度的求取方式。
上面的$<v_{i}h_{j}>$实际上就是使用当前的参数,以$v_{i}$作为输入,得到的输出是$h_{j}$
$H = V*W+b$
从输出层反推输入层
$V = H*W^{T}+b$
然后使用得到的新的可见层输入作为输入$v_{i}^{‘}$,得到新的隐层输出,也就是上面的$h_{j}^{‘}$
所以相应的偏导数是
$v_{i}h_{j} - v_{i}^{‘}h_{j}^{‘}$