受限玻尔兹曼机

时间:2022-12-14 17:30:44

受限玻尔兹曼机 RBM

受限玻尔兹曼机

受限玻尔兹曼机

受限玻尔兹曼机

 由于使用梯度下降发来对参数进行更新,因此关键是梯度如何求取,这里的推到结果显示了和BP神经网络类似的结果,可以非常容易的得到梯度的求取方式。

  上面的$<v_{i}h_{j}>$实际上就是使用当前的参数,以$v_{i}$作为输入,得到的输出是$h_{j}$

   $H = V*W+b$

   从输出层反推输入层

   $V = H*W^{T}+b$

   然后使用得到的新的可见层输入作为输入$v_{i}^{‘}$,得到新的隐层输出,也就是上面的$h_{j}^{‘}$

   所以相应的偏导数是

   $v_{i}h_{j} - v_{i}^{‘}h_{j}^{‘}$

受限玻尔兹曼机