受限玻尔兹曼机

受限玻尔兹曼机 RBM

　由于使用梯度下降发来对参数进行更新，因此关键是梯度如何求取，这里的推到结果显示了和BP神经网络类似的结果，可以非常容易的得到梯度的求取方式。

  上面的$<v_{i}h_{j}>$实际上就是使用当前的参数，以$v_{i}$作为输入，得到的输出是$h_{j}$

   $H = V*W+b$

   从输出层反推输入层

   $V = H*W^{T}+b$

   然后使用得到的新的可见层输入作为输入$v_{i}^{‘}$，得到新的隐层输出，也就是上面的$h_{j}^{‘}$

   所以相应的偏导数是

   $v_{i}h_{j} - v_{i}^{‘}h_{j}^{‘}$