Deep Belief Network (DBN)

引言

机器学习的本质就是机器从数据中学习出内在规律，这些内在规律一般用一个函数来表达。在机器学习领域，有这么两位大牛(Geoffrey Hinton, Vladimir Vapnik)，在经过几十年的苦练，分别创下了Deep Belief Network (DBN)和Support Vector Matchie (SVM)这两种盖世模型，前者是一种生成模型（generative），后者是区分模型（discriminative），前者也是神经网络的一个特例。按DBN的鼻祖Geoffrey Hinton的话来说，SVM只是一个一层的神经网络，而DBN是多层的神经网络，所以表征能力要强。但一个模型建立起来后，模型的参数需要通过样本来学习。随着DBN学习算法的逐渐成熟，在最近几年的NIPS, ICML的文章持增长趋势。

DBN

DBN是由一系列Restricted Boltzmann Machine (RBM)摞起来，RBM的结构是一个二分图（层内节点无连接），第一层是输入节点 $V_v$ (状态空间为{0，1}，或者实数)，第二层是隐节点 $V_h$ (状态空间为{0,1})， $V_v$ 和 $V_h$ 连接的权系数矩阵 $W$

点都可以取不同的状态，当每个节点的状态取定后，这个模型的状态也就确定了，模型所取的状态与模型的匹配程度由能量函数来度量，当 $V_v$ 的状态空间为 {0,1}时，能量函数定义为

\[E(\mathbf{v},\mathbf{h})=-\sum_{i,j}v_iW_{ij}h_j-\sum_jb_jh_j-\sum_ic_iv_i\]

当 $V_v$的状态空间为实数时，能量函数定义为

\[E(\mathbf{v},\mathbf{h})=\frac{1}{2}\sum_iv_i^2-\sum_{i,j}v_iW_{ij}h_j-\sum_jb_jh_j-\sum_ic_iv_i\]

 

References

[1] http://deeplearning.net/tutorial/