摘要：
目前为止，我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中，训练样本时有类别标签的。现在假设我们只有一个没带类别标签的训练样本集合，其中。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如。下图是一个自编码神经网络的示例。自编码神经网络尝试学习一个的函数。换句话说，它尝试逼近一个恒等函数，从而使得接近于输入。恒等函数虽然看上去不太有学习的意义，但是当我们为自编码神经网络加入某些限制，比如限定隐藏神经元的数量，我们就可以从输入数据中发现一些有趣的结构。举例来说，假设某个自编码神经网络的输入是一张图像（共100个像素）的像素灰度值，于是，其隐藏层中有50 阅读全文
摘要：
假设有一个二部图，每一层的节点之间没有连接，一层是可视层，即输入数据是（v）,一层是隐藏层（h），如果假设所有的节点都是随机二值变量节点（只能取0或者1值）同时假设全概率分布满足Boltzmann 分布，我们称这个模型是Restricted BoltzmannMachine (RBM)。首先，这个模型因为是二部图，所以在已知v的情况下，所有的隐藏节点之间是条件独立的（因为节点之间不存在连接），即p(h|v)=p(h1|v)…p(hn|v)。同理，在已知隐藏层h的情况下，所有的可视节点都是条件独立的。同时又由于所有的v和h满足Boltzmann 分布，因此，当输入v的时候，通过p(h|v) 可以 阅读全文
摘要：
卷积神经网络的网络结构卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。图：卷积神经网络的概念示范：输入图像通过和三个可训练的滤波器和可加偏置进行卷积，滤波过程如上图，卷积后在C1层产生三个特征映射图，然后特征映射图中每组的四个像素再进行求和，加权值，加偏置，通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进行滤波得到C3层。这个层级结构再和S2一样产生S4。最终，这些像素被光栅化，并连接成一个向量输入到传统的神经网络，得到输出。一般地，C层为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征，一旦该局部特征被提取 阅读全文