摘要：
在之前使用Tensorflow来做音乐识别时，LSTM给出了非常让人惊喜的学习能力。当时在进行Tuning的时候，有一个参数叫做num_units，字面看来是LTSM单元的个数，但最近当我试图阅读Tensorflow源代码时，和我们最初的认知大不相同，以此博文来记录。 先看当初我们是如何设置的： 看 阅读全文
摘要：
下图是Naive RNN的Recurrent Unit示意图，可以看到，在每个时间点t，Recurrent Unit会输出一个隐藏状态ht，对ht加工提取后将产生t时刻的输出yt。而在下一个时间节点t+1，ht与下一时刻的输入xt+1将线性组合后，pass through一个activation f 阅读全文
摘要：
在RNN(1)中，我们将带有Reccurent Connection的node依照时间维度展开成了如下的形式： 在每个时刻t=0,1,2,3,...，神经网络的输出都会产生error：E0,E1,E2,E3,....。同Feedforward Neural Network一样，RNN也使用Backp 阅读全文
摘要：
Recurrent Neural Network是在单个神经元上，除了输入与输出外，添加了一条Recurrent回路。也就是说，节点当前的状态将会影响其未来的状态。下式可以表征此关系： st= f(st-1, xt, θ) 如下图左侧，将前一时刻神经元的输出状态s，作为下一时刻的一个输入值，加权并入 阅读全文
摘要：
在所有依靠Gradient Descent和Backpropagation算法来学习的Neural Network中，普遍都会存在Gradient Vanishing Problem。Backpropagation的运作过程是，根据Cost Function进行反向传播，利用Chain Rule去计 阅读全文
摘要：
池化层(Pooling layer)同样是收到了视觉神经科学的启发。在初级视觉皮层V1(Primary visual cortex)中，包含了许多复杂细胞(Complex cells)，这些细胞对于图像中物体微小的变化具有不变性(invariance to small shifts and dist 阅读全文
摘要：
在CNN(1)中，我们用到下图来说明卷积之后feature maps尺寸和深度的变化。这一节中，我们讨论feature map size, padding and stride。 首先，在Layer1中，输入是32x32的图片，而卷积之后为28x28，试问filter的size(no padding 阅读全文
摘要：
在CNN(1)和CNN(2)两篇文章中，主要说明的是CNN的基本架构和权值共享(Weight Sharing)，本文则重点介绍卷积的部分。 首先，在卷积之前，我们的数据是4D的tensor（width,height,channels,batch），在CNN(1):Architecture一文中，曾经 阅读全文
摘要：
Sparse Interactions, Receptive Field and Parameter Sharing是整个CNN深度网络的核心部分，我们用本文来具体分析其原理。 首先我们考虑Feedforward Neural Network，L层的输出矩阵，等于L层的输入矩阵与L层的权重矩阵做矩阵 阅读全文
摘要：
Concolutional Neural Networks(CNN)同样使用三层结构，但结构上同Feedforward Neural Network有很大不同，其结构如下图： Input layer: 对单张图片来说，输入数据是3D的（Width*Length*Depth），见下方的立体图。但如果我 阅读全文