摘要：
在深度网络中，不同层的学习速度差异很大。例如：在网络中后面的层学习情况很好的时候，前面的层常常会在训练时停滞不前，基本上不学习了。另一种情况恰恰相反，前面的层学习的很好，后面的层却停止学习了。 这是因为基于梯度下降的学习算法的本身存在着内在的不稳定性，这种不稳定性使得前面或者后面的层的学习停止。 消 阅读全文
摘要：
神经网络拥有一种普遍性。不论我们想要计算什么样的函数，我们都确信存在一个神经网络可以计算它。 两个预先声明 ”神经网络可以计算任何函数“的两个预先声明： 1.这句话不是说一个网络可以被用来准确地计算任何函数。而是说，我们可以获得尽可能好一点的近似。 通过增加隐藏神经元的数量，我们可以提升近似的精度。 阅读全文
摘要：
在训练图像识别的深度神经网络时，使用大量更多的训练数据，可能会使网络得到更好的性能，例如提高网络的分类准确率，防止过拟合等。获取更多的训练样本其实是很好的想法。但是，这个方法的代价很大，在实践中常常是很难达到的。不过还有一种方法能够获得类似的效果，那就是人为扩展训练数据（Artificially e 阅读全文
摘要：
研究背景 英文原文： Nearly half of the world depends on seafood for their main source of protein. In the Western and Central Pacific, where 60% of the world’s 阅读全文
摘要：
安装git 不同环境下不同安装方法，安装完成后配置git账号： 因为Git是分布式版本控制系统，所以，每个机器都必须自报家门：你的名字和Email地址。注意git config命令的–global参数，用了这个参数，表示你这台机器上所有的Git仓库都会使用这个配置，当然也可以对某个仓库指定不同的用户 阅读全文
摘要：
权重初始化（Weight initialization） 之前的方式是根据独立高斯随机变量来选择权重和偏置，其被归一化为均值为0，标准差为1。 我们可以比使用归一化的高斯分布做的更好。假设我们已经使用归一化的高斯分布初始化了连接第一个隐藏层的权重。现在我将注意力集中在这一层的连接权重上，忽略网络其他 阅读全文
摘要：
Overfitting and regularization（过度拟合和规范化） 我们的网络在280迭代期后就不再能够推广到测试数据上。所以这不是有用的学习。我们说网络在280迭代期后就过度拟合(overfitting)或过度训练（overtraining）了。 我们的网络实际上在学习训练数据集的特 阅读全文
摘要：
The cross-entropy cost function(交叉熵代价函数) 二次代价函数： 二次代价函数权重和偏置的偏导数： σ函数的图像： 从图中可以看出，当神经元的输出接近1的时候，曲线变得非常平，所以σ’(z)就很小，这导致了∂C/∂w和∂C/∂b也会非常小。最终导致学习速度下降。 引入 阅读全文
摘要：
How the backpropagation algorithm works 反向传播的目标是计算代价函数C分别关于w和b的偏导数∂C/∂w和∂C/∂b。 反向传播的核心是一个对代价函数C关于任何权重w（或者偏置b）的偏导数∂C/∂w的表达式。这个表达式告诉我们在改变权重和偏置时，代价函数变化的快 阅读全文
摘要：
""" network.py ~~~~~~~~~~ A module to implement the stochastic gradient descent learning algorithm for a feedforward neural network. Gradients are calculated using backpropagation. Note that I hav... 阅读全文