随笔分类 - deep learning
摘要：算法导论+python实现 统计学方法（李航） 机器学习（周志华）+python实现 深度学习（书+视频lifeifei，wuenda+caffe） 其他： linux python+opencv python爬虫 kaggle
阅读全文
摘要：卷积神经网络在实际中的应用 在实际训练卷积神经网络中有很多方法可以对均积神经网络进行优化。 使用线性修正单元（Using rectified linear units） 用激活函数： 来代替S型激活函数。 扩展训练数据（Expanding the training data） 插入一个额外的全连接层
阅读全文
摘要：卷积神经网络（convolutional neural networks） 使用全连接的网络架构来分类图像完全没有考虑图像的空间结构。卷积神经网络使用了一个特别适用于图像分类的特殊架构。卷积神经网络采用了三种基本概念：局部感受野（local receptive fields），共项权重（shared
阅读全文
摘要：在深度网络中，不同层的学习速度差异很大。例如：在网络中后面的层学习情况很好的时候，前面的层常常会在训练时停滞不前，基本上不学习了。另一种情况恰恰相反，前面的层学习的很好，后面的层却停止学习了。 这是因为基于梯度下降的学习算法的本身存在着内在的不稳定性，这种不稳定性使得前面或者后面的层的学习停止。 消
阅读全文
摘要：神经网络拥有一种普遍性。不论我们想要计算什么样的函数，我们都确信存在一个神经网络可以计算它。 两个预先声明 ”神经网络可以计算任何函数“的两个预先声明： 1.这句话不是说一个网络可以被用来准确地计算任何函数。而是说，我们可以获得尽可能好一点的近似。 通过增加隐藏神经元的数量，我们可以提升近似的精度。
阅读全文
摘要：权重初始化（Weight initialization） 之前的方式是根据独立高斯随机变量来选择权重和偏置，其被归一化为均值为0，标准差为1。 我们可以比使用归一化的高斯分布做的更好。假设我们已经使用归一化的高斯分布初始化了连接第一个隐藏层的权重。现在我将注意力集中在这一层的连接权重上，忽略网络其他
阅读全文
摘要：Overfitting and regularization（过度拟合和规范化） 我们的网络在280迭代期后就不再能够推广到测试数据上。所以这不是有用的学习。我们说网络在280迭代期后就过度拟合(overfitting)或过度训练（overtraining）了。 我们的网络实际上在学习训练数据集的特
阅读全文
摘要：The cross-entropy cost function(交叉熵代价函数) 二次代价函数： 二次代价函数权重和偏置的偏导数： σ函数的图像： 从图中可以看出，当神经元的输出接近1的时候，曲线变得非常平，所以σ’(z)就很小，这导致了∂C/∂w和∂C/∂b也会非常小。最终导致学习速度下降。 引入
阅读全文
摘要：How the backpropagation algorithm works 反向传播的目标是计算代价函数C分别关于w和b的偏导数∂C/∂w和∂C/∂b。 反向传播的核心是一个对代价函数C关于任何权重w（或者偏置b）的偏导数∂C/∂w的表达式。这个表达式告诉我们在改变权重和偏置时，代价函数变化的快
阅读全文
摘要：""" network.py ~~~~~~~~~~ A module to implement the stochastic gradient descent learning algorithm for a feedforward neural network. Gradients are calculated using backpropagation. Note that I hav...
阅读全文
摘要：1.Learning with gradient descent（使用梯度下降法进行学习） cost function（代价函数） 训练神经网络的目的是找到能最小化二次代价函数C(w,b)的权重和偏置。梯度下降： when we move the ball a small amount Δv1 in
阅读全文
摘要：1.perceptrons（感知器） A perceptron takes several binary inputs ,x1,x2,...,and produce a single binary output: weights（权重）:real numbers expressing the imp
阅读全文
