摘要：
神经网络的权重初始化 这是一个神经单元初始化地例子，然后再演变到整个深度网络。 来看看只有一个神经元的情况，然后才是深度网络。 单个神经元可能有4个输入特征，从\(x_{1}\)到\(x_{4}\)，经过\(a=g(z)\)处理，最终得到\(\hat{y}\)，稍后讲深度网络时，这些输入表示为\(a 阅读全文
摘要：
梯度消失/梯度爆炸 训练神经网络，尤其是深度神经所面临的一个问题就是梯度消失或梯度爆炸，也就是训练神经网络的时候，导数或坡度有时会变得非常大，或者非常小，甚至于以指数方式变小，这加大了训练的难度。 接下来，将会了解梯度消失或梯度爆炸的真正含义，以及如何更明智地选择随机初始化权重，从而避免这个问题。 阅读全文
摘要：
归一化输入 训练神经网络，其中一个加速训练的方法就是归一化输入。假设一个训练集有两个特征，输入特征为2维，归一化需要两个步骤： 零均值 归一化方差； 希望无论是训练集和测试集都是通过相同的\(μ\)和\(σ^2\)定义的数据转换，这两个是由训练集得出来的。 第一步是零均值化，\(\mu = \fra 阅读全文
摘要：
其他正则化方法 除了\(L2\)正则化和随机失活（dropout）正则化，还有几种方法可以减少神经网络中的过拟合: 一.数据扩增 假设正在拟合猫咪图片分类器，如果想通过扩增训练数据来解决过拟合，但扩增数据代价高，而且有时候无法扩增数据，但可以通过添加这类图片来增加训练集。例如，水平翻转图片，并把它添 阅读全文
摘要：
理解 dropout Dropout可以随机删除网络中的神经单元，为什么可以通过正则化发挥如此大的作用呢？ 直观上理解：不要依赖于任何一个特征，因为该单元的输入可能随时被清除，因此该单元通过这种方式传播下去，并为单元的四个输入增加一点权重，通过传播所有权重，dropout将产生收缩权重的平方范数的效 阅读全文
摘要：
dropout 正则化 除了\(L2\)正则化，还有一个非常实用的正则化方法——“Dropout（随机失活）”。 假设在训练上图这样的神经网络，它存在过拟合，这就是dropout所要处理的，复制这个神经网络，dropout会遍历网络的每一层，并设置消除神经网络中节点的概率。假设网络中的每一层，每个节 阅读全文
摘要：
为什么正则化有利于预防过拟合呢？ 通过两个例子来直观体会一下。 左图是高偏差，右图是高方差，中间是Just Right。 现在来看下这个庞大的深度拟合神经网络。知道这张图不够大，深度也不够，但可以想象这是一个过拟合的神经网络。这是的代价函数\(J\)，含有参数\(W\)，\(b\)。添加正则项，它可 阅读全文
摘要：
正则化 深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少的网络误差。 如果怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方 阅读全文
摘要：
机器学习基础 下图就是在训练神经网络用到的基本方法：（尝试这些方法，可能有用，可能没用） 这是在训练神经网络时用到地基本方法，初始模型训练完成后，首先要知道算法的偏差高不高，如果偏差较高，试着评估训练集或训练数据的性能。如果偏差的确很高，甚至无法拟合训练集，那么要做的就是选择一个新的网络，比如含有更 阅读全文
摘要：
偏差，方差 注意到，几乎所有机器学习从业人员都期望深刻理解偏差和方差，这两个概念易学难精，即使自己认为已经理解了偏差和方差的基本概念，却总有一些意想不到的新东西出现。关于深度学习的误差问题，另一个趋势是对偏差和方差的权衡研究甚浅，可能听说过这两个概念，但深度学习的误差很少权衡二者，总是分别考虑偏差和 阅读全文