摘要：
训练，验证，测试集 在配置训练、验证和测试数据集的过程中做出正确决策会在很大程度上帮助大家创建高效的神经网络。训练神经网络时，需要做出很多决策，例如： 神经网络分多少层 每层含有多少个隐藏单元 学习速率是多少 各层采用哪些激活函数 创建新应用的过程中，不可能从一开始就准确预测出这些信息和其他超级参数 阅读全文
摘要：
深度学习和大脑的关联性 开始讲故事（手动狗头） 深度学习和大脑有什么关联性吗？ 关联不大。 那么为什么会说深度学习和大脑相关呢？ 当你在实现一个神经网络的时候，那些公式是你在做的东西，你会做前向传播、反向传播、梯度下降法，其实很难表述这些公式具体做了什么，深度学习像大脑这样的类比其实是过度简化了我们 阅读全文
摘要：
参数 VS 超参数 什么是超参数？ 比如算法中的learning rate \(a\)（学习率）、iterations(梯度下降法循环的数量)、\(L\)（隐藏层数目）、\({{n}^{[l]}}\)（隐藏层单元数目）、choice of activation function（激活函数的选择）都需 阅读全文
摘要：
搭建神经网络块 这是一个层数较少的神经网络，选择其中一层（方框部分），从这一层的计算着手。在第\(l\)层有参数\(W^{[l]}\)和\(b^{[l]}\)，正向传播里有输入的激活函数，输入是前一层\(a^{[l-1]}\)，输出是\(a^{[l]}\)，之前讲过\(z^{[l]} =W^{[l] 阅读全文
摘要：
核对矩阵的维数 当实现深度神经网络的时候，其中一个常用的检查代码是否有错的方法就是拿出一张纸过一遍算法中矩阵的维数。 \(w\)的维度是（下一层的维数，前一层的维数），即\({{w}^{[l]}}\): (\({{n}^{[l]}}\),\({{n}^{[l-1]}}\))； \(b\)的维度是（下 阅读全文
摘要：
深层网络中的前向传播 先说对其中一个训练样本\(x\)如何应用前向传播，之后讨论向量化的版本。 第一层需要计算\({{z}^{[1]}}={{w}^{[1]}}x+{{b}^{[1]}}\)，\({{a}^{[1]}}={{g}^{[1]}} {({z}^{[1]})}\)（\(x\)可以看做\({ 阅读全文
摘要：
深层神经网络（Deep L-layer neural network） 复习下前面的内容： 1.逻辑回归，结构如下图左边。一个隐藏层的神经网络，结构下图右边： 注意，神经网络的层数是这么定义的：从左到右，由0开始定义，比如上边右图，\({x}_{1}\)、\({x}_{2}\)、\({x}_{3}\ 阅读全文
摘要：
当训练神经网络时，权重随机初始化是很重要的。对于逻辑回归，把权重初始化为0当然也是可以的。但是对于一个神经网络，如果把权重或者参数都初始化为0，那么梯度下降将不会起作用。 来看看这是为什么。 有两个输入特征，\(n^{[0]} = 2\)，2个隐藏层单元\(n^{[1]}\)就等于2。 因此与一个隐 阅读全文
摘要：
详细推导反向传播 下图是逻辑回归的推导： 回想一下逻辑回归的公式(参考公式1.2、公式1.5、公式1.6、公式1.15) 公式1.38： \[\left. \begin{array}{l} {x }\\ {w }\\ {b } \end{array} \right\} \implies{z={w}^ 阅读全文
摘要：
神经网络的梯度下降 在这篇博客中，讲的是实现反向传播或者说梯度下降算法的方程组 单隐层神经网络会有\(W^{[1]}\)，\(b^{[1]}\)，\(W^{[2]}\)，\(b^{[2]}\)这些参数，还有个\(n_x\)表示输入特征的个数，\(n^{[1]}\)表示隐藏单元个数，\(n^{[2]} 阅读全文