摘要：
参数 VS 超参数（ Parameters vs Hyperparameters） 比如算法中的 learning rate (学习率)a，iterations (梯度下降法循环次数)、L(隐藏层数目)、${n^{[l]}}$（隐藏层单元数目）、choice of activation functi 阅读全文
摘要：
搭建神经网络块（ Building blocks of deep neural networks） 在神经网络中正向步骤的结构，我把它成为称为正向函数，类似的在反向步骤中会称为反向函数。 单一模块的正向函数和反向函数可以使用下面的图示表示：对于第l层的正向输入函数，输入为${a^{[l - 1]}} 阅读全文
摘要：
为什么使用深层表示？（ Why deep representations?） 深度神经网络的这许多隐藏层中，较早的前几层能学习一些低层次的简单特征，等到后几层，就能把简单的特征结合起来，去探测更加复杂的东西。 比如人脸识别检测时，一般会从比较小的细节入手，比如边缘，然后再一步步到更大更复杂的区域，比 阅读全文
摘要：
核对矩阵的维数（ Getting your matrix dimensions right） 在神经网络的计算过程中，特别需要注意的一点就是确认各个矩阵的维度，一般的规律为： w的维度是（下一层的结点个数，上一层的结点个数），即： b的维度是(下一层的结点个数，1)，即： a和z的维度是： dw和w 阅读全文
摘要：
前向传播和反向传播（ Forward and backward propagation） 前向传播 假设输入${a^{[l - 1]}}$，输出${a^{[l]}}$，缓存${z^{[l]}}$,从实现的角度来说缓存${w^{[l]}}$，${b^{[l]}}$更容易在不同的环节调用函数。 向量化实 阅读全文
摘要：
深层神经网络（ Deep L-layer neural network） 如下图所示，表示从logistic 回归到5层的神经网络，严格的说，logistic回归也是一个一层的神经网络，神经网络的深浅只是一种程度。 有一些函数，只有非常深的神经网络能学会，而更浅的模型则办不到。 对于给定的问题，先去 阅读全文
摘要：
随机初始化（ Random Initialization） 对于逻辑回归，把权重初始化为 0当然也是可以的。但是对于一个神经网络，如果你把权重或者参数都初始化为 0，那么梯度下降将不会起作用。 如上图所示的神经网络以及初始化方式，其结果$a_1^{[1]} = a_2^{[1]}$，反向传播时：$d 阅读全文