摘要：
梯度消失与梯度爆炸 当训练神经网络时，导数或坡度有时会变得非常大或非常小，甚至以指数方式变小，这加大了训练的难度 这里忽略了常数项b。为了让z不会过大或者过小，思路是让w与n有关，且n越大，w应该越小才好。这样能够保证z不会过大。 1.如果激活函数是tanh，一般选择下面的初始化方法 2.如果激活函 阅读全文
摘要：
正则化数据前后的数据分布特点 正则化前后梯度下降的区别 如果特征值处于相似范围内，那么归一化就不是很重要了, 执行这一类归一化并不会产生什么危害 阅读全文
摘要：
Numpy的Universal functions 中要求输入的数组shape是一致的，当数组的shape不相等的时候，则会使用广播机制，调整数组使得shape一样，满足规则，则可以运算，否则就出错 四条规则如下： 让所有输入数组都向其中shape最长的数组看齐，shape中不足的部分都通过在前面加 阅读全文
摘要：
1. 参数初始化的目的是什么？ 为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。而我们知道在全连接的神经网络中，参数梯度和反向传播得到的状态梯度以及入激活值有关。那么参数初始化应该满足以下两个条件： 初始化必要条件一：各层激活值不会出现饱和现象； 初始化必要条件二：各层激活值 阅读全文
摘要：
1. 训练、验证、测试集 对于一个需要解决的问题的样本数据，在建立模型的过程中，我们会将问题的data划分为以下几个部分： 训练集（train set）：用训练集对算法或模型进行训练过程； 验证集（development set）：利用验证集或者又称为简单交叉验证集（hold out cross v 阅读全文