摘要： 有关正则化的详细内容： 吴恩达机器学习笔记（三） —— Regularization正则化 《机器学习实战》学习笔记第五章 —— Logistic回归 主要内容： 一.无正则化 二.L2正则化 三.Dropout正则化 一.无正则化 深度学习的训练模型如下（可接受“无正则化”、“L2正则化”、“Dr 阅读全文

摘要： 主要内容： 一.初始化问题 二.全0初始化 三.随机初始化 四.“He initialization”初始化 一.初始化问题 1.在深度学习中，参数的初始化对模型有着重要的影响，而需要初始化的参数有两类： 参数b的初始化对模型的影响较小，所以一般都是直接初始化为0，所以下面讨论的都是对参数W的初始化 阅读全文

摘要： 主要内容： 一.初始化参数 二.前向传播 三.计算代价函数 四.反向传播 五.更新参数（梯度下降） 一.初始化参数 1.由于将参数W初始化为0会导致神经网络失效，因而需要对W进行随机初始化。一般的做法是用np.random.np()生成一个高斯分布的数，然后再乘上一个很小的数比如0.01，以限制它的 阅读全文