摘要：
dropout 正则化（ Dropout Regularization） 除了L2正则化，还有一个非常实用的正则化方法——Dropout（ 随机失活）： 假设你在训练上图这样的神经网络，它存在过拟合，这就是 dropout 所要处理的，我们复制这个神经网络， dropout 会遍历网络的每一层，并设 阅读全文
摘要：
为什么正则化有利于预防过拟合呢？（ Why regularization reduces overfitting?） 左图是高偏差，右图是高方差，中间是 Just Right。 我们假设下面的网络是一个过拟合的网络，我们添加正则项，可以避免数据权值矩阵过大，这就是弗罗贝尼乌斯范数。那么为什么弗罗贝尼 阅读全文
摘要：
正则化（ Regularization） 深度学习可能存在过拟合问题——高方差，有两个解决方法： 一个是正则化； 另一个是准备更多的数据；这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高。 逻辑回归中的正则化 目标：$\mathop {\min J}\limit 阅读全文