摘要：
丢弃法 dropout可能会比之前讲的权重衰退效果更好，应用于防止模型过拟合。 像上图，不管加入多少个点，都要让图片是可以看清的。 使用有噪音的数据，就等价于一个叫做T正则。（正则就是是的权重的值不要太大，避免模型过拟合） **在数据中加入噪音，等价于一个正则。**跟之前加入的噪音不一样，之前是固定 阅读全文
摘要：
权重衰退 如何控制模型的容量呢？ 模型参数个数 参数的取值范围 权重衰退就是控制参数的取值范围来控制模型容量的。 上面的$||w||^2 \leq \theta$ ，则表示为每一个$w$都是要小于$\sqrt{\theta}$。其实也就是强行设置参数的取值的上限。 加了这个罚之后，w确实会变小很多。 阅读全文
摘要：
模型选择 我们其实关心的是泛化误差，并不太关心训练误差。 训练误差：模拟考试成绩。 泛化误差：真实考试成绩。 所以我们会来计算我们训练误差和泛化误差呢？一般会有两种数据集，一个叫做验证集，一个叫做测试集。 一个常犯的错误：验证集和训练集混在一起。 经常在代码中的出现的test_dataset其实并不 阅读全文