摘要：
当进行模型训练的时候，往往可能错过模型的最佳临界点，即当达到最大精度的时候再进行训练，测试集的精度会下降，这时候就会出现过拟合，如果能在其临界点处提前终止训练，就能得到表达力较强的模型，从而也避免了过拟合，这种方法就叫early stopping，但是这种方法多依靠人的经验和感觉去判断，因为无法准确 阅读全文
摘要：
在进行模型搭建时常用的解决过拟合的方法有以下几种： · 采用更多的数据 · 迫使模型的复杂度降低（减少层数、正则化） · dropout（提高鲁棒性） · 提早结束训练过程 · 数据增强 这里重点讲正则化(regularization) 假定对于一个二分类问题，它的交叉熵损失函数为 J(ω) = - 阅读全文
摘要：
在真实的应用中，我们往往想要的不仅仅是模型能够在训练集上表现良好，而是希望训练得到的模型也能在未知的新输入数据上（这些新输入数据就是测试集）表现良好。这种能在未知的新输入数据上表现良好的能力被称为泛化。模型在未知的新输入数据上得到的误差称为泛化误差，或测量误差，我们也希望泛化误差很低。在降低训练误差 阅读全文