摘要:
在进行模型搭建时常用的解决过拟合的方法有以下几种: · 采用更多的数据 · 迫使模型的复杂度降低(减少层数、正则化) · dropout(提高鲁棒性) · 提早结束训练过程 · 数据增强 这里重点讲正则化(regularization) 假定对于一个二分类问题,它的交叉熵损失函数为 J(ω) = - 阅读全文
摘要:
在真实的应用中,我们往往想要的不仅仅是模型能够在训练集上表现良好,而是希望训练得到的模型也能在未知的新输入数据上(这些新输入数据就是测试集)表现良好。这种能在未知的新输入数据上表现良好的能力被称为泛化。模型在未知的新输入数据上得到的误差称为泛化误差,或测量误差,我们也希望泛化误差很低。在降低训练误差 阅读全文