过拟合和欠拟合
过拟合:
原因:
1. 模型太复杂,训练数据量太少(模型很好的记住了所有的训练样本,特别是数据量少于特征数)
2. 训练集和测试集样本分布不一致;
3. 训练集的噪音过大,导致模型只注意学习噪音了,忽略了真正有用的特征;
4. 训练迭代次数过多,导致模型学习了噪音和无用特征;
解决方法:
0.神经网络权重衰减,等价于L2范数正则化;dropout来应对过拟合
1. 减小模型复杂度,减小模型参数量;
1.1 减少神经网络的宽度、深度;
1.2 正则化:L1-Norm(模型参数降维作用), L2-Norm(易求导); 贝叶斯学派的角度是加入了模型参数符合高斯分布这一先验知识;奥坎姆剃刀律,简单的即使泛化性好的;
1.3 决策树的剪枝;
1.4 权值共享:CNN卷积核的权值共享,RNN每个时序单元之间的权值共享;
2. 数据增强;
2.1 图像数据上,进行旋转、反转、缩放、剪切、增加噪声等
2.2 过采样:随机过采样,近邻随机插值过采样,边界样本过采样;
2.3 用GAN网络或者强化学习模拟去“制造”假数据;
2.4 给数据增加噪声;给模型增加噪声(例如神经网络权值初始化使用0均值的高斯分布)
2.5 Batch Normalization: 通过对数据进行和同一mini-batch之间进行关联,增强了数据,提高了模型的泛化性;
3. Ensemble:(多个模型的组合可以弱化每个模型中的异常点的影响,保留模型之间的通性,弱化单个模型的特性)
3.1 bagging可降低模型的方差;
3.2 boosting既可降低模型的方差,也可降低模型的偏差;(Adaboost, GBDT, xgboost)
3.3 dropout(也是模型稀疏化的一种): 把很多稀疏网络捆成一个分类器,类似于在模型角度了bagging;
3.4 Random-forest的特征采样(xgboost也用了),也相当于弱化每个节点,通过多棵弱树构造一个强分类器;(Random-forest的多棵树也使用了样本的baggin)
4. Early stopping: 连续N轮迭代没有提高Validation-set上的accuracy,则停止训练;
5. N-fold交叉验证:减少噪音对模型的影响;
搞不懂:
对样本数据可能存在分类决策面不唯一,随着学习的进行,,BP算法使权值可能收敛过于复杂的决策面;
在神经网络模型中,可使用权值衰减的方法,即每次迭代过程中以某个小因子降低每个权值。
欠拟合:
1. 添加新特征:当特征不足,或现有特征与样本label的相关性不强时,易过拟合。
可挖掘“上下文特征”“ID类特征”“组合特征”等新特征;FM、GBDT、Deep&Wide等自动挖掘组合特征的模型;
2. 增加模型的复杂度:线性模型中添加高次项;神经网络中增加深度或宽度;
3. 减小正则化系数
4. 使用迁移学习,复用类似任务的神经网络前几层,从而使小训练集也能得到效果不错的模型;