【机器学习】Sklearn 调试模型

1、过拟合

处理过拟合的方法有：

a>减少特征，降低模型的复杂度
b>减小调试参数
c>增加训练数据量

常用的调参方法就是通过在惩罚函数中新增一个正则化参数C来控制分类边界对样本的辨识度，如果是用权重的二次方，则是L2正则化，如果是|W|/C则是L1正则化。

L2损失函数：

2、欠拟合

处理方式正好和过拟合相反：

a>增加特征，增加模型的复杂度
b>减大调试参数

3、交叉验证

在训练数据上训练好模型，在测试数据看训练的效果，将测试集成绩最好的参数组合作为模型的参数，雅思考试费用这种方法就是交叉验证。

但是为了防止特定的数据造成的偶然性，这里通过取交叉验证结果的平均值作为模型的参数成绩，这就是k折交叉算法。

4、Gridsearch暴力寻参

可以通过设置一个参数搜索空间，暴力搜索所有的参数组合，可以同时寻找多个最优参数。

寻找最有参数搜索范围只要要两步：第一定义搜索范围，第二在数据中尝试所有的参数组合。

紧接上例，寻找KNN模型的参数K（近邻数量）的最价值：

模型的调试目标是：平衡过拟合和欠拟合，通过GridSearch 比例搜索最佳的模型参数组合。