机器学习（西瓜书）——模型评估与选择

1、评估标准

　　1）经验误差 ：训练集上产生的误差

　　2）泛化误差：对新样本进行预测产生的误差

　　3）过拟合：经验误差很小甚至为零，泛化误差很大（模型训练的很复杂，几乎涵盖了训练集中所有的样本点）

　　4）欠拟合：与过拟合相反

　　一般模型的泛化误差越小越好

2、评估方法

　　1）留出法：采用分层采样的方式留出验证集

　　2）交叉验证法：将数据集均分k份，留出一份作为交叉验证集，重复k次取均值

　　3）自助法：随机可重复采样m次，所得集合作为训练集，余下数据作为验证集

　　在数据集较小时，自助法比较可靠 在数据集较大时，留出法和交叉验证法更常用一些

3、调参与最终模型

　　1）调参：调整模型输入参数，使得结果接近最佳，如果计算资源允许，可通过枚举方式进行

　　2）在模型选择完成后，学习算法和参数配置已选定，此时应该用数据集D重新训练模型

4、性能度量

　　回归任务中最常用的性能度量是均方误差

　　1）错误率与精度

　　2）查准率（precision）与查全率（recall）