模型评估与选择

在写下我的笔记之前，先推荐一本书，这本书是我目前为止从未从任何的博客上看到如此完整的机器学习的相关经验，作者乃是中科院深圳研究院院士 周志鹏教授 编撰的 《机器学习》

本节讲诉模型选择和评估，

1.数据划分验证，

留出法，将数据划分为2份，一份训练一份验证

交叉验证法，将数据划分为k份，每次取一份作为测试样本

自助法：先抽样取部分数据训练，然后有放回的每次从没有在训练集里的样本取一个放到训练集中再次训练，重复多次，这样的方式针对数据非常挥匮乏的时候会十分有效

其实，以上的方法都各自有缺陷，最好的方式是重复多次以上训练模型，取平均值作为模型评估结果。

另外要注意，每份样本的每个分类的数据要尽量平衡，否则很容易产生很大的偏差

 

2.调参

模型最终选择好算法和参数调节完后，应将所有数据再训练一个新的模型出来使用，这句话书中描述得十分精髓，所以我写了下来。

调参分为超参和模型参数，

超参是算法的参数，人工设定，数目怡在10以内，还要选定一个步长，目的是让参数变成有限个📖

模型参数一般为神经网络模型学习出来的，多的，甚至有上百亿，

书中说的意思大致是，由于参数不同会产生多个模型，所以我们不可能给每个参数设定无数次去训练，否则时间上将是庞大的成本，模型参数也要观看模型效果，应在不同轮数时停止训练。

 

3.模型性能度量

即模型的好坏，

取决于以下三点，算法、数据、任务需求，不同的模型自然不能用相同的标准去判别一个模型的好坏，

 

4.查全率和查准率

查准率，检索出的数据里相关的数据占检索出的数据的比例，P

查全率，检索出的相关的数据占所有相关的数据的比例，R

F1是查全率和查准率的调和平均，用于性能评估