1-3 机器学习基础

机器学习基础（ Basic Recipe for Machine Learning）

我们训练的目的是找到低偏差、低方差的模型。

首先要保证的是低偏差，这是最低标准，反复尝试，直到可以拟合数据为止，至少能够拟合训练集。

偏差较高时可以考虑采取的方法：

　　用规模更大的网络

　　延长训练时间

一旦偏差降低到可以接受的数值，检查一下方差有没有问题，如果方差较高，可以考虑采取的方法：

　　采用更多的数据

　　使用正则化

不断重复尝试，直到找到一个低偏差，低方差的框架，这时你就成功了。

有两点需要注意：

第一点，高偏差和高方差是两种不同的情况，如果算法存在高偏差问题，准备更多训练数据其实也没什么用处。

第二点，降低一方不影响另一方：

通常构建一个更大的网络便可以在不影响方差的同时减少偏差。

采用更多数据通常可以在不过多影响偏差的同时减少方差。