偏差与方差

1.定义

　　偏差指的是算法在大型训练集上的错误率，方差指的是算法在测试集上的表现低于训练集的程度。

当方差很高时，说明模型过拟合；当偏差很高时，说门模型欠拟合。

2.减少偏差的方案

　　偏差过高，既模型在训练集上的错误率太高说明模型欠拟合，减少偏差的方案如下：

• 减少或去掉正则化（L1,L2,dropout）：可减少偏差，但是会增加方差
• 修改模型架构：同时影响偏差与方差
• 修改输入特征
• 加大模型规模：可以更好的拟合训练集，从而减少偏差；但可能增加方差

3.减少方差的方案

　　方差过高，说明模型过拟合，既模型过于复杂，训练过程中形成了字典式的映射规则，减少方差的方案有：

• 加入正则化：可减低方差，增加偏差
• 加入提前终止
• 减少模型规模
• 添加更多的训练数据
• 减少特征的数量