高方差和高偏差

1.高方差和高偏差

偏差： 描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据集。

方差： 描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，预测结果数据的分布越散。

理解偏差和方差（bias/variance）的两个关键数据是训练集误差（train set error）和验证集误差（dev set error）

通过查看训练集误差和验证集误差，我们便可以诊断算法是否具有高方差

 

 如果训练集设置非常好，而验证集设置相对较差，我们可能过度拟合了训练集，某种程度上，验证集并没有充分利用交叉验证集的作用。这种情况就是高方差（high variance）

算法并没有在训练集中得到很好的训练，如果训练数据的拟合度不高，就是欠拟合，可以说这种算法偏差比较高（high bias）

 2.解决高方差和高偏差的办法

（1）解决高方差

• 准备更多的数据
• 正则化（regularization）
• 寻找合适的网络结构

利用正则化来解决high variance的问题，正则化是在cost function中加入一项正则化项，惩罚模型的复杂度

人们在训练网络时，越来越倾向使用L2正则化

 3.为什么加入正则化会减小过拟合即为什么减小方差？

 

 

 

 

 

 参考：

https://blog.csdn.net/u010626937/article/details/74435109