偏差与方差区别

对偏差和方差的理解

 

　　偏差是模型的预测值与你真实的点之间区别的位移，方差是指每次学习的东西差别多大。

　　假设训练了五个模型，然后我让这五个模型去预测，如下图所示，蓝色点是我预测的，黄色的框里面是可以接受的范围，如果蓝色的点在圈里面，并且预测的点比较集中，那么就是低方差和低偏差；若蓝色的点都在圈外，但是预测的点比较集中，说明是低方差，高偏差；若预测的点都在圈里，但是点比较分散，说明高方差，低偏差。

　　通过这三个例子，我们可以发现，偏差往往说的是模型的准确率，如果偏差大，说明模型的复杂度不太够，需要提高模型的复杂度。而方差往往是说的模型的鲁棒性，如果方差大说明模型的泛化性不好，可以用L1正则、L2正则或者Dropout去解决。