机器学习模型优化：variance bias

bias（偏差：指同一个点的训练数据的预测值与正确值间的偏离程度）

variance（方差：指同一个点的训练数据的预测值的离散程度）

 

一般情况下，模型需要在bias和variance之间取得一个平衡。bias小的模型，variance一般大；variance小的模型，bias一般大。更好的理解bias和variance的关系能够帮助我们更好的应付模型的过拟合和欠拟合问题。

Bias表示的就是模型预测的值和真实值之间的距离的期望。Bias代表着算法的拟合能力。

Variance表示的是当对一个模型使用不同的数据进行多次建模时，这些模型在某一个点上的预测值的方差就是该模型在这个点上预测值的variance。Variance代表这算法的鲁棒性。

红色的圆心是真实值，小蓝点是预测值

要提高模型的鲁棒性，则需要减小模型的variance，可以使用集成学习的bagging算法

要提高模型的准确度，则需要减小模型的bias偏差，可以使用集成学习的boosting算法