偏差和方差有什么区别?
【转载】 https://www.zhihu.com/question/20448464/answer/765401873
在忽略噪声的情况下,泛化误差可分解为偏差、方差两部分。
偏差:度量学习算法的期望预测与真实结果的偏离程度,也叫拟合能力。
方差:度量了同样大小的训练集的变动所导致的学习性能的变化,即刻画了数据扰动造成的影响。---摘自《机器学习》,周志华
针对偏差和方差的思路:
偏差:实际上也可以称为避免欠拟合。
1、寻找更好的特征 -- 具有代表性。
2、用更多的特征 -- 增大输入向量的维度,增加模型复杂度。
方差:避免过拟合 。
1、增大数据集合 -- 使用更多的数据,减少数据扰动所造成的影响
2、减少数据特征 -- 减少数据维度,减少模型复杂度
3、正则化方法
4、交叉验证法