机器学习——偏差-方差权衡问题

偏差指的是模型与真实数据分布之间的误差。线性模型能表示的函数空间有限,所以存在偏差。

方差指同一模型在不同训练集上的输出变化。简单模型方差小,复杂模型容易过拟合,方差大。

1. 泛化性好的模型往往偏差高,方差低。比如简单的线性模型。

2. 灵活性强的模型往往偏差低,方差高。比如复杂的深度神经网络。

 

泛化错误来源于偏差和方差。偏差高会导致欠拟合,方差高导致过拟合。

所以我们需要在偏差和方差间找到平衡,既确保模型足够表达数据模式,也不至于过拟合噪音。这就是机器学习中的经典偏差-方差权衡问题。