过拟合与欠拟合

训练误差：在训练集上的误差。
测试误差：在测试集上的误差，也称为泛化误差。

注：在先前未观测到的输入上表现良好的能力被称为泛化。

欠拟合（underfitting）：模型在训练集上不能获得足够低的误差
过拟合（overfitting）：训练误差与测试误差之间的差距太大。

通过调整模型的容量（capacity）可以控制模型是否偏向于过拟合或者欠拟合。模型的容量是指其拟合各种函数的能力。具体讲，容量低的模型可能很难拟合训练集，容易高的模型可能会过拟合，因为记住了不适用于测试集的训练集性质。