容量、过拟合和欠拟合
1.泛化
在先前未观测到的输入上表现良好的能力被称为泛化(generalization)
2.训练误差(training error)
在训练集上计算的误差
3.泛化误差(generalization error)(也被称为测试误差(test error))
在测试集上计算的误差
线性回归示例
4.数据生成分布(data generating distribution),记作 p data
测试数据集和训练数据集独立同分布
5.决定机器学习算法效果是否好的因素
降低训练误差
缩小训练误差和测试误差的差距
欠拟合(underfitting)和过拟合(overfitting)
欠拟合是指模型不能在训练集上获得足够低的误差。而过拟合是指训练误差和和测试误差之间的差距太大
6.最近邻回归
7.贝叶斯误差(Bayes error)
从预先知道的真实分布 p(x,y) 预测而出现的误差
8.模型的容量是指其拟合各种函数的能力
学习算法可以从哪些函数族中选择函数。这被称为模型的表示容量(representational capacity)
9.正则化
权重衰减(weight decay)
带权重衰减的线性回归最小化训练集上的均方误差和正则项的和 J(w),其偏好于平方L 2 范数较小的权重
正则化是指我们修改学习算法,使其降低泛化误差而非训练误差