机器学习基石笔记-Lecture 12 Nonlinear transformation

从线性扩展到非线性。

 

对特征进行非线性变换后在新的特征空间的直线可以对应到原始空间的各种曲线上。

注意到将x进行变换到Q阶后，相应的w的维度增多，意味着新的假设空间的vc维变大，模型复杂度提升，泛化能力降低。（Ein与Eout不接近的可能性提高了）

 

然后说了各阶变换后的新假设空间的关系，如果随着vc维增加，Ein下降但是Eout上升，说明出现过拟合了。

 

所以在模型选择上，首先从线性的开始，逐渐增加复杂度是一个明智的做法。