"模式识别与机器学习"读书笔记——1.1 Example:Polynomial Curve Fitting

概述：

多项式拟合的入门知识，并给了个简单的例子：给了一堆x，一堆y，当再给你个x时你如何预测y的值。

非常基础，就一些有关多项式参数确定的概念，但并没有提如何确定参数的方法。

多项式拟合，假定原数据是由一个多项式函数产生的，y(x,w)，w是多项式的一些列参数。要通过已知的数据找到w使得你这多项式算出来的数据与实际数据的方差最小。当多项式的项数M越高时，对training数据的匹配就越精确，但是对test的匹配就不好了。这是因为如果M很大而数据不多时，多项式会把噪声也当成产生数据，而当噪声变了后，误差一下就大上去了，这叫做over-fitting。解决办法有增加训练数据，减小M，采用Bayesian approach。或采用新的方差算法，在方差上加入调节量，自动适应M与数据，这种方法在不同的领域有n多称呼。