机器学习课程 第三集 学习心得

这次，教授给了一个算法——局部加权回归。

在讲述之前，教授告诉了我们什么是欠拟合和过拟合，这也是为什么要局部加权回归的原因之一吧。

局部加权回归在我的理解就是，给定x，在进行拟合的时候，我们更看重x周围的值，而离x太远的值，我们可以不重视甚至是无事，这样的话，局部拟合的效果会比较好一些。

其实，算法与上集的相差不多，不过多加了一个参数来作为权值：

权值的计算是：

权值的变化总体来说就是，离x越近，权就越大，越远越小。

到了这里，可以发现，当你现在有值要进行计算的时候，你必须重新拟合一次，因为局部加权回归是针对不同x值有不同的权值的，也就是说，不同的x值对应一个计算公式，那计算量可就大大的了。。。对了，上面中那个τ是波长函数，用来控制权值的变化的。详细可见视频。

 

在讲完这个之后，教授利用了大部分时间来讲述，为什么使用最小二乘回归而不同其他的，其实那段好多地方不太明白，所以我也就大概看了一下，不敢写出自己的理解，其中那块用到了一个极大似然估计，到时候要那本书翻翻了。

后面教授讲了一下分类算法，但是只提了个头，在第四集应该会进行相应的讲解。