机器学习基石笔记-Lecture 9 Linear regression

线性回归的任务是对于一个输入，给出输出的实数，保证和真实输出相差越小越好。因为假设空间是线性的，所以最后的g会是直线或者平面。

通常的误差衡量方法是使用平方误差

接下来的问题是如何最小化 Ein

将Ein写成矩阵形式，

注意到Ein是w的函数，是连续的、可微的、凸函数。

对w求偏导使之为0则可以求出最优点。 

这是一个关于w的一次方程。

在  不可逆时，它的 pseudo-inverse仍然存在，只是会有多个，选取其中一个去得到w即可。

 

线性回归是一个学习算法吗？

先来看一看它的Ein

H也可以叫做投影矩阵

线性回归嘛，预测出来的y_hat 就在 span of X上。真实的y要与y_hat最小，那么就是要

那residual，也就是 y - y_hat 可以写作 y通过（I-H）做投影。

如果加入了noise, y - y_hat 也可以看做是 noise 通过（I-H）的投影

然后就有（？？？）为什么要求Ein的平均不太懂。。

第二条说的Eout的平均与Ein的平均的差，也就是平均的Eout与Ein的差，和VC给的保证（最坏的情形）不一样。

只要N足够大，noise比较小的话，learning happened.

 

可以使用linear regression 来做 linear classification.

首先看看两者的误差衡量方式，0/1 err最小化不好解。。

也就是说 regression的Ein 是大于 classification的 Ein的，那么看看Eout

classification的Eout 被 regression 的 Ein和 模型复杂度惩罚项（对两者而言是一样的）给bound住。

那么只要做好了regression的Ein，那么classification的Eout也可以很好。所以可以用regression来做classification.

 

linear regression:

优点：结果易于理解，计算不复杂。

缺点：对非线性数据拟合不好。

适用：数值型和标称型数据。