预测实数取值的(real-valued)输出:回归入门

1. 简介：

主要是Andrew W.Moore 的课件Predicting real-valued outputs: an introduction to regression学习笔记（逐步完成)。

2. 单一参数线性回归 single parameter linear regression

前面关于PRML第一章学习笔记中已经贴了该部分。注意最后的最优求解很简单，按照偏导数=0。

$E=\sum_{i}\left(y_{i}-wx_{i}\right)^{2}=\sum_{i}y_{i}^{2}-2\left(\sum_{i}x_{i}y_{i}\right)w+\left(\sum_{i}x_{i}^{2}\right)w^{2}$

对应最小值的

$w=\frac{\sum x_{i}y_{i}}{\sum x_{i}^{2}}$

然后可以利用这个 $w$ 来预测新值。

$Out(x)=wx$

3. 多元线性回归

注意前面PRML中曲线拟合的例子，输入可不是多元的，仍然是f(X)->Y,X,Y都是单一变量而不是vector(不过参数W是多元的而已)。当然从basis function的角度来看其实也是一样的可以看做多元回归。

为什么取得最大可能对应的 $\mathbf{w}$ 是上面那个样子呢?其实这是一个最小二乘问题，也是线性方程组求解问题。设上图关于R个训练输入数据，每个数据有m个输入维度的矩阵是 $\mathbf{A}$ = $\mathbf{x}$ 如果 $\mathbf{Aw}$ 的解空间包含 $\mathbf{y}$ ,那么 $\mathbf{Aw}=\mathbf{y}$ 方程是有解的。这个时候可以说对应的 $\mathbf{w}$ 使得对于训练数据的逼近最好，误差为0。那么如果解空间不存在 $\mathbf{y}$ 呢,那么我们只能尽可能的调整 $\mathbf{w}$ 使得 $\mathbf{||Aw}-\mathbf{y||}$ 最小。我们求得的 $Aw_{min}$ 是 $ColA$ 中最接近 $\mathbf{y}$ 的向量。参考<<线性代数及其应用>>p359, $Aw_{min}$ 应该是 $\mathbf{y}$ 向 $\mathbf{A}$ 的列空间的投影。