[comment]: # 机器学习实战 - 读书笔记(08) - 预测数值型数据：回归
前言
最近在看Peter Harrington写的“机器学习实战”，这是我的学习心得，这次是第8章 - 预测数值型数据：回归。
基本概念
-
回归(regression) - 估算一个依赖变量和其它独立变量的关系。不同于分类的是，它计算的是连续数值，也就是数值型数据。
回归多用于预测。
-
回归方程(regression equation) : 就是回归分析的结果。一个方程式使用独立变量来计算依赖变量。
-
线性回归(linear regression) : 回归方程是一个多元一次方程，它是由常量乘以每个独立变量，然后再求和的结果。
-
过拟合(over-fitting) ：
理解过拟合，可以想象有两个人：小明和小强。我们让他们做开平方计算。
小明计算能力强，他使用计算的方法求开平方的结果。
小强记忆能力强，他记住1~10000所有数开平方的结果，通过匹配的方式算出结果。
小强的方法就是过拟合，过于依靠记忆（训练数据），而没有发现一个通用的规律。
-
欠拟合(under-fitting)
在机器学习的回归分析中，希望发现训练数据和目标数据之间的关系。这个关系是未知的。
寻找这个通用关系有一些困难：
- 训练数据和目标数据的覆盖度问题。是否能够完全体现了数据关系？
- 训练数据和目标数据的精确度问题。
- 关系的复杂性
这种关系可能是线性的（我们喜欢），也可能是二次方程式、三次方程式、求对数等等。
如果我们简单的使用线性回归方程，则很可能满足了部分数据，对某些数据却造成了偏差。
这种现象就是欠拟合。
线性回归
使用线性回归方程，求解系数向量\(w\)。
核心公式
\[y = f(x) = w^Tx
\]
- 求\(w\)
求\(w\)， 是求方程式\(y = w^Tx\)的最小平方误差。
平方误差：
\[\textstyle sum_{i=1}^n(y_i - w_i^Tw)^2
\]
平方误差的矩阵表示:
\[(y-xw)(y-xw)
\]
对\(w\)求导:
\[\begin{array}{lcl}
((y-xw)^T(y-xw))' & = (y^2 - 2xyw + (xw)^2)' \\
& = -2xy + 2xw \\
& = -2x^T(y- xw) \\
-2x^T(y- xw) & = 0 \\
x^T(y- xw) & = 0 \\
x^Ty- x^Txw) & = 0 \\
w & = (x^T y)(x^T x)^{-1}
\end{array} \\
where \\
\qquad x \text{ : training data, it is a matrix.} \\
\qquad x^T \text{ : x's transpose.} \\
\qquad y \text{ : result data of training data.} \\
\qquad w \text{ : it is a vector.}
\]
numpy.corrcoef(yEstimate, yActual)
\[R_{ij} = \frac{C_{ij}}{\sqrt{C_{ii}C_jj}}
\]
优势
劣势
- 不能求解
\((x^Tx)^{-1}\)，是对矩阵求逆，然而，矩阵的逆可能并不存在。
- 欠拟合
由于线性回归计算的是所有的训练数据，因此不会考虑局部上的细节，这样会出现欠拟合的现象。
局部加权线性回归（Locally Weighted Linear Regression，LWLR）
为了解决线性回归欠拟合的问题，一个思路是：我们用离测试数据比较近的训练数据进行线性回归分析。
因此我们给每个训练数据赋予一个权重\(\alpha\)，太远的训练数据的权重为0，离测试数据越近，权重越大。
这个思路有点像KNN算法。
\[w = (x^T \alpha y)(x^T \alpha x)^{-1} \\
\alpha(i, i) = exp \left ( \frac{\left | x^{(i)} - x^{(t)} \right |}{-2k^2} \right) \\
where \\
\qquad x \text{ : training data, it is a matrix.} \\
\qquad x^T \text{ : x's transpose.} \\
\qquad y \text{ : result data of training data.} \\
\qquad w \text{ : it is a vector.} \\
\qquad \alpha \text{ : weight of training data, it is a matrix.} \\
\qquad \alpha(i, i) \qquad \text{ : a result is from a kernel function, here we use radial basis function.} \\
\qquad \left | x^{(i)} - x^{(t)} \right | \text{ : the square of the distance of }\ x^{(i)} \text{ and}\ x^{(t)} \text{.} \\
\qquad x^{(t)} \text{ : the testing data.} \\
\qquad k \text{ : it is an input value. 0 < k } \leqslant { 1. }
\]
注： k越小，细分程度越大。 过于小的K会导致过拟合问题。
岭回归（ridge regression）
岭回归是一种缩减(shrinkage)技术。缩减方法可以去掉不重要的参数，因此能更好地理解数据。
逻辑过程
- 首先对训练数据做标准化处理。
标准化处理的目的是使得每个特征的重要性相同。
比如：一个特征的年龄（单位是年龄），另外一个特征是年收入（单位是元）。
如果使用原始数据，年龄变化比较小，所以可能对应的w会比较大。同理，年收入对应的w会比较小。
对于岭回归来说，\lambda就不太好取值。
- 然后使用不同的\lambda,进行岭回归计算。
核心公式
\[y^{(mean)} = \frac{sum(y)}{count(y)} \\
y = y - y^{(mean)} \\
x^{(mean)} = \frac{sum(x)}{count(x)} \\
x^{(var)} = \frac{sum((x - x^{(mean)}))^2}{count(x)} \\
x = \frac{x - y^{(mean)}}{x^{(var)}} \\
where \\
\qquad x \text{ : training data, it is a matrix.} \\
\qquad y \text{ : result data of training data.} \\
\qquad y^{(mean)} \text{ : the arithmetic mean along the y.} \\
\qquad x^{(mean)} \text{ : the arithmetic mean along the x.} \\
\qquad x^{(var)} \text{ : the variance along the x.}
\]
\[w = (x^T y)(x^T x + \lambda I)^{-1} \\
where \\
\qquad x \text{ : training data, it is a matrix.} \\
\qquad x^T \text{ : x's transpose.} \\
\qquad y \text{ : result data of training data.} \\
\qquad w \text{ : it is a vector.} \\
\qquad I \text{ : is a m * m matrix, 对角线上的元素为1(就是岭), 其它元素都为0. } \\
\qquad m \text{ : dimension of a training data.} \\
\qquad \lambda \text{ : an input value. 缩减系数}
\]
注:\(\lambda\)非常小时，系数与普通回归一样。而\(\lambda\)非常大时，所有回归系数缩减为0。可以在中间某处找到使得预测的结果最好的\(\lambda\)值。
逻辑过程
对训练数据做标准化处理（和岭回归的标准化处理方式相同）.
初始化w的每个元素为1.
每次对w的一个元素增大一点或者减少一点，计算误差，如果误差比上次的少，就将当前的w记为w_best。
按照上面的方法循环许多次后，返回w_best.
核心公式
\[y^{(test)} = w x \\
error = \textstyle sum_{i=1}^n (y_i - y_i^{(test)})^2 \\
where \\
\qquad x \text{ : training data, it is a matrix.} \\
\qquad w \text{ : the current w.} \\
\qquad y \text{ : result data of training data.}
\]
参考
