机器学习整理（线性回归）

单元线性回归

1、定义假设函数 $h(x) = \theta_1x + \theta_0$

2、尝试用样本拟合假设函数，所有样本点到假设函数的距离，其中$m$为样本数量:

$$sum = \dfrac{1}{2m} \sum_{1}^{m} (h(x_i) - y_i)^2$$

3、当 sum 的值越小，假设函数的偏差就预测样本更加精确。这个表达式就是代价函数 $j(\theta)$ ，目标就是最小化代价函数的值。

4、假设 $h(x)$ 没有常数项 $\theta_0$ ， $h(x)$ 将会会是一个从原点出发的直线，不断变动 $\theta_1$ 的值（斜率），带入样本 $(1, 1), (2, 2) , (3, 3)$ 可以发现代价函数 $j(\theta)$是一个二次函数，并且在值为 1 的时候，代价函数 $h(x)$ 的值最小。

梯度下降

问题：为了将代价函数最小化，但是代价函数$J(\theta)$在多维后不能可视化，所以需要一种方法来求得最小值。

梯度下降算法描述：

对于每一个 $\theta_i$ 参数，不断减去代价函数$j(\theta_0 \cdots \theta_n)$ 对 $\theta_i$ 的偏导和学习率 $a$ ，直到收敛，收敛的意思是导数项为0，$\theta_i$ 的值不再发生变化。

线性回归的梯度下降的代价函数总是一个凸函数，没有局部最优解，只有全局最优解。

学习率的取值

1、学习率太大收敛不了，梯度下降的过程中，不断跳过最低点，需要适当调小学习率；

2、太小的话学习速度太慢

3、学习率总能到达局部最低点，即使学习率是固定的，因为接近最低解的时候，导数会自动变化。

4、调试梯度下降，保证梯度下降是在正确运行要求是每次迭代都需要降低 $J(\theta)$ 的值，设定收敛阈值 $\sigma$ 。

多元线性回归

当处理的问题的特征输入变成多个时，假设函数将会变成:

$$h(x) = \theta_0x_0 + \theta_1x_1 + \cdots + \theta_nx_n$$

其中 $x_0$ = 1。

如果假设两个矩阵:

$$X = \begin{bmatrix} x_0 \\ x_1 \\ \cdots \\ x_n \end{bmatrix}, \Theta= \begin{bmatrix} \theta_0 \\ \theta_1 \\ \cdots \\ \theta_n \end{bmatrix}$$

那么假设函数就能表示为：

$$h(x) = \Theta^TX$$

特征缩放

将特征的值放到相同的规模上，如果不在同一规模，有可能要梯度下降很久。

面对这种问题，经验是将特征缩放到 -1 ~ 1 之间。

缩放的方法：均值归一化，特征值减去平均值除以特征的范围。

正规方程求解

除了梯度下降的方法找到最优点，还可以直接通过求导数值为0的点计算出结果。当

$$J(\theta_0, \theta_1, \cdots, \theta_m) = \dfrac{1}{2m} \sum_{1}^{m} (h(x_i) - y_i)^2$$

只要代价函数求得对每个 $\theta$ 的偏导的值为 0 的点即可。

$$\dfrac{\partial}{\partial\theta_j} J(\theta_0, \theta_1, \cdots, \theta_m) = \cdots = 0$$

正规方程在求解大特征的时候需要求转置和矩阵的逆，但是在n小的时候求得比较快。（特征少的时候选择）。