机器学习公开课笔记(2)：多元线性回归

多元线性回归

一元线性回归只有一个特征 $x$ ，而多元线性回归可以有多个特征 $x_1, x_2, \ldots, x_n$

假设 (Hypothesis)： $h_\theta(x)=\theta^Tx=\theta_0x_0+\theta_1x_1+\ldots+\theta_nx_n$

参数 (Parameters)： $\theta_0, \theta_1, \ldots, \theta_n$

代价函数 (Cost function)： $J(\theta_0, \theta_1, \ldots, \theta_n)=\frac{1}{2m}\sum\limits_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})^2$

目标 (Goal)： $\min_\theta J(\theta)$

梯度下降 (Gradient Descent)

迭代更新参数 $\theta$ : $\theta_j = \theta_j - \alpha \frac{1}{m}\sum\limits_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$ for $j = 0, 1, 2, \ldots, n$

向量化实现 (Vectorized Implementation)： $\theta = \theta - \alpha \frac{1}{m}(X^T(X\theta-y))$

Feature Scaling

动机：如果不同特征之间的数值量级差别太大，那么梯度下降的速度非常慢，为了加快算法的收敛速度，将各个特征划归到统一数量级，一般是[0, 1]或者[-1, 1]之间

Trick1: $x_j = \frac{x_j - \mu_j}{s_j}$ , 其中 $\mu_j$ 表示第j个特征的均值, $s_j$ 表示第j个特征的范围(max - min)或者标准差(standard deviation)

Trick2: 学习速率的选择

合理的选择学习速率，保证 $J(\theta)$ 的值在每一次迭代后都是下降的;
如果 $J(\theta)$ 随迭代次数单调递增或者 $J(\theta)$ 随迭代次数成波浪形(例如: \/\/\/\/\/\/), 这时候应该考虑选择较小的 $\alpha$ ; 但是 $\alpha$ 太小会导致收敛速度过慢
为了正确的选择 $\alpha$ ，尝试序列 0.001, 0.01, 0.1, 1等

Normal Equation的数学推导

解析推导过程:
$J(\theta)=\frac{1}{2m}\sum\limits_{i=1}^{m}\left(h_\theta(x^{x(i)})-y^{(i)}\right)$
可以简化写成向量的形式:
$J(\theta)=\frac{1}{2m}||X\theta-y||^2=\frac{1}{2m}(X\theta-y)^T(X\theta-y)$
展开可得:
$J(\theta)=\frac{1}{2m}[\theta^TX^TX\theta-y^TX\theta-\theta^TX^Ty+y^Ty]$ 注意到 $y^TX\theta$ 是一个标量，因此它与其转置 $\theta^TX^Ty$ 是相等的，即中间两项是相等的，从而 $J(\theta)$ 可以进一步化简为:
$J(\theta) = \frac{1}{2m}[X^TX\theta-2\theta^TX^Ty+y^Ty]$
对向量的求导与单变量的求导法则有诸多不同，这里不加证明给出如下两个重要的向量求导结论（具体可参照向量矩阵求导）
$\begin{equation}d(X^TAX)/dX = (dX^T/dX)AX + (d(AX)^T/dX)X = AX + A^TX \end{equation}$
$\begin{equation}d(X^TA)/dX = (dX^T/dX)A + (dA/dX)X^T = IA + 0X^T = A\end{equation}$
根据结论(1), 第一项的求导结果为 $X^TX\theta+X^TX\theta=2X^TX\theta$ ；根据结论(2)，第二项的求导结果为 $-2x^Ty$ ；第三项不含 $\theta$ ，求导结果当然为0，整合三项我们可以得到 $J(\theta)$ 的导数 $\frac{dJ(\theta)}{d\theta}$ ,
$\frac{dJ(\theta)}{d\theta}=\frac{1}{2m}(2X^TX\theta-2X^Ty)$
令该导数等于0，我们很容易得到
$\theta=(X^X)^{-1}X^Ty$
这就是使得代价函数 $J(\theta)$ 取得最小值对应的 $\theta$ 。

梯度下降和Normal Equation优劣对比


Gradient Descent	Normal Equation
需要选择合适的 $\alpha$	不需要选择 $\alpha$
需要不断的迭代	不需要迭代
当特征非常多时(n非常大)，算法依然表现良好	当n非常大时，计算速度非常慢，因为需要计算 $(X^TX)^{-1}$ 复杂度为 $O(n^3)$