机器学习笔记（二）多元线性回归
Multiple Features （多特征量）
1、字符定义：
2、Multivariate Linear Regression （多元线性回归）：
3、代价函数：
4、梯度下降算法：
梯度下降技巧一——Feature Scaling （特征缩放）
1、定义：将每个特征量缩放到-1和1之间。（与之范围接近即可，如0~3，-2~0.5等）
2、作用：方便梯度下降时的收敛（轮廓图更接近圆）。
3、缩放方法：
（1）直接除以最大值。
（2）Mean Normalization（均值归一化）：减去平均值再除以s（即最大值-最小值，也可以是标准差）
梯度下降技巧二——Learning Rate （学习速率）
A：α=0.1 B：α=0.01（α较小，收敛速度慢） C：α=1（α太大，发散）
Polynomial Regression （多项式回归）
1、举例：不同次项可以转换为不同的特征值，如面积为特征值x1，面积²为特征值x2，面积³为特征值x3。将多项式回归问题转化为多元线性回归问题。
Normal Equation （正规方程）
1、作用：一步求解最优值。不需要进行特征归一化处理。（适用于n较小的情况）
2、矩阵表示：
3、推导过程：参考博客
4、 XTX不可逆的情况：
两种可能性：（1）一种是特征选的很多余了（即两个特征相关），比如选了房子的平方面积作为特征还选了房子的英尺计算的面积；（2）一种是特征选的太多（即m≤n），比如你有10个样本，结果选了1000个特征。
