线性回归
线性回归与梯度算法
-
线性回归是研究分析一个变量与另外一个或多个变量之间关系的方法。 期望：用一条直线表示这种关系。
-
线性回归（Linear Regression）是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。
-
线性回归 (Linear Regression)，亦称为直线回归，即用直线表示的回归，与曲线回归相对。若因变量Y对自变量X1、X2…、Xm的回归方程是线性方程，即μy＝β0 +β1X1 +β2X2 +…βmXm，其中β0是常数项，βi是自变量Xi的回归系数，M为任何自然数。这时就称Y对X1、X2、…、Xm的回归为线性回归。
简单回归：
只有一个自变量的线性回归称为简单回归，如下面示例：
X表示某商品的数量，Y表示这些不同数量商品的总价格
x=[0, 1, 2, 3, 4, 5]
y=[0, 17, 45, 55, 85, 99]
二维坐标中绘图如下图:
现在当商品数量 X = 6时，估计商品总价是多少？
我们可以很明显的看到，商品总价随商品的数量上升而上升，这是一个典型的线性回归。
因为只有一个自变量X，我们假设线性回归模型： Y = a * X + b
我们需要求出最合适的a，b值，使得直线：Y = a * X + b 与上图的趋势相拟合，这时候才能去预测不同商品数量X下的总价Y。
最小二乘法：
为了求出最合适的a b ，我们引入最小二乘法。
最小二乘法，亦称最小二乘法估计。由样本观测值估计总体参数的一种常用方法。它用于从n对观测数据(x1，y1)，(x2，y2)，……，(xn，yn)确定x与y之间对应关系y=f(x)的一种最佳估计，使得观测值与估计值之差(即偏差)的平方和 H为最小。
最小二乘法能尽量消除偶然误差的影响，从而由一组观测数据求出最可靠、最可能出现的结果。
由上图我们可以很明显的看出直线Y = a * X + b过原点，即 b = 0
我们尝试不同的a值 得到的结果如下：
a = 19 时 H = 154
a = 20 时 H = 85
a = 21 时 H = 126
图像分别如下：
我们可以粗略得出结论 a = 20，b = 0 时，线性模型 Y = 20 * X 与样本数据拟合的比较好。
所以当商品数量 X = 6 时，我们可以粗略估计总价Y = 20 * 6 = 120
