二、sklearn实现线性回归

1、简单线性回归概念

简单线性回归通过拟合线性方程y=wx+b得到预测值，通过取得预测值和真实值的最小差距，得到w和b的值。

　　公式：J(w,b)_min=Σ(yⁱ-yⁱ_pre)²=∑(yⁱ-wxⁱ+b)²，即公式取最小值

2、通过最小二乘法求解w和b

• w = ∑(xⁱ-x_mean)(yⁱ-y_mean)/∑*(xⁱ-x_mean)
• b = y_mean-ax_mean
• 向量化公式：w = XY/XX

import numpy as np
from sklearn import datasets

from sklearn.model_selection import train_test_split

# 导入线性回归库
from sklearn.linear_model import LinearRegression

boston = datasets.load_boston()

a = boston.data
y = boston.target
a = a[y<50.0]
y = y[y<50.0]

X_train, X_test, y_train, y_test = train_test_split(a, y, random_state=666)

lin_reg = LinearRegression()

lin_reg.fit(X_train, y_train)

# 权重系数
lin_reg.coef_

# 截距
lin_reg.intercept_

# R2准确率
lin_reg.score

3、线性回归准确性的衡量标准

　　一般J(w,b)值最小时预测准确率最高，但考虑样本集的数量，如：10000个样本误差为1000，100个样本误差为500，这样误差为1000的预测效果好，所以要去掉样本集的影响。

• 均方误差：MSE=J(w,b)/m
• 均方根误差：RMSE=sqrt(MSE)
• 平均绝对值误差：MAE=∑|yⁱ-yⁱ_pre|/m　　

4、最好的线性回归准确性的衡量标准R Squared

　　公式：R2=1-∑(yⁱ-yⁱ_pre)²/∑(y_mean-yⁱ)²

　　分子：表示自定义模型预测产生的误差

　　分母：使用y=y_mean基准模型预测产生的误差

　　公式表示自定义模型对比基准模型的百分比

　　R²<=1且值越大表示自定义模型预测的效果越好

　　R²<0表面自定义模型预测效果极差，不如基准模型，数据之间大概率不是线性关系

　　R²分子分母同时除以样本m得到：R² = 1-MSE(ypre-y)/var(y) (var是方差)

import numpy as np
from sklearn import datasets

from sklearn.model_selection import train_test_split

# 导入线性回归库
from sklearn.linear_model import LinearRegression

# 导入（MSE）
from sklearn.metrics import mean_squared_error

# 导入（MAE）
from sklearn.metrics import mean_absolute_error

# 导入(R2)
from sklearn.metrics import r2_score

boston = datasets.load_boston()

a = boston.data
y = boston.target
a = a[y<50.0]
y = y[y<50.0]

X_train, X_test, y_train, y_test = train_test_split(a, y, random_state=666)

lin_reg = LinearRegression()

lin_reg.fit(X_train, y_train)

MSE = mean_squared_error(y, y_calculate)

MAE = mean_absolute_error(y, y_calculate)

# RMSE
RMSE = np.sqrt(MSE)

# R2
r2_score(y, y_calculate)

5、多元线性回归

　　一个样本具有N个特征值：y = b + w₁x₁ + w₂x₂ + ...+ w_mx_m

 

6、线性回归模型的解释

　　w系数的正负分别代表正负相关，数值大小代表相关程度