【学习笔记】回归算法-岭回归

具有L2正则化的线性最小二乘法。岭回归是一种专用于线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。当数据集中存在共线性的时候，岭回归就会有用。

正则化程度的变化，对结果的影响：

sklearn.linear_model.Ridge(alpha=1.0)

• 具有l2正则化的线性最小二乘法
• alpha:正则化力度
• coef_:回归系数

使用岭回归预测【学习笔记】回归算法-线性回归中的波斯顿房价的例子：

from sklearn.linear_model import Ridge
...
# 岭回归预测房价
rd = Ridge(alpha=1.0)
rd.fit(x_train, y_train)
print(rd.coef_)
y_rd_predict = std_y.inverse_transform(rd.predict(x_test))
print("岭回归预测的房子价格：", y_rd_predict)
print("岭回归的均方误差:", mean_squared_error(std_y.inverse_transform(y_test), y_rd_predict))

线性回归 LinearRegression与Ridge对比:岭回归：回归得到的回归系数更符合实际，更可靠。另外，能让估计参数的波动范围变小，变的更稳定。在存在病态数据偏多的研究中有较大的实用价值。