AI-机器学习-自学笔记（九）套索回归算法
套索回归法和岭回归法类似，套索回归算法也会惩罚回归系数。在套索回归中，会惩罚回归系数的绝对值。此外，它能够减少变化程度并提高线性回归模型的精度。套索回归算法和岭回归算法有点不同，它使用的惩罚函数是绝对值，而不是平方。这导致惩罚（或等于约束估计的绝对值之和）值使一些参数估计结果等于零。使用惩罚值越大，进一步估计会使缩小值越趋近零。这将导致我们要从给定的N个变量中选择变量。 如果预测的一组变量高度相似，套索回归算法会选择其中的一个变量，并将其他的变量收缩为零。
要点：
• 除常数项以外，这种回归的假设与最小二乘回归类似；
• 它将收缩系数缩减至零（等于零），这确实有助于特征选择；
• 这是一个正则化方法，使用的是 L1 正则化；
• 如果一组预测因子是高度相关的，套索回归会选出其中一个因子并且将其它因子收缩为零。
scikit- leam 中套索算法的实现类是 Lasso，我们还是用波士顿数据集来做个实验
1 from pandas import read_csv 2 from sklearn.model_selection import KFold 3 from sklearn.model_selection import cross_val_score 4 from sklearn.linear_model import Lasso 5 #导入数据 6 filename = 'data/boston_housing.csv' 7 names =['CRIM','ZN','INDUS','CHAS','NOX','RM','AGE','DIS','RAD','TAX','PRTATIO','B','LSTAT','MEDV'] 8 data = read_csv (filename , names=names, delim_whitespace=False) 9 data=data.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False) 10 #将数据分为输入数据和输出结果 11 array = data.values 12 X =array[:,0:13] 13 Y =array[:,13] 14 n_splits = 10 15 seed = 7 16 kfold = KFold(n_splits=n_splits, random_state=seed,shuffle=True) 17 model = Lasso () 18 scoring= 'neg_mean_squared_error' 19 result= cross_val_score(model, X, Y, cv=kfold, scoring=scoring) 20 print('Lasso Regression：%.3f' % result.mean())
运行结果如下：
PS C:\coding\machinelearning>套索回归算法-波士顿数据集.py Lasso Regression：-26.203 PS C:\coding\machinelearning>
