机器学习【十二】使用管道模型对股票涨幅进行回归分析

书上数据集无法获得，所以，拍照之......

整理数据集：

• 删除无效数值
• 去掉冗余信息
• 考虑是否把字符串类型的特征通过get_dummies转化成整型数值

#导入pandas
import pandas as pd
stocks = pd.read_csv('文件路径',encoding='gbk')
#定义数据集中的特征X和目标y
X = stocks.loc[:,'现价'：'流通股（亿）'].values
y = stocks['涨幅%%']
#验证数据集形态
print(X.shape,y.shape)

（3421，23）（3421，）

【结果分析】

数据集加载成功，共有3421支股票，每支股票包含23个特征

 

尝试用MLP多层感知神经网络回归分析，评分仍然用交叉验证cross_val_score:

#导入交叉验证
from sklearn.model_selection import cross_val_score
#导入MLP神经网络
from sklearn.neural_network import MLPRegressor
#使用交叉验证对MLP模型评分
print('平均分：',lscores.mean())

-34870039.57

【结果分析】

原因在于，MLP对数据预处理的要求很高，而原始数据集中各个特征的数量级差的又远，必然很差

 

1.建立包含数据预处理和MLP模型的管道模型：

建立管道模型将数据预处理和MLP模型打包进去：

在sklearn中可以使用make_pipeline便捷的建立管道模型

#导入make_pipeline模块
from sklearn.pipeline import make_pipeline
#对比两种方式的语法
pipeline = Pipeline([('scaler',StandardScaler()),('mlp',MLPRegressor(random_state=38))])
pipe = make_pipeline(StandardScaler(),MLPRegressor(random_state=38)) #更简洁，不需要指定每个步骤的名称
#打印两种建立管道模型方法的步骤
print('*'*10)
print(pipeline.steps)
print('x'*10)
print(pipe.steps)

【结果分析】

 步骤如上，参数上看，两种方法得到的结果完全一致

 

尝试用交叉验证cross_val_score评分：

#进行交叉验证
scores = cross_val_score(pipe,X,y,cv=3)
print('模型平均分：',scores.mean())

0.90

 

 

2.向管道模型添加特征选择步骤

#导入特征选择模块
from sklearn.feature_selection import SelectFromModel
#导入随机森林模型
from sklearn.ensemble import RandomForestRegressor
#建立管道模型
pipe = make_pipeline(StandardScaler(),SelectFromModel(RandomForestRegressor(random_state=38)),MLPRegressor(random_state=38))
#显示管道模型步骤
pipe.steps

为了让多次运行的结果能够保持一致，也将随机森林的random_state进行指定

 

 

下面使用交叉验证法来给管道模型评分：

#使用交叉验证进行评分
scores = cross_val_score(pipe,X,y,cv=3)
print('管道模型平均分：',scores.mean())

0.89

【结果分析】

 对比没有添加模型选择的管道模型，得分有了提升

针对不同数据集，可以在管道模型中增加更多的步骤，以提高模型的性能表现 

 

提取管道模型每个步骤的属性，例如SelectFromModel 步骤中，模型选择了哪些特征：

#使用管道模型拟合数据
pipe.fit(X,y)
mask = pipe.named_steps['selectfrommodel'].get_support()
#打印特征选择的结果
print(mask)

 

 

 

3.使用管道模型进行模型选择和参数调优

 A.模型选择——从若干算法中找到适合我们数据集的算法

#定义参数字典
params = [{'reg':[MLPRegressor(random_state=38)],'scaler':[StandardScaler(),None]},{'reg':[RandomForestRegressor(random_state=38)],'scaler':[None]}]
#下面对pipeline实例化
pipe = Pipeline([('scaler',StandardScaler()),('reg',MLPRegressor())])
#对管道模型进行网格搜索
grid = GridSearchCV(pipe,params,cv=3)
#拟合数据
grid.fit(X,y)
print('最佳模型：',grid.best_params_)
print('模型最佳得分：',grid.best_score_)

我们定义了一个字典的列表params作为pipeline的参数

在参数中，我们指定对MLP模型使用StandardScaler ,而RandomForest 不使用StandardScaler,所以scaler对应None

结果：

 

 

B.使用管道模型寻找更优参数

 在上一个例子中，我们对比的两个模型使用的基本都是默认参数，如MLP的隐藏层使用的是缺省值（100，），而随机森林使用的n_estimators也是默认10个

 

如果修改了参数，会不会MLP表现不如随机森林？

通过在网格搜索中扩大搜索空间，将需要对比的模型参数，也放进管道模型中进行对比：

#在参数字典中加入MLP隐藏层和随机森林中estimator数量的选项
params = [{'reg':[MLPRegressor(random_state=38)],'scaler':[StandardScaler(),None],'reg_hidden_layer_sizes':[(50,),(100,),(100,100)]},{'reg':[RandomForestRegressor(random_state=38)],'scaler':[None],'reg__n_estimators':[10,50,100]}]
#下面对pipeline实例化
pipe = Pipeline([('scaler',StandardScaler()),('reg',MLPRegressor())])
#对管道模型进行网格搜索
grid = GridSearchCV(pipe,params,cv=3)
#拟合数据
grid.fit(X,y)
print('最佳模型：',grid.best_params_)
print('模型最佳得分：',grid.best_score_)

让GridSearchCV遍历两个模型所给出的参数，结果：

【结果分析】

 两个模型的表现发生了逆转

 

如果多提供一些参数供管道模型进行选择，如让随机森林n_estimators数量可以选择500 或 1000，结果可能还会反转：

#再次给入新的参数字典
params = [{'reg':[MLPRegressor(random_state=38,max_iter=1000)],'scaler':[StandardScaler(),None],'reg_hidden_layer_sizes':[(50,),(100,),(100,100)]},{'reg':[RandomForestRegressor(random_state=38)],'scaler':[None],'reg__n_estimators':[100,500,1000]}]
#下面对pipeline实例化
pipe = Pipeline([('scaler',StandardScaler()),('reg',MLPRegressor())])
#对管道模型进行网格搜索
grid = GridSearchCV(pipe,params,cv=3)
#拟合数据
grid.fit(X,y)
print('最佳模型：',grid.best_params_)
print('模型最佳得分：',grid.best_score_)

【结果分析】

 没有出现所期待的剧情反转，增加了n_estimators数量的随机森林仍然没能超越MLP

说明，对于这个数据集来说，MLP更适合些