python MLPRegressor神经网络回归预测

 

 

参数说明：

• batch参数用来指定mini-batch sgd优化器的样本批量大小，默认值为200(如样本数低于200，则为样本数)。

• max_iter用来指定神经网络的最大迭代次数，默认值为200。

• random_state用来指定随机种子，用来控制模型初始权重的随机性。如果给定特定值，重新跑模型的时候，可以得出同样的结果。

• tol参数用于指定优化器的忍耐度。当损失函数的值的变化小于了忍耐度，便认为训练结束，从而停止训练。默认值为1e-4。

• momentum参数用于指定随机梯度下降优化器的动量，其值介于0到1之间。该参数仅在优化器为sgd的情形下有效。

• activation用来指定激活函数。

  • activation = identity，使用f(x) = x的激活函数
  • activation = logistic，使用f(x) = 1 / (1 + exp(-x))的激活函数，又名sigmoid激活函数。
  • activation = tanh，使用双曲正切激活函数。
  • activation = relu，使用整流线性单元激活函数。（默认值）

• solver用来指定优化器。

  • solver = lbfgs,使用拟牛顿法作为优化器。
  • solver = sgd,使用随机梯度下降优化器。
  • solver = adam，使用adam优化器。（默认值）

• learning_rate参数用来指定学习率的模式。

  • learning_rate = constant，即使用常数作为学习率。用learning_rate_init参数来设置其值。(默认值)
  • learning_rate = invscaling，使用一种逐渐自动下降的学习率。在训练的第t步，学习率会变为learning_rate_init / pow(t, power_t)。其中power_t可以手动设定，其默认值为0.5。
  • learning_rate = adaptive，使用自适应的学习率，当误差函数变化很小时，就会降低学习率。

• learning_rate_init 用来指定学习率，默认值为0.001。

• hidden_layer_sizes用于指定网络架构，输入形式为元组，元组长度表示架构的层数，元组第i个数表示第i层的神经元个数。例如hidden_layer_sizes = “512-512-64”表示该多层感知机会用三个隐藏层，神经元数量分别为512，512，64。
  默认值为100，表示只用一个100个神经元的隐藏层。

• power_t。该参数仅当learning_rate = invscaling时有效，其作用见learning_rate参数下invscaling取值时的说明。默认值为0.5。

 

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48

'''载入数据''' from sklearn import datasets import sklearn boston = datasets.load_boston() x,y = boston.data,boston.target '''引入标准化函数''' from sklearn import preprocessing x_MinMax = preprocessing.MinMaxScaler() y_MinMax = preprocessing.MinMaxScaler()    ''' 将 y 转换成 列 ''' import numpy as np y = np.array(y).reshape(len(y),1) '''标准化''' x = x_MinMax.fit_transform(x) y = y_MinMax.fit_transform(y)    ''' 按二八原则划分训练集和测试集 ''' from sklearn.model_selection import train_test_split np.random.seed(2019) x_train, x_test, y_train, y_test = train_test_split(x,y,test_size = 0.2)    '''模型构建''' from sklearn.neural_network import MLPRegressor fit1 = MLPRegressor(         hidden_layer_sizes=(100,50), activation='relu',solver='adam',# 第一个隐藏层有100个节点，第二层有50个，激活函数用relu，梯度下降方法用adam         alpha=0.01,max_iter=200)         # 惩罚系数为0.01，最大迭代次数为200 print ("fitting model right now") fit1.fit(x_train,y_train) pred1_train = fit1.predict(x_train) '''计算训练集 MSE''' from sklearn.metrics import mean_squared_error mse_1 = mean_squared_error(pred1_train,y_train) print ("Train ERROR = ", mse_1) '''计算测试集mse''' pred1_test = fit1.predict(x_test) mse_2 = mean_squared_error(pred1_test,y_test) print ("Test ERROR = ", mse_2)    '''结果可视化''' import matplotlib.pyplot as plt xx=range(0,len(y_test)) plt.figure(figsize=(8,6)) plt.scatter(xx,y_test,color="red",label="Sample Point",linewidth=3) plt.plot(xx,pred1_test,color="orange",label="Fitting Line",linewidth=2) plt.legend() plt.show()

 

fitting model right now
Train ERROR =  0.00733273144550684
Test ERROR =  0.009604936442639026