Machine Learning 19 ----结果部署

结果部署是机器学习的最后一步。

选定算法之后，对算法训练生成模型，并部署到生产环境上，以便利用机器学习解决实际问题。

模型生成之后，也需要定期对模型进行更行，是模型处于最新，最有效的状态，通常建议3-6月更新一次模型。

 

生成的模型序列化之后，当有新的数据出现时，需要反序列化已保存的模型，然后用其预测新的数据。

接下来介绍在Python中如何序列化和反序列化scikit-learn的模型。包括：

• 通过pickle来序列化和反序列化机器学习模型
• 通过joblib来序列化和反序列化机器学习模型

---

pickle序列化和反序列化机器学习模型

 

pickle是标准的Python序列化方法，可以通过它来序列化机器学习算法生成的模型，并将其保存到文件中。

当需要对新数据进行预测时，将保存在文件中的模型反序列化，并用其来预测新的数据。

#pickle的使用
from pandas import read_csv
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from pickle import dump
from pickle import load

filename='/home/aistudio/work/pima_data1.csv'
names=['preg','plas','pres','skin','test','mass','pedi','age','class']
data=read_csv(filename,names=names)
#将数据分为输入数据和输出数据
array=data.values
x=array[:,0:8]
y=array[:,8]
test_size=0.33
seed=4
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=test_size,random_state=seed)
#训练模型
model=LogisticRegression()
model.fit(x_train,y_train)

#保存模型
model_file='finalzied_model.sav'
with open(model_file,'wb') as model_f:
    #模型序列化
    dump(model,model_f)

#加载模型
with open(model_file,'rb') as model_f:
    #模型反序列化
    loaded_model=load(model_f)
    result=loaded_model.score(x_test,y_test)
    print('算法评估结果：%.3f%%' % (result * 100))

 

算法评估结果：80.315%

---

通过Joblib序列化与反序列化

joblib是Scipy生态环境的一部分，提供了通用的工具来序列化python的对象和反序列化python的对象。
通过joblib序列化对象时会采用Numpy的格式保存数据，这对某些保存数据到模型的算法非常有效，如K近邻算法。

#joblib的使用
from pandas import read_csv
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.externals.joblib import dump
from sklearn.externals.joblib import load

filename='/home/aistudio/work/pima_data1.csv'
names=['preg','plas','pres','skin','test','mass','pedi','age','class']
data=read_csv(filename,names=names)
#将数据分为输入数据和输出数据
array=data.values
x=array[:,0:8]
y=array[:,8]
test_size=0.33
seed=4
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=test_size,random_state=seed)
#训练模型
model=LogisticRegression()
model.fit(x_train,y_train)

#保存模型
model_file='finalzied_model_joblib.sav'
with open(model_file,'wb') as model_f:
    #模型序列化
    dump(model,model_f)

#加载模型
with open(model_file,'rb') as model_f:
    #模型反序列化
    loaded_model=load(model_f)
    result=loaded_model.score(x_test,y_test)
    print('算法评估结果：%.3f%%' % (result * 100))

算法评估结果：80.315%

---

生成模型的技巧

在生成机器学习模型时，需要考虑以下几个问题：

• python版本：要记录python的版本，大部分情况下，在序列化和反序列化模型时，需要使用相同的python版本。
• 类库版本：同样需要记录所有主要类库的版本，因为在序列化模型和反序列化模型时需要使用相同版本的类库，不仅需要scipy和scikit-learn版本一致，其他类库版本也需要一致。
• 手动序列化：有时需要手动序列化算法，这样可以直接在scikit-learn中或其它平台重现这个模型。我们通常会花费大量的时间在选择算法和参数调整上，将这个过程手动记录下来比仅序列化模型更有价值。