模型上线和pmml简介

from http://tech.dianwoda.com/2018/07/18/mo-xing-shang-xian-he-pmmljian-jie/

目前存在的几种模型上线的方式

1、R+pmml+spark+airflow调度 
其他团队用R语言训练模型并转为pmml文件，然后我们使用spark将这个pmml文件封装为jar，使用airflow提交到yarn。  val is: InputStream = fs.open(path)
val pmml: PMML = PMMLUtil.unmarshal(is)
modelEvaluator = ModelEvaluatorFactory.newInstance.newModelEvaluator(pmml)

2、python+sklearn+airflow调度 
其他团队使用python训练好sklearn模型，并joblib.dumps()保存，然后我们在python文件中joblib.load()加载改文件，使用airflow离线调度。

3、xgboost+spark+xgb4j 
我们使用的是分布式的spark版的xgboost，训练好的模型直接保存为二进制文件model.booster.saveModel(hdfsOutStream)，然后xgboost4j加载该文件XGBoost.loadModel(is)实现线上实时预测。

4、tensorflow+tensorflow的java库 
ft模型先转为protobuf协议的模型， 
frozen_graph = freeze_session(get_session(), output_names=["output"])
tf.train.write_graph(frozen_graph, "./", "model.pb", as_text=False)
然后使用tf的java库加载改pb模型，在线预测  try (Graph graph = new Graph()) {
graph.importGraphDef(Files.readAllBytes(Paths.get("xxx/model.pb"))); try (Session sess = new Session(graph)) { float[][] input = xxx; try (Tensor x = Tensor.create(input); Tensor y = sess.runner().feed("input", x).fetch("output").run().get(0)) { float[][] result = new float[1][y.shape[1]]; y.copyTo(result); System.out.println(Arrays.toString(y.shape())); System.out.println(Arrays.toString(result[0])); } } } ...


5、keras+Flask 
python环境先将keras模型保存为hdf5文件model.save(model.h5)，然后在轻量级的web框架flask中加载实现线上预测。

总结分类为

1、离线预测+不跨语言 
这种最简单，就是用什么语言训练的就用什么语言预测，而且不用考虑多并发和响应时间等问题，例如方式2。

2、离线预测+跨语言 
用一种语言训练，另一种语言预测，但是不用考虑多并发和响应时间等问题，例如方式1。

3、在线预测+不跨语言 
用同一种语言训练和预测，同时要考虑多并发和响应时间等问题，例如方式3、4、5。像scala和java这种都是跑在jvm上的，以及tf自己实现了java库的，我们这里认为是同一种语言，

4、在线预测+跨语言 
用不同的语言训练和预测，同时要考虑多并发和响应时间等问题，我们目前还没有这种。但是类型2和3变一下就是在线+跨语言。

不跨平台的，即当训练和预测使用同一种开发语言的时候，PMML 就没有必要使用了，因为任何中间格式都会牺牲掉独有的优化。 而其他跨平台的模型要转为java能使用的类（因为我们的业务大部分是java实现的），这个工具就是jpmml-evaluator。