spark Pipeline,逻辑回归、svm等算法交叉验证

交叉验证应用与各种算法中,用于验证超参数的最优值。

常用的算法有逻辑回归、神经网络、ALS、SVM、决策树等。

Spark中采用是k折交叉验证 (k-fold cross validation)。举个例子,例如10折交叉验证(10-fold cross validation),将数据集分成10份,轮流将其中9份做训练1份做验证,10次的结果的均值作为对算法精度的估计。 10折交叉检验最常见,是因为通过利用大量数据集、使用不同学习技术进行的大量试验,表明10折是获得最好误差估计的恰当选择,而且也有一些理论根据可以证明这一点。但这并非最终结论,争议仍然存在。而且似乎5折或者20折与10折所得出的结果也相差无几。交叉检验常用于分析模型的泛化能力,提高模型的稳定。相对于手工探索式的参数调试,交叉验证更具备统计学上的意义。在Spark中,Cross Validation和ParamMap(参数组合Map)结合使用。具体做法是,针对某有特定的ParamMap,CrossValidator计算K (K 折交叉验证)个评估分数的平均值。然后和其他参数组合CrossValidator计算结果比较,最终将最优的参数组合挑选出来,用于整个训练数据集上模型的重新训练(re-fit)。也就是说,通过交叉验证,找到了最佳的ParamMap,利用此ParamMap在整个训练集上可以训练(fit)出一个泛化能力强,误差相对小的的最佳模型。

 

这里值得学习的是ML api提供了一个帮助我们寻找最佳参数的api

ALS交叉验证参数    

rank取值(5,10,20)

regParam--正则化参数(0.05,0.10,0.15,0.20,0.40,0.80)

1
2
3
4
ParamMap[] paramGrid=new ParamGridBuilder()
      .addGrid(als.rank(),new int[]{5,10,20})
      .addGrid(als.regParam(),new double[]{0.05,0.10,0.15,0.20,0.40,0.80})
      .build();

 

1
CrossValidator交叉验证
1
setNumFolds:五折交叉验证
1
setEvaluator:模型评估<br><br>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
// CrossValidator 需要一个Estimator,一组Estimator ParamMaps, 和一个Evaluator.
      // (1)Pipeline作为Estimator;
      // (2)定义一个RegressionEvaluator作为Evaluator,并将评估标准设置为“rmse”均方根误差
      // (3)设置ParamMap
      // (4)设置numFolds   
 
      CrossValidator cv=new CrossValidator()
      .setEstimator(pipeline)
      .setEvaluator(new RegressionEvaluator()
              .setLabelCol("rating")
              .setPredictionCol("predict_rating")
              .setMetricName("rmse"))
      .setEstimatorParamMaps(paramGrid)
      .setNumFolds(5);

  

1
2
// 运行交叉检验,自动选择最佳的参数组合
      CrossValidatorModel cvModel=cv.fit(training);

  会通过五折交叉验证确定ALS算法rank和正则参数的最优值

posted @   亢奋的小马哥  阅读(2847)  评论(0编辑  收藏  举报
努力加载评论中...
点击右上角即可分享
微信分享提示