SynapseML MMLSpark 集群 机器学习 训练

 

spark-shell --packages com.microsoft.azure:synapseml_2.12:0.9.5

pyspark --packages com.microsoft.azure:synapseml_2.12:0.9.5

spark-submit --packages com.microsoft.azure:synapseml_2.12:0.9.5 MyApp.jar

#参考地址 https://github.com/microsoft/SynapseML

#参考文档 https://microsoft.github.io/SynapseML/

 

 

初探大规模GBDT训练

初探大规模GBDT训练 - 知乎 (zhihu.com)

 

spark-submit 提交方式 jar

/home/work/cloud-hadoop-client/spark232/bin/spark-submit \
--master yarn \
--queue survey \
--deploy-mode cluster \
--name "development_lightgbm" \
--conf spark.yarn.dist.archives=hdfs://shanghai/tools/pylightgbm.tar.gz#pyenv \
--conf spark.pyspark.python=./pyenv/pylightgbm/bin/python \
--jars mmlspark_2.11-0.18.1.jar,lightgbmlib-2.2.350.jar \
--executor-memory 2G \
--driver-memory 4G \
--conf spark.driver.host=10.157.18.46 \
--conf spark.driver.maxResultSize=5g  \
--executor-cores 2 \
--num-executors 2 \
lightgbm_python.py

 参考 (21条消息) [机器学习] LightGBM on Spark (MMLSpark) 使用完全手册_魔都Vincent的博客-CSDN博客_mmlspark

 

Spark应用程序第三方jar文件依赖解决方案

(21条消息) Spark应用程序第三方jar文件依赖解决方案_DemonHunter211的博客-CSDN博客_spark第三方包

 

第三方jar手动下载地址

Maven Repository: Search/Browse/Explore (mvnrepository.com)