摘要: Spark start-all>> """Master启动流程""" Master类 class Master( host: String, port: Int, webUiPort: Int, val securityMgr: SecurityManager, val conf: SparkConf) extends Actor with Ac... 阅读全文
posted @ 2018-11-18 13:26 一根咸鱼干 阅读(171) 评论(0) 推荐(0) 编辑
摘要: Spark 版本:1.3 调用shell, spark-submit.sh args[] 首先是进入 org.apache.spark.deploy.SparkSubmit 类中调用他的 main() 方法 1.1 val appArgs = new SparkSubmitArguments(arg 阅读全文
posted @ 2018-11-18 13:20 一根咸鱼干 阅读(384) 评论(0) 推荐(0) 编辑