spark源码解析3-任务启动流程submit

  1. 在脚本spark-submit中调用SparkSubmit的main方法
  2. 在main方法中执行如下:
    1. 获取提交参数,繁琐就打印
    2. 通过提交的action匹配是什么行为
    3. 如果是提交任务,执行submit(args)方法
  3. 在submit(args)方法中执行如下:
    1. 准备运行环境
    2. 定义doRunMain()方法
      1. 调用runmain()方法,执行用户提交主类的main()方法
    3. 调用doRunMain()方法
posted @ 2016-12-20 11:22  花心土豆  阅读(235)  评论(0编辑  收藏  举报