摘要: 在介绍Spark中的任务和资源之前先解释几个名词: Dirver Program:运行Application的main函数(用户提交的jar包中的main函数)并新建SparkContext实例的程序,称为驱动程序,通常用SparkContext代表驱动程序(任务的驱动程序)。 Cluster Ma 阅读全文
posted @ 2019-08-26 23:33 北辰Root 阅读(910) 评论(0) 推荐(0) 编辑
摘要: Spark的应用程序是通过spark-submit提交到Spark集群上运行的,那么spark-submit到底提交了什么,集群是怎样调度运行的,下面一一详解。 0. spark-submit提交任务 0.1 启动脚本解析 分析spark-submit脚本源码可知最终该命令执行./bin/spark 阅读全文
posted @ 2019-08-26 14:07 北辰Root 阅读(497) 评论(0) 推荐(0) 编辑