Spark任务调度和资源分配

1.Spark Context 向集群申请的资源具体有哪些?

内存和CPU。

2.Spark Context 通过什么配置方式向集群申请这些资源?或者说如何调节这些资源的数量?

spark的分配资源主要就是 executor、cpu per executor、memory per executor、driver memory 等的调节，在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数：

spark-submit \

--class cn.spark.sparktest.core.WordCountCluster \

--num-executors 3 \ 配置executor的数量

--driver-memory 100m \ 配置driver的内存（影响不大）

--executor-memory 100m \ 配置每个executor的内存大小

--executor-cores 3 \ 配置每个executor的cpu core数量

/usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar \

 

参考：

https://www.cnblogs.com/starzy/p/10572157.html

https://blog.csdn.net/Android_xue/article/details/102936844