Spark动态资源分配

spark动态资源分配(DRA)其实也就是说的单个应用（一个Spark application）持有的executor数目支持动态增减，最小动态调整的单元为executor,动态调整动是根据spark应用的实际负载情况来决定。
Spark On Yarn DRA

spark-submit --class org.apache.spark.examples.SparkPi --master yarn --executor-memory 2G --executor-cores 2 --conf spark.dynamicAllocation.enabled=true --conf spark.shuffle.service.enabled=true --conf spark.dynamicAllocation.initialExecutors=20 --conf spark.dynamicAllocation.minExecutors=20 --conf spark.dynamicAllocation.maxExecutors=400 --conf spark.dynamicAllocation.executorIdleTimeout=300s --conf spark.dynamicAllocation.schedulerBacklogTimeout=10s --deploy-mode cluster /usr/local/spark-2.4.3-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.3.jar 500000

 

 

 

 

 

在提交到Spark集群中的sparkstreaming任务中，每个与kafka整合的application都需要与其他application有不同的groupId，相同groupId的application会导致kafka

消费重新均衡。