2018年8月2日
解决CDH SparkStreaming任务启动之后executor不停增长的问题,num-executors配置不管用。
摘要： 主要原因是spark.dynamicAllocation.maxExecutors这个配置， 在CDH中，默认开启了动态资源占用，即资源如果空余时，SparkStreaming会自动按照并发度(并行的block数)来占用资源，而spark-streaming作为一个实时处理系统，在大多数时候是不需要 阅读全文
posted @ 2018-08-02 21:17 Arli 阅读(823) 评论(0) 推荐(0) 编辑