会员
周边
捐助
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Code Job
Looking up the sky while feet ta shi di
首页
联系
管理
2018年8月2日
解决CDH SparkStreaming任务启动之后executor不停增长的问题,num-executors配置不管用。
摘要: 主要原因是spark.dynamicAllocation.maxExecutors这个配置, 在CDH中,默认开启了动态资源占用,即资源如果空余时,SparkStreaming会自动按照并发度(并行的block数)来占用资源,而spark-streaming作为一个实时处理系统,在大多数时候是不需要
阅读全文
posted @ 2018-08-02 21:17 Arli
阅读(826)
评论(0)
推荐(0)
编辑
公告