会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
马说
博客园
首页
新随笔
联系
订阅
管理
2019年4月22日
SparkStreaming消费Kafka数据限速问题
摘要: SparkStreaming消费Kafka数据的时候,当有大量初始化数据时会拖累整个streaming程序的运行,问有什么办法? 总体来说这个问题大概有两种解决思路: 1.在Spark端设置限速;2.在Kafka端设置限速。 Spark端限速的方法知乎上已有很多帖子说过了,主要的思路是设置不同的参数
阅读全文
posted @ 2019-04-22 11:43 马说
阅读(2282)
评论(0)
推荐(0)
编辑
公告