会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Jomini
博客园
首页
新随笔
联系
管理
订阅
2020年4月14日
spark-repartition作用
摘要: spark-repartition 问题描述:streaming 消费多个topic,但是不同topic的每个分区的数据量差距很大,一个数量级以上。导致每个task消费的数据量不一样,造成严重的数据倾斜。所以需要进行一次repartition使得处理起来比较均匀。 [ 转自 : https://ww
阅读全文
posted @ 2020-04-14 14:05 李荣先辈Java
阅读(1266)
评论(0)
推荐(0)
编辑
公告