摘要: spark-repartition 问题描述:streaming 消费多个topic,但是不同topic的每个分区的数据量差距很大,一个数量级以上。导致每个task消费的数据量不一样,造成严重的数据倾斜。所以需要进行一次repartition使得处理起来比较均匀。 [ 转自 : https://ww 阅读全文
posted @ 2020-04-14 14:05 抽象Java 阅读(1272) 评论(0) 推荐(0) 编辑