2019年4月22日
SparkStreaming消费Kafka数据限速问题
摘要： SparkStreaming消费Kafka数据的时候，当有大量初始化数据时会拖累整个streaming程序的运行，问有什么办法？ 总体来说这个问题大概有两种解决思路： 1.在Spark端设置限速；2.在Kafka端设置限速。 Spark端限速的方法知乎上已有很多帖子说过了，主要的思路是设置不同的参数 阅读全文
posted @ 2019-04-22 11:43 马说 阅读(2282) 评论(0) 推荐(0) 编辑