09 2021 档案
摘要：问题描述 flink+kafka，某些时候会有消息规程，量不大，但缓慢上升。 初步排查: kafka集群正常，消息接入，节点，内存，CPU均正常。 宽带正常。 flink反压正常。 --本文问题由flink+kafka引出，但与kafka和flink技术本身无关。 --本文主要记录内存CPU高的解决
阅读全文
摘要：###1.前言 这个题目有点大。工作也有些年头，从开始入行的被动接受，什么流行就学什么;到有一些想法，会去思考为什么使用这种技术;再到主动去学习一些前沿框架。从开始的不理解，事不关已高高挂起，不在其位不谋其政；到也成为了团队中的中坚力量，去据理力争应该使用某些技术，把觉得好的技术安利给同事，试图引入
阅读全文
摘要：本文主要是指spark+kafka，不包括flink。 摘要 > 1.spark streaming有限速（max rate），有反压(back pressure)。 2.structured streaming没有反压，只有限速。 ###1.为什么要限速和反压 一个spark集群，资源总是有限。如
阅读全文
摘要：版本号： spark 2.3 structured streaming代码 ###异常信息 KafkaSource[Subscribe[test]] at org.apache.spark.sql.execution.streaming.StreamExecution.org$apache$spar
阅读全文
