摘要： PIDRateEstimator是Spark Streaming用来实现backpressure的关键组件。 看了一些博客文章，感觉对它的解释都没有说到要点，还是自己来研究一下比较好。 首先，需要搞清楚的一个问题是Spark Streaming的backpressure是想让系统达到怎么样的一种状态 阅读全文

摘要： Kafka添加了事务机制以后，consumer端有个需要解决的问题就是怎么样从收到的消息中滤掉aborted的消息。Kafka通过broker和consumer端的协作，利用一系列优化手段极大地降低了这部分工作的开销。 问题 首先来看一下这部分工作的难点在哪。 对于isolation.level为r 阅读全文