随笔分类 - kafka
发表于 2019-06-23 14:06阅读次数：457评论次数：0
摘要：本文讨论了Kafka主题的体系架构，讨论了如何将分区用于故障转移和并行处理。 Kafka主题，日志和分区 Kafka将主题存储在日志中。主题日志分为多个分区。Kafka将日志的分区分布在多个服务器或磁盘上。将主题视为类别，流名称或提要。 主题本身就是发布和订阅样式的消息传递。一个主题可以有零个或多个
阅读全文 »
发表于 2019-06-23 14:05阅读次数：6755评论次数：1
摘要：Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。 那么Kafka到底是如何做到这么高的吞吐量和性能的呢？这篇文章我们来一点一点说一下。 一、页缓存技术 + 磁盘顺序写 首先Kafka每次接收到数
阅读全文 »
发表于 2019-06-12 14:32阅读次数：564评论次数：0
摘要：过期的数据才会被自动清除以释放磁盘空间。比如我们设置消息过期时间为2天，那么这2天内的所有消息都会被保存到集群中，数据只有超过了两天才会被清除。 Kafka只维护在Partition中的offset值，因为这个offsite标识着这个partition的message消费到哪条了。Consumer每
阅读全文 »
