随笔分类 - kafka
发表于 2019-06-23 14:06阅读次数:457评论次数:0
摘要:本文讨论了Kafka主题的体系架构,讨论了如何将分区用于故障转移和并行处理。 Kafka主题,日志和分区 Kafka将主题存储在日志中。主题日志分为多个分区。Kafka将日志的分区分布在多个服务器或磁盘上。将主题视为类别,流名称或提要。 主题本身就是发布和订阅样式的消息传递。一个主题可以有零个或多个
阅读全文 »
发表于 2019-06-23 14:05阅读次数:6755评论次数:1
摘要:Kafka是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。 那么Kafka到底是如何做到这么高的吞吐量和性能的呢?这篇文章我们来一点一点说一下。 一、页缓存技术 + 磁盘顺序写 首先Kafka每次接收到数
阅读全文 »
发表于 2019-06-12 14:32阅读次数:564评论次数:0
摘要:过期的数据才会被自动清除以释放磁盘空间。比如我们设置消息过期时间为2天,那么这2天内的所有消息都会被保存到集群中,数据只有超过了两天才会被清除。 Kafka只维护在Partition中的offset值,因为这个offsite标识着这个partition的message消费到哪条了。Consumer每
阅读全文 »