随笔分类 -  kafka

摘要:本文讨论了Kafka主题的体系架构,讨论了如何将分区用于故障转移和并行处理。 Kafka主题,日志和分区 Kafka将主题存储在日志中。主题日志分为多个分区。Kafka将日志的分区分布在多个服务器或磁盘上。将主题视为类别,流名称或提要。 主题本身就是发布和订阅样式的消息传递。一个主题可以有零个或多个 阅读全文 »
posted @ 2019-06-23 14:06 菜菜聊架构 阅读(457) 评论(0) 推荐(0) 编辑
摘要:Kafka是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。 那么Kafka到底是如何做到这么高的吞吐量和性能的呢?这篇文章我们来一点一点说一下。 一、页缓存技术 + 磁盘顺序写 首先Kafka每次接收到数 阅读全文 »
posted @ 2019-06-23 14:05 菜菜聊架构 阅读(6755) 评论(1) 推荐(2) 编辑
摘要:过期的数据才会被自动清除以释放磁盘空间。比如我们设置消息过期时间为2天,那么这2天内的所有消息都会被保存到集群中,数据只有超过了两天才会被清除。 Kafka只维护在Partition中的offset值,因为这个offsite标识着这个partition的message消费到哪条了。Consumer每 阅读全文 »
posted @ 2019-06-12 14:32 菜菜聊架构 阅读(564) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示