随笔分类 - mq

kafka架构原理

摘要：大家先掌握 Kafka 中最重要的概念，分别是 Broker、Producer、Consumer、Consumer Group、Topic、Partition、Replica、Leader、Follower，这是学会和理解 Kafka 的基础和必备内容。定义 Kafka 是一个分布式的基于发布/订阅读全文

posted @ 2021-04-12 15:27 绝症色盲编辑

kafka消息丢失情况与解决方案

摘要：1、Kafka消息丢失的情况：（1）auto.commit.enable=true，消费端自动提交offersets设置为true，当消费者拉到消息之后，还没有处理完 commit interval 提交间隔就到了，提交了offersets。这时consummer又挂了，重启后，从下一个offer 阅读全文

posted @ 2020-03-26 21:23 绝症色盲阅读(10528) 评论(0) 推荐(1) 编辑

kafka与RocketMQ对比

摘要：淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆阅读全文

posted @ 2020-03-13 16:26 绝症色盲阅读(281) 评论(0) 推荐(0) 编辑