随笔分类 - 消息队列学习总结
摘要：这篇文章主要记录自己遇到和在网上看到的一些关于kafka的相关问题。 问题1：客户端和服务端版本不一致造成的消息发送延迟高现象 kafka客户端支持多语言api，这里只关注Java客户端，如下两种方式： <dependency> <groupId>org.apache.kafka</groupId>
阅读全文
摘要：总结线上遇到的问题，能很好的学习其中的理论，从而提高自己应对线上问题的能力。 0、kafka生产者和消费者源码分析 1、Kafka ISR频繁伸缩缩引发性能急剧下降原因分析 要点概述：主要是因为kafka Broker在处理高水位线（HW）会涉及到读写锁leaderIsrUpdateLock， （1
阅读全文
摘要：https://segmentfault.com/a/1190000023854950 rocketMq的推模式，默认每5s检查是否有新消息，另外在处理commitLog消息分发到Message Queue的时候，会唤醒消息请求处理操作，所以对于消息的响应是比较及时的。
阅读全文
摘要：1、问题描述 两个一样的Consumer Group的Consumer订阅同一个Topic，但是是不同的tag，Consumer1订阅Topic的tag1，Consumer2订阅Topic的tag2，然后分别启动。这时候往Topic的tag1里发送10条数据，Topic的tag2里发送10条。目测应
阅读全文
摘要：虽然一直在使用kafka，但是还没有系统的整理过kafka的原理，学习每个框架都要掌握其应用、原理和设计理念，这样才能举一反三，学为所用。今天就整理一些kafka相关的知识，一是为了加强记忆，二是通过整理再次回顾一下作者的设计思想。 kafka的定位：消息中间件、分布式实时流处理平台：（1）结合ha
阅读全文
摘要：1、RocketMQ架构组成 由4大核心部分组成：NameServer、Broker、Producer以及Consumer。 可以看到RocketMQ的每一个模块都是集群部署的，这也是它高吞吐量、高可用的原因之一，可以支持多master-slave。 （1）NameSrv 主要负责对于数据源的管理，
阅读全文
摘要：消息队列的作用：异步、解耦、削峰填谷。 1、处理失败消息重发问题 场景：比如活动系统、积分系统同时监听用户下单消息，但是此时可能由于网络抖动或是代码bug导致积分系统处理失败，所以积分系统就会要求发送端重发消息。如何保证消息重复不会影响业务呢？ 思考：这个问题其实就是保证接口的幂等性，那如何保证接口
阅读全文
