摘要：
1、功能 支持事务消息 顺序消费 kafka 实现顺序， 批量消息 定时消息 消息回溯 2、概念 gruop、topic、queue 3、系统组成 Producer Consumer Broker NameSever，类似于zookeeper，做注册中心用。 Producer：rocketmq提供多 阅读全文
摘要：
Apache Kafka的流行归功于它设计和操作简单、存储系统高效、充分利用磁盘顺序读写等特性、非常适合在线日志收集等高吞吐场景。 Apache Kafka特性之一是它的复制协议。对于单个集群中每个Broker不同工作负载情况下，如何自动调优Kafka副本的工作方式是比较有挑战的。它的挑战之一是要知 阅读全文
摘要：
名词解释 要想说明白kafka的HA机制，我们必须先搞明白几个缩写名词， 1、AR、ISR、OSR AR：Assigned Replicas，某分区的所有副本（这里所说的副本包括leader和follower）统称为 AR。 ISR：In Sync Replicas，所有与leader副本保持"一定 阅读全文
摘要：
kafka offset 的存储 老的方式： 小于 0.9版本 存在 zookeeper 大于 0.9版本 kafka本身，需要做第一次消费，kafka会在内部维护一个__comsumer_offset 的topic 因为kafka设计的时候向下兼容，高版本的client api适配了低版本。 /c 阅读全文
摘要：
Kafka Stream 概述 Kafka Streams是一个客户端库，用于构建任务关键型实时应用程序和微服务，其中输入和/或输出数据存储在Kafka集群中。Kafka Streams结合了在客户端编写和部署标准Java和Scala应用程序的简单性以及Kafka服务器端集群技术的优势，使这些应用程 阅读全文
摘要：
安装Zookeeper docker run --name zookeeper -d -p 2181:2181 -v /etc/localtime:/etc/localtime library/zookeeper 安装Kafka docker run -d --name kafka -p 9092: 阅读全文
摘要：
Apache Kafka是 一个分布式流处理平台 流处理平台特性 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录，并且有较好的容错性。 可以在流式记录产生时就进行处理。 Kafka组件 Topic和 Logs Kafka 通过 topic 对存储的流数据进 阅读全文
摘要：
ActiveMQ、RabbitMQ、Kafka对比 | | ActiveMQ | RabbitMQ | Kafka | | | : : | : : | : : | | 所属社区/公司 | Apache | Mozilla Public License | Apache/LinkedIn | | 开发 阅读全文
摘要：
消费端限流 假设一个场景，首先，我们 Rabbitmq 服务器积压了有上万条未处理的消息，我们随便打开一个消费者客户端，会出现这样情况: 巨量的消息瞬间全部推送过来，但是我们单个客户端无法同时处理这么多数据! 当数据量特别大的时候，我们对生产端限流肯定是不科学的，因为有时候并发量就是特别大，有时候并 阅读全文
摘要：
RabbitMQ消息的可靠性投递主要两种实现： 1、通过实现消费的重试机制，通过@Retryable来实现重试，可以设置重试次数和重试频率； 2、生产端实现消息可靠性投递。 两种方法消费端都可能收到重复消息，要求消费端必须实现幂等性消费。 消息的可靠投递 生产端 在使用 RabbitMQ 的时候，作 阅读全文