摘要：
Service.properties参数详解 server.properties是Kafka的主要配置文件，下面简单介绍其中的相关配置项的含义。一般最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。其他配置可以根据需求自行修改。 进入配置目录，通常相关的配 阅读全文
摘要：
Kafka安装 安装前期准备： 1，准备三个节点（根据自己需求决定） 2，三个节点上安装好zookeeper（也可以使用kafka自带的zookeeper） 3，关闭防火墙 chkconfig iptables off 一、下载安装包 Kafka官网下载安装包 http://kafka.apache 阅读全文
摘要：
Zookeeper集群安装 1， 安装准备 1）由于zookeeper运行需要jvm，所以需要首先安装JDK https://blog.csdn.net/licongcong_0224/article/details/12756959 2）准备zookeeper安装包通过后面的链接下载Zookeep 阅读全文
摘要：
Kafka partition 副本迁移与broker上下线 1 前言 Controller 在初始化时，会利用 ZK 的 watch 机制注册很多不同类型的监听器，当监听的事件被触发时，Controller 就会触发相应的操作。 Controller 在初始化时，会注册多种类型的监听器，主要有以下 阅读全文
摘要：
副本和分区状态机 1 前言 Controller 是从Kafka集群中选取一个的broker，负责管理topic分区和副本的状态的变化，通过上篇我们知道了controller的启动流程，这篇我们学习一下分区和副本状态机。 分区状态机记录着当前集群所有 Partition 的状态信息以及如何对 Par 阅读全文
摘要：
Controller机制 1 前言 Controller 是从Kafka集群中选取一个的broker，负责管理topic分区和副本的状态的变化，以及执行重分配分区之类的管理任务。 第一个启动的broker会成为一个controller，它会在Zookeeper上创建一个临时节点(ephemeral) 阅读全文
摘要：
replica副本同步机制 1 前言 Kafka的流行归功于它设计和操作简单、存储系统高效、充分利用磁盘顺序读写等特性、非常适合在线日志收集等高吞吐场景。 Kafka特性之一是它的复制协议。复制协议是保障kafka高可靠性的关键。对于单个集群中每个Broker不同工作负载情况下，如何自动调优Kafk 阅读全文
摘要：
Server端处理fetchRequest请求 1前言 在consumer章节，我们知道，在consumer的pollOnce()中调用sendFetches()方法， 本节主要介绍服务端处理fetchRequest请求的过程，FetchRequest由服务端函数KafkaApis.handleFe 阅读全文
摘要：
server处理produce请求 1，概述 在 Producer Client 端，Producer 会维护一个 ConcurrentMap<TopicPartition, Deque<RecordBatch>> batches 的变量，然后会根据 topic-partition 的 leader 阅读全文
摘要：
Log管理机制 Kafka的消息在broker上都是以log的形式进行储存管理的，本篇主要介绍log的管理，包括log结构、创建、读写、分段、清理等。 1 前言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个partition存储一部分Messag 阅读全文