06 2019 档案
摘要：Service.properties参数详解 server.properties是Kafka的主要配置文件，下面简单介绍其中的相关配置项的含义。一般最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。其他配置可以根据需求自行修改。 进入配置目录，通常相关的配
阅读全文
摘要：Kafka安装 安装前期准备： 1，准备三个节点（根据自己需求决定） 2，三个节点上安装好zookeeper（也可以使用kafka自带的zookeeper） 3，关闭防火墙 chkconfig iptables off 一、下载安装包 Kafka官网下载安装包 http://kafka.apache
阅读全文
摘要：Zookeeper集群安装 1， 安装准备 1）由于zookeeper运行需要jvm，所以需要首先安装JDK https://blog.csdn.net/licongcong_0224/article/details/12756959 2）准备zookeeper安装包通过后面的链接下载Zookeep
阅读全文
摘要：Kafka partition 副本迁移与broker上下线 1 前言 Controller 在初始化时，会利用 ZK 的 watch 机制注册很多不同类型的监听器，当监听的事件被触发时，Controller 就会触发相应的操作。 Controller 在初始化时，会注册多种类型的监听器，主要有以下
阅读全文
摘要：副本和分区状态机 1 前言 Controller 是从Kafka集群中选取一个的broker，负责管理topic分区和副本的状态的变化，通过上篇我们知道了controller的启动流程，这篇我们学习一下分区和副本状态机。 分区状态机记录着当前集群所有 Partition 的状态信息以及如何对 Par
阅读全文
摘要：Controller机制 1 前言 Controller 是从Kafka集群中选取一个的broker，负责管理topic分区和副本的状态的变化，以及执行重分配分区之类的管理任务。 第一个启动的broker会成为一个controller，它会在Zookeeper上创建一个临时节点(ephemeral)
阅读全文
摘要：replica副本同步机制 1 前言 Kafka的流行归功于它设计和操作简单、存储系统高效、充分利用磁盘顺序读写等特性、非常适合在线日志收集等高吞吐场景。 Kafka特性之一是它的复制协议。复制协议是保障kafka高可靠性的关键。对于单个集群中每个Broker不同工作负载情况下，如何自动调优Kafk
阅读全文
摘要：Server端处理fetchRequest请求 1前言 在consumer章节，我们知道，在consumer的pollOnce()中调用sendFetches()方法， 本节主要介绍服务端处理fetchRequest请求的过程，FetchRequest由服务端函数KafkaApis.handleFe
阅读全文
摘要：server处理produce请求 1，概述 在 Producer Client 端，Producer 会维护一个 ConcurrentMap<TopicPartition, Deque<RecordBatch>> batches 的变量，然后会根据 topic-partition 的 leader
阅读全文
摘要：Log管理机制 Kafka的消息在broker上都是以log的形式进行储存管理的，本篇主要介绍log的管理，包括log结构、创建、读写、分段、清理等。 1 前言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个partition存储一部分Messag
阅读全文
摘要：GroupCoordinator机制 1 介绍： Kafka 的 Server 端主要有三块内容：GroupCoordinator、Controller 和 ReplicaManager，其中，GroupCoordinator 的内容是与 Consumer 端紧密结合在一起的，简单来说就是，Grou
阅读全文
摘要：Consumer 机制 1 前言 在 Kafka 中，Consumer 的复杂度要比 producer 高出很多，对于 Producer 而言，没有 producer 组的概念的、也不需要 care offset 等问题，而 Consumer 就不一样了，它需要关注的内容很多，需要考虑分布式消费（C
阅读全文
摘要：在使用kafka时，client是最先接触的部分，消息也是从producer产生，故先从producer开始介绍 在分析 Producer 发送模型之前，先通过一个栗子看一下用户是如何使用 Producer 向 Kafka 写数据的。 使用示例 下面是一个关于 Producer 最简单的应用示例。
阅读全文
摘要：Kafka总体介绍 背景介绍 kafka是最初由Linkedin公司开发，使用Scala语言编写，Kafka是一个分布式、分区的、多副本的、多订阅者的日志系统(分布式MQ系统)，可以用于web/nginx日志，搜索日志，监控日志，访问日志等等。 kafka目前支持多种客户端语言：java，pytho
阅读全文
摘要：基于发布与订阅的消息系统那么多，为什么Kafka会是一个更好的选择呢？ 1 多个生产者 Kafka可以无缝地支持多个生产者，不管客户端在使用单个主题还是多个主题。所以它很适合用来从多个前端系统收集数据，并以统一的格式对外提供数据。例如， 一个包含了多个微服务的网站，可以为页面视图创建一个单独的主题，
阅读全文
摘要：##背景知识 JMS一个在 Java标准化组织（JCP）内开发的标准（代号JSR 914）。2001年6月25日，Java消息服务发布JMS 1.0.2b，2002年3月18日Java消息服务发布 1.1. Java消息服务（Java Message Service，JMS）应用程序接口是一个Jav
阅读全文
摘要：l 解耦 ：在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息系统在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 l 冗余：有些情况下，处理数据的过程会失败。除非数据被持久化，否则
阅读全文