随笔分类 - Kafka
摘要：一、Kafka核心总控制器 定义：kafka集群中的一个负责管理所有分区和副本的状态的broker。 PS：kafka单台机器也叫集群。 职能：选举新的leader副本、ISR变更通知所有broker更新其元数据、让新分区被其他节点感知。 当某个分区的leader副本出现故障时，由控制器负责为该分区
阅读全文
摘要：一、搭建一个本地伪集群 前面我们学习了搭建单台kafka实例的步骤，现在为了方便，我们直接在本机windows系统上搭建我们的伪集群来方便我们学习，步骤如下： 1、复制3份kafka实例 2、分别修改3个brocker的配置文件【server.properties】内容 PS：要把多个kafka实例
阅读全文
摘要：一、消费模式的选择 kafka常见的消费模式有两种： 单播模式：一条消息只能被某一个消费者消费的模式。 多播模式：一条消息能被多个消费者组中的消费者消费的模式。 PS：记录消费偏移量是以组为单位进行的，增删消费者不影响。【会在下面进行说明】 单播模式 定义：一条消息只能被某一个消费者消费的模式，类似
阅读全文
摘要：文章更新时间：2021/10/29 一、创建Spring boot 工程 创建过程不再描述，创建后的工程结构如下： POM文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0
阅读全文
摘要：文章更新时间：2021/10/28 一、安装JDK 过程就不过多介绍了... 二、安装Zookeeper 安装过程可以参考此处~ 三、安装并配置kafka 下载kafka Kafka下载地址：http://kafka.apache.org/downloads 解压文件 修改配置文件 一些主要的配置信
阅读全文
摘要：文章更新时间：2021/10/28 一、简介 定义：kafka是一个支持分区、多副本、基于zookeeper协调的分布式消息系统，用scala语言编写。 目的：解耦、削峰、异步、缓冲（生产大于消费的情况）详见这里~ 使用场景：日志收集、消息系统、用户活动跟踪、运营指标分析等。 PS：消息队列中的消息
阅读全文
