随笔分类 - kafka
摘要：阶段 1：仅启用 PLAINTEXT（基础配置） https://www.cnblogs.com/jiaxzeng/p/15980245.html 阶段 2：添加 SSL 协议 生成 SSL 证书 ca证书 # 1. 生成 CA 私钥和自签名证书 openssl req -new -x509 -
阅读全文
摘要：[TOC] ## Controller 是什么 控制器组件(Controller)是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群，例如分区领导者副本的选举。 集群中任意一台 Broker 都能充当控制器的角色，但
阅读全文
摘要：Rebalance 分为有两种情况 leader partition Rebalance consumer group Rebalance 这里分别讨论两种 Rebalance 情况。 leader partition Rebalance 生产者和消费者客户端都是通过 Leader 进行读写操作。t
阅读全文
摘要：问题背景 生产者和消费者客户端都是通过 Leader 进行读写操作，所以 Leader 节点压力相对于来说比较大。运维过程有可能会出现。主机性能比较差的当 Leader 节点的话，会影响Kafka的性能。那么就涉及到重新选举 Leader 操作，将 Leader 落在预期主机上 问题现象 演示环境是
阅读全文
摘要：kafka并没有提供一个专门的脚本来支持副本的扩缩，不像kafka-topic.sh脚本一样,是可以扩分区的。想要对副本进行扩缩,只能是曲线救国了，利用kafka-reassign-partitions.sh来重新分配副本。 查看主题的详情 ./kafka-topics.sh --command-c
阅读全文
摘要：问题现象 原有的消费者消费不到数据 新加入消费者也是不消费数据 查看消费组的详情，抛出 The coordinator is not available. 异常信息 排除过程 根据以上三种现象，可以推断出是 协调器不可用 。推断出问题的原因，现在开始分析为什么会出现这个问题。 协调器分为：消费组协调
阅读全文
摘要：Kafka Rebalance： https://blog.csdn.net/lzxlfly/article/details/106246879 https://juejin.cn/post/7053811887955410981 kafka 监控 https://zhuanlan.zhihu.co
阅读全文
摘要：需求场景分析 业务方反馈有 5 个要求： 每天请求量有3亿左右 QPS峰值大约在3万左右并发量 消息体平均不超过10k 副本最少2个 消息保留3天 一天总数据量：3亿请求 x 10k消息体 x 2个副本 = 6000000000kb ≈ 5722G ≈ 5.6T QPS峰值：30000qps Kaf
阅读全文
摘要：broker服务端 停止kafka cd /app/kafka/bin ./kafka-server-stop.sh 创建用户 # 获取zk连接信息 zk_conn=$(awk -F= '/^zookeeper.connect=/ {print $2}' /app/kafka/config/serv
阅读全文
摘要：背景：该zookeeper集群是给Kafka提供服务。zookeeper改造成sasl认证，Kafka集群需要添加连接zookeeper的账号密码。 zookeeper服务 停止服务 # 停止Kafka cd /app/kafka/bin ./kafka-server-stop.sh # 停止zoo
阅读全文
摘要：查看topic详情 调整ISR顺序 更新元数据 需要修改 里面的内容 创建好该节点，更新完后马上又被controller删除。 验证
阅读全文
摘要：先看几个名词的概念。 ：所有与leader副本保持一定程度同步的副本（包括leader副本在内）组成 ISR (In Sync Replicas)。 ISR 集合是 AR 集合的一个子集。 ：分区中的所有副本统称为 AR (Assigned Replicas)。 ：leader副本同步滞后过多的副本
阅读全文
摘要：简介 kafka是用于构建实时数据管道和数据流的应用程序。具有实时横向扩展、高吞吐量、支持大量堆积具有容错性和速度快等特点。它是一个高性能分布式消息系统。通常一个分布式流数据平台它具有三个特点： 发布和订阅功能，类似于消息系统 以容错的方式记录流 处理流 基础概念 ：其实就是Kafka服务，一个Ka
阅读全文
摘要：创建topic $ kafka-topics.sh --bootstrap-server 192.168.32.187:9092 --create --partitions 3 --replication-factor 2 --topic test01 Created topic test01. 查
阅读全文
摘要：前提条件： 已安装 jdk 环境 安装zookeeper 下载zookeeper sudo curl -o /usr/local/src/apache-zookeeper-3.6.4-bin.tar.gz https://archive.apache.org/dist/zookeeper/zooke
阅读全文
