Kafka - 文件存储
摘要：一、文件存储机制 二、Log文件和Index文件详解 2.1 如何查看log文件 2.2 原理详解 注意： 这里的index是稀疏索引。大约每往log文件中写入4kb数据，会往index文件写入一条索引。参数log.inden.interval.bytes默认4kb。 log里面只有相对offset
阅读全文
posted @ 2022-04-05 00:18
随笔分类 - Kafka
Kafka - Kafka 副本
摘要：易错点 在kafka中： 每个主题可以有多个分区， 每个分区又可以有多个副本。 这多个副本中，只有一个是leader，而其他的都是follower副本。仅有leader副本可以对外提供服务。 多个follower副本通常存放在和leader副本不同的broker中。通过这样的机制实现了高可用，当某台
阅读全文
posted @ 2022-04-04 14:15
Kafka - Kafka Broker
摘要：一、Kafka Broker 工作流程 1.1 ZooKeeper中存储的kafka信息 补充说明下/kafka/controller, 每个broker模块都将有一个controller模块，在竞争leader时谁先抢到/kafka/controller节点，谁来节点谁是leader。因此说/ka
阅读全文
posted @ 2022-04-03 13:44
Kafka - Kafka 生产者
摘要：一、生产者 如何将消息发送到 kafka集群？ 将下图纵向分为4列： 1.1 生产者的主线程 Producer对象：生成一个该对象，然后调用send方法 拦截器：不是必须的，可选 序列化器：kafka自己的更轻便，大部分都是数据，保证安全校验的只是小部分；而Java数据只占一小部分，大部分都是安全校
阅读全文
posted @ 2022-03-28 00:41
Kafka - Kafka 部署安装
摘要：一、背景：集群规划 二、Kafka 集群部署 修改配置文件 cd config/ vi server.properties # 输入以下内容： # #broker 的全局唯一编号，不能重复 broker.id=0 #删除 topic 功能使能 delete.topic.enable=true #处理
阅读全文
posted @ 2022-03-26 23:41
Kafka - Kafka 概述
摘要：一、为什么需要kafka 缓冲/削峰能力 hadoop组件的吞吐量只有100M/s，无法满足双11的高峰流量。中间加一层kafka，能极大的解决生产消息和消费消息的处理速度不一致的情况。 解耦 异步通信 二、消息队列的 两种模式 点对点模式 发布/订阅模式 二、kafka的消息编码格式 Kafka
阅读全文
posted @ 2022-03-26 23:25
重点issue - kafka分区技术选型迭代+kafka乱序问题
摘要：选型一：为了保证消息有序，只有一个分区partition 优点： （前提：生产者发送消息的顺序，和消息到达kafka的顺序一致）... 为了避免多partition，导致消费者消费某些顺序敏感的数据，会出现乱序的现象。 缺点： 当数据量巨大的时候，所有该topic的数据都挤在同一个partition
阅读全文
posted @ 2022-03-24 22:09
