摘要：Kafka - 08容量评估 一、需求分析 评估要求： 每天的请求量、 每条消息的大小； 参考二八原则 假设有每天10亿请求 凌晨0-8点请求量较小，其余16小时处理80%的请求。 而 16小时的20%时间处理 8亿请求的80%数据。 高峰时间段 QPS = (8亿 * 80%) / (16 * 2
阅读全文
posted @ 2022-07-10 19:41
随笔分类 - 12Kafka
摘要：Kafka - 07Broker管理 一、LEO/HW/ISR 1.1 概念 LEO(log end offset)： 即将写入的消息的偏移量 Kafka里，leader partition 和 follower partition 都称作副本(replica)。 每次partition收到一条消息
阅读全文
posted @ 2022-07-10 19:12
摘要：Kafka - 06消费者消费消息解析 一、Kafka消费者读取数据流程 1.1 传统流程 消费者发送请求给Kafka服务器 Kafka服务器在os cache缓存读取数据（缓存没有再去磁盘读取数据） 从磁盘读取数据到os cache缓存中 os cache复制数据到Kafka应用程序中 Kafka
阅读全文
posted @ 2022-07-10 18:33
摘要：Kafka - 05生产者生产消息解析 一、生产者发送消息原理 1.1 生产者数据发送过程 消息封装成对象 把对象序列化成二进制对象 通过分区器(partitioner)， 决定往topic的哪个分区发送 向broker获取元数据(随机一台), 每一台broker元数据都一样 获取到信息后， 将数据
阅读全文
posted @ 2022-07-10 15:03
摘要：Kafka - 04数据存储及查询 一、Kafka数据存储 1.1 存储结构 topic在broker上存储方式 创建topic时，指定分区和副本数量 分区目录ttopic2-0， 格式： 主题-分区号 目录下是数据文件，Kafka数据就是message，数据存储在log文件里 .log结尾的就是日
阅读全文
posted @ 2022-07-10 14:22
摘要：Kafka - 03操作 一、数据读写 1.1 console [root@my-node51 ~]# kafka-console-producer.sh --bootstrap-server 192.168.6.51:9092 --topic ttopic >t1 >t2 >t3 > [root@
阅读全文
posted @ 2022-07-10 13:42
摘要：Kafka - 02部署 一、安装Kafka 1.1 准备JDK、Zookeeper、Kafka [root@my-node51 ~]# cd /opt/ [root@my-node51 opt]# ls apache-zookeeper-3.6.2-bin jdk1.8.0_201 kafka_2
阅读全文
posted @ 2022-07-10 11:03
摘要：Kafka - 01简介 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区（partition）、多副本（replica），基于zookeeper协调的分布式消息系统； 最大的特性是可以实时处理大量数据以满足各种需求场景,如基于hadoop的批处理系统、低延迟的实时系统、Storm
阅读全文
posted @ 2022-07-10 10:41
