摘要：
Kafka - 08容量评估 一、需求分析 评估要求： 每天的请求量、 每条消息的大小； 参考二八原则 假设有每天10亿请求 凌晨0-8点请求量较小，其余16小时处理80%的请求。 而 16小时的20%时间处理 8亿请求的80%数据。 高峰时间段 QPS = (8亿 * 80%) / (16 * 2 阅读全文
posted @ 2022-07-10 19:41 Kingdomer 阅读(802) 评论(0) 推荐(0) 编辑
摘要：
Kafka - 07Broker管理 一、LEO/HW/ISR 1.1 概念 LEO(log end offset)： 即将写入的消息的偏移量 Kafka里，leader partition 和 follower partition 都称作副本(replica)。 每次partition收到一条消息 阅读全文
posted @ 2022-07-10 19:12 Kingdomer 阅读(115) 评论(0) 推荐(0) 编辑
摘要：
Kafka - 06消费者消费消息解析 一、Kafka消费者读取数据流程 1.1 传统流程 消费者发送请求给Kafka服务器 Kafka服务器在os cache缓存读取数据（缓存没有再去磁盘读取数据） 从磁盘读取数据到os cache缓存中 os cache复制数据到Kafka应用程序中 Kafka 阅读全文
posted @ 2022-07-10 18:33 Kingdomer 阅读(551) 评论(0) 推荐(0) 编辑
摘要：
Kafka - 05生产者生产消息解析 一、生产者发送消息原理 1.1 生产者数据发送过程 消息封装成对象 把对象序列化成二进制对象 通过分区器(partitioner)， 决定往topic的哪个分区发送 向broker获取元数据(随机一台), 每一台broker元数据都一样 获取到信息后， 将数据 阅读全文
posted @ 2022-07-10 15:03 Kingdomer 阅读(156) 评论(0) 推荐(0) 编辑
摘要：
Kafka - 04数据存储及查询 一、Kafka数据存储 1.1 存储结构 topic在broker上存储方式 创建topic时，指定分区和副本数量 分区目录ttopic2-0， 格式： 主题-分区号 目录下是数据文件，Kafka数据就是message，数据存储在log文件里 .log结尾的就是日 阅读全文
posted @ 2022-07-10 14:22 Kingdomer 阅读(939) 评论(0) 推荐(0) 编辑
摘要：
Kafka - 03操作 一、数据读写 1.1 console [root@my-node51 ~]# kafka-console-producer.sh --bootstrap-server 192.168.6.51:9092 --topic ttopic >t1 >t2 >t3 > [root@ 阅读全文
posted @ 2022-07-10 13:42 Kingdomer 阅读(58) 评论(0) 推荐(0) 编辑
摘要：
Kafka - 02部署 一、安装Kafka 1.1 准备JDK、Zookeeper、Kafka [root@my-node51 ~]# cd /opt/ [root@my-node51 opt]# ls apache-zookeeper-3.6.2-bin jdk1.8.0_201 kafka_2 阅读全文
posted @ 2022-07-10 11:03 Kingdomer 阅读(73) 评论(0) 推荐(0) 编辑