BYRHuangQiang

摘要： 第一讲：概念、ZK的存储结构、Producer、Consumers流程、Kafka Broker的启动（额外） 从客户端使用角度来讲。 第二讲：从设计原理角度来讲。 Kafka属于Apache组织，是一个高性能跨语言分布式发布订阅消息队列系统[7]。它的主要特点有： 以时间复杂度O(1)的方式提供消 阅读全文

摘要： 1. Log的读写、删除流程 日志管理器(log manager)负责创建日志、获取日志、清理日志。所有的日志读写操作都交给具体的日志实例来完成。 KafkaServer启动的时候，初始化三个类： LogManager SocketServer the request handlers KafkaR 阅读全文

摘要： Kafka Producer产生数据发送给Kafka Server，具体的分发逻辑及负载均衡逻辑，全部由producer维护。 1.Kafka Producer默认调用逻辑 1.1 默认Partition逻辑 1、没有key时的分发逻辑 每隔 的时间，随机选择一个partition。这个时间窗口内的 阅读全文

摘要： 0.前言 客户端用法： 一个Topic启动几个消费者线程，会生成几个KafkaStream。 一个KafkaStream对应的是一个Queue(有界的LinkedBlockingQueue)，有界的参数控制: 。消费者线程数量决定阻塞队列的个数。 Fetcher线程是对应topic所在的broker 阅读全文