BYRHuangQiang

摘要： 在kafka集群中，其中一个broker server作为中央控制器Control，负责管理分区和副本状态并执行管理着这些分区的重新分配。 下面说明如何通过中央控制器操作分区和副本的状态。 名词解释 isr：同步副本组 OfflinePartitionLeaderSelector:分区下线后新的领导 阅读全文

摘要： 16.Kafka 配置文件同步 为了给kafka的进程添加GC日志信息，方便在以后重启的时候，加入GC日志： 修改 : 1. 书写脚本文件：syncProperty.sh 如下 2. 上传脚本文件到同步的机器： 3. 在客户端命令行执行： 15.Kafka Leader所在机器的元数据信息有问题 N 阅读全文

摘要： 0.8 这些节点都归于谁管理 consumers: 0.8版本的客户端Consumer admin:管理命令的脚本:kafka preferred replica election.sh, config:管理命令的脚本:kafka topics.sh controller:所有的broker监控这个 阅读全文

摘要： 0.均衡流量的步骤 现在的kafka集群，只要遇到过weibo_common_act2 topic的节点在ZK中丢失，就要prefer一次流量，否则不均匀。 总结均衡流量的一般步骤： 1. 通过hpm查询byte out流量大和小的机器列表 2. 找出byte out出口流量大的机器中的哪些topi 阅读全文

摘要： 1 Rebalance时机 0.10kafka的rebalance条件 条件1：有新的consumer加入 条件2：旧的consumer挂了 条件3：coordinator挂了，集群选举出新的coordinator（0.10 特有的） 条件4：topic的partition新加 条件5：consum 阅读全文

摘要： 第一讲：概念、ZK的存储结构、Producer、Consumers流程、Kafka Broker的启动（额外） 从客户端使用角度来讲。 第二讲：从设计原理角度来讲。 Kafka属于Apache组织，是一个高性能跨语言分布式发布订阅消息队列系统[7]。它的主要特点有： 以时间复杂度O(1)的方式提供消 阅读全文

摘要： 1. Log的读写、删除流程 日志管理器(log manager)负责创建日志、获取日志、清理日志。所有的日志读写操作都交给具体的日志实例来完成。 KafkaServer启动的时候，初始化三个类： LogManager SocketServer the request handlers KafkaR 阅读全文

摘要： Kafka Producer产生数据发送给Kafka Server，具体的分发逻辑及负载均衡逻辑，全部由producer维护。 1.Kafka Producer默认调用逻辑 1.1 默认Partition逻辑 1、没有key时的分发逻辑 每隔 的时间，随机选择一个partition。这个时间窗口内的 阅读全文

摘要： 0.前言 客户端用法： 一个Topic启动几个消费者线程，会生成几个KafkaStream。 一个KafkaStream对应的是一个Queue(有界的LinkedBlockingQueue)，有界的参数控制: 。消费者线程数量决定阻塞队列的个数。 Fetcher线程是对应topic所在的broker 阅读全文

摘要： 0.简介：创建线程局部变量的类 使用ThreadLocal创建的变量只能被当前线程访问，其他线程则无法访问和修改。 内部类ThreadLocalMap实现，key是变量，value是所在的线程。 用法如下： 1.如何实现:依靠内部类ThreadLocalMap set是如何实现的？ 首先获取当前线程 阅读全文