BYRHuangQiang

摘要： CPU 利用率高的排查方法 看看该机器的连接数是不是比其他机器多,监听的端口数： Kafka 0.8的停止和启动 启动: 停止: kafka 0.10的启动和停止 启动: 停止: 1 问题描述 broker 连接Session超时，在zookeeper的临时节点删除，出发告警。查明超时的原因。 2 阅读全文

摘要： 一、Kafka通信机制的整体结构 同时，这也是SEDA多线程模型。 1. 对于broker来说，客户端连接数量有限，不会频繁新建大量连接。因此一个Acceptor thread线程处理新建连接绰绰有余。 2. Kafka高吐吞量，则要求broker接收和发送数据必须快速，因此用proccssor t 阅读全文

摘要： 1概要设计 Kafka SocketServer是基于Java NIO来开发的，采用了Reactor的模式，其中包含了1个Acceptor负责接受客户端请求，N个Processor负责读写数据，M个Handler来处理业务逻辑。在Acceptor和Processor，Processor和Handle 阅读全文

摘要： 在kafka集群中，其中一个broker server作为中央控制器Control，负责管理分区和副本状态并执行管理着这些分区的重新分配。 下面说明如何通过中央控制器操作分区和副本的状态。 名词解释 isr：同步副本组 OfflinePartitionLeaderSelector:分区下线后新的领导 阅读全文

摘要： 16.Kafka 配置文件同步 为了给kafka的进程添加GC日志信息，方便在以后重启的时候，加入GC日志： 修改 : 1. 书写脚本文件：syncProperty.sh 如下 2. 上传脚本文件到同步的机器： 3. 在客户端命令行执行： 15.Kafka Leader所在机器的元数据信息有问题 N 阅读全文

摘要： 0.8 这些节点都归于谁管理 consumers: 0.8版本的客户端Consumer admin:管理命令的脚本:kafka preferred replica election.sh, config:管理命令的脚本:kafka topics.sh controller:所有的broker监控这个 阅读全文

摘要： 0.均衡流量的步骤 现在的kafka集群，只要遇到过weibo_common_act2 topic的节点在ZK中丢失，就要prefer一次流量，否则不均匀。 总结均衡流量的一般步骤： 1. 通过hpm查询byte out流量大和小的机器列表 2. 找出byte out出口流量大的机器中的哪些topi 阅读全文

摘要： 1 Rebalance时机 0.10kafka的rebalance条件 条件1：有新的consumer加入 条件2：旧的consumer挂了 条件3：coordinator挂了，集群选举出新的coordinator（0.10 特有的） 条件4：topic的partition新加 条件5：consum 阅读全文