kafka学习总结之集群部署和zookeeper

1、  集群部署

kafka集群的瓶颈主要在网络和磁盘上；kafka依赖于zookeeper，zookeeper集群的节点采用奇数个，3个节点允许一个节点失败，5个节点允许2个节点失败。

 

图 1 kafka流程图

2、  zookeeper在kafka中所起的作用

（1）记录kafka的节点（broker）信息，当有新的节点加入或者退出时，zookeeper会作相应的调整。

（2）记录group中消费的partition的最大偏移量，保证消息不会被重复消费和不被消费

（3）记录consumer信息和consumer消费的分区对应关系，主要是为了保证负载均衡（消息消费请求被均匀的分布到不同的消费者），和当有消息到时，提醒consumer进行消费。