kafka消息队列

天然分布式消息队列框架,多个broker服务器分布式放置消息,一个group对应一个consumer ,一个topic可以对应多个group(重复消费),通过offset(partions的偏移量)去判断消息读到哪里了,partions会选出一个leader,来协调。kafka不支持事物,通过分布式实现高吞吐量,通过offset判断该条消息是否已读

为啥在配置Kafka分布式部署要用到zookeeper

1broker发生变化时候,增加或者减少,rebalance

2监听leader partion 有问题了,就可以及时重新选举leader,稳定数据

3consumer通过zookeeper注册消费的信息,如partions,broker

4zookeeper保存topic、offset、partions,(有不能用的时候动态调配)

 

posted @ 2019-02-21 17:00  saveworld_niub  阅读(307)  评论(0编辑  收藏  举报