Kafka - Kafka的优缺点

阅读目录(Content)

• Kafka优点
• 1.吞吐量高
• 2.可用性高
• 3.工具链、生态成熟
• Kafka缺点
• 1.无法弹性扩容
• 2.扩容成本高
• 3.只能支持同一partition消息有序，无法实现全局有序
• 4.consumer的实时性稍弱
• 5.消费者新加入和退出会造成整个消费组rebalance
• 6.partition过多会使得性能显著下降

回到顶部(go to top)

Kafka优点

1.吞吐量高

kafka的吞吐量，比NATS低，但比其他MQ（例如：RabbitMQ）高

• kafka的sender性能比receiver的吞吐量高。是因为receiver是通过主动pull（拉取）方式获取的，会有一定的延时
• NATS的sender和receiver直接push(推送)，因此性能很高

 

2.可用性高

replicate + isr + 选举 机制保证

3.工具链、生态成熟

监控 运维 管理 方案齐全；

 

回到顶部(go to top)

Kafka缺点

1.无法弹性扩容

对partition的读写都在partition leader所在的broker，如果该broker压力过大，也无法通过新增broker来解决问题；

 

2.扩容成本高

集群中新增的broker只会处理新topic，如果要分担老topic-partition的压力，需要手动迁移partition，这时会占用大量集群带宽；

 

3.只能支持同一partition消息有序，无法实现全局有序

 

4.consumer的实时性稍弱

kafka由两个参数控制consumer从broker的pull速度：

一般来说，生产环境会配置 linger.ms=5-100ms，为了可以增加吞吐量

如果把linger.ms是0ms, 即代表没有任何延迟，按理说也能达到NATs那种零延迟的效果

 

5.消费者新加入和退出会造成整个消费组rebalance

导致数据重复消费，影响消费速度，增加e2e延迟；

 

6.partition过多会使得性能显著下降

ZK压力大，broker上partition过多让磁盘顺序写几乎退化成随机写。