Kafka原理

Kafka简介：

基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

参考：https://www.jianshu.com/p/734cf729d77b

1.1　概述

1.2　消息系统介绍

1.3　点对点消息传递模式

1.4　发布-订阅消息传递模式

 

二、Kafka的优点

2.1　解耦

2.2　冗余（副本）

2.3　扩展性

2.4　灵活性&峰值处理能力

2.5　可恢复性

2.6　顺序保证

2.7　缓冲

2.8　异步通信

 

三、常用Message Queue对比

3.1　RabbitMQ

3.2　Redis

3.3　ZeroMQ

3.4　ActiveMQ

3.5　Kafka/Jafka

 

四、Kafka中的术语解释

4.1　概述

4.2　broker

4.3　Topic

4.3　Partition

4.4　Producer

4.5　Consumer

4.6　Consumer Group

4.7　Leader

4.8　Follower 

参考：https://www.cnblogs.com/qingyunzong/p/9004509.html