kafka基本介绍

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala(broker)和Java(procuder和consumer)编写，Kafka是一种高吞吐量的分布式发布订阅消息系统，主要应用于大数据实时处理领域。

 

消息队列的两种模式

1、点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）

消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。消息被消费以后，queue 中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue 支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。

2、发布/订阅模式（一对多，消费者消费数据之后不会清除消息）

消息生产者（发布）将消息发布到 topic 中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到 topic 的消息会被所有订阅者消费。