Kafka介绍

kafka介绍：

　　Kafka是一种高吞吐量的分布式发布订阅消息系统，用户通过Kafka系统可以发布大量的消息同时也能实时订阅消费消息

　　Kafka可以同时满足在线实时处理和批量离线处理

　　在公司的大数据生态系统中,可以把Kafka作为数据交换枢纽，不同类型的分布式系统（关系数据库、NoSQL数据库、流处理系统、批处理系统等），可以统一接入到Kafka，实现和Hadoop各个组件之间的不同类型数据的实时高效交换

Kafka作为数据交换枢纽：

　　

 

Broker

 

　　Kafka集群包含一个或多个服务器，这种服务器被称为broker 

Partition

　　Partition是物理上的概念，每个Topic包含一个或多个Partition

Consumer

　　消息消费者，向Kafkabroker读取消息的客户端

Topic

　　每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic

Producer

　　负责发布消息到Kafka broker

Consumer Group

　　每个Consumer属于一个特定的Consumer Group