Kafka基本概念

一、Kafka主要组件

　　1）producer（生产者）：主要用于生产消息，是kafka当中的消息生产者，生产的消息通过topic进行归类，保存到kafka的broker里面去；

　　2）topic（主题）：kafka将消息以topic为单位进行归类，主题始终支持多用户的订阅；

　　3）partition（分区）：一个topic可以有多个分区，每个分区保存部分数据；每一个分区里面的数据是有序的，但全局的数据不能保证有序；

　　4）consumer（消费者）：用于消费kafka中的数据，消费者一定归属于某个消费者组中；

　　5）consumer group（消费者组）：同一个组中的消费者对同一条消息只消费一次；每个分区只能有同一个消费者组内的一个消费者来消费；partition的数量决定了每个消费者组中并发消费者的最大数量；

　　6）partition replicas（分区副本）：

　　　　副本数：控制消息保存在几个broker上，一般情况下副本数等于broker数；创建topic时副本因子应该小于等于可用的broker数；每个分区都有各自的主副本（leader）的从副本（follower），处于同步状态的副本为ISR（即当前可用副本）；

　　7）segment：一个partition由多个segment文件组成，segment文件包含两个部分：.log文件和.index文件

 

二、Kafka集群操作：