kafka笔记

修改主题，分区：

# sh  kafka-topics.sh --zookeeper localhost:2181 --alter --topic  topic02  --partitions 4

创建 主题，分区：

kafka-topics.sh --zookeeper 127.0.0.1:2181 --create --topic topic01 --partitions 2 --replication-factor 2

　　

 

查看kafka特定topic的详情，使用--topic与--describe参数

# sh kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic topic02 --describe 

 

查topic

# bin/kafka-topics.sh --list --zookeeper localhost:2181

 

删除topic　　

 1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录
2、Kafka 删除topic的命令是：

# sh kafka-topics.sh --delete --zookeeper  localhost:2181  --topic 主题名称　　

如果kafaka启动时加载的配置文件中server.properties没有配置"delete.topic.enable=true"，那么此时的删除并不是真正的删除，而是把topic标记为删除：marked for deletion

此时你若想真正删除它，可以如下操作：
（1）登录zookeeper客户端的命令：

# sh zookeeper-shell.sh 127.0.0.1:2181

（2）找到topic所在的目录：

# ls /brokers/topics

（3）找到要删除的topic，执行如下命令即可，此时topic被彻底删除：

# rmr /brokers/topics/topic名称

　　

另外被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得：ls /admin/delete_topics/topic名称，如果你删除了此处的topic，那么marked for deletion 标记消失

总结：
彻底删除topic：
 1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录

 2、如果配置了delete.topic.enable=true直接通过命令删除，如果命令删除不掉，直接通过zookeeper客户端删除掉broker下的topic即可。

 

 

 

 

分区需要手动添加

一个topic 可以配置几个partition，produce发送的消息分发到不同的partition中，consumer接受数据的时候是按照group来接受，kafka确保每个partition只能同一个group中的同一个consumer消费，如果想要重复消费，那么需要其他的组来消费。Zookeerper中保存这每个topic下的每个partition在每个group中消费的offset 
新版kafka把这个offsert保存到了一个__consumer_offsert的topic下 
这个__consumer_offsert 有50个分区，通过将group的id哈希值%50的值来确定要保存到那一个分区.  这样也是为了考虑到zookeeper不擅长大量读写的原因。
所以，如果要一个group用几个consumer来同时读取的话，需要多线程来读取，一个线程相当于一个consumer实例。当consumer的数量大于分区的数量的时候，有的consumer线程会读取不到数据。 
假设一个topic test 被groupA消费了，现在启动另外一个新的groupB来消费test，默认test-groupB的offset不是0，而是没有新建立，除非当test有数据的时候，groupB会收到该数据，该条数据也是第一条数据，groupB的offset也是刚初始化的ofsert, 除非用显式的用–from-beginnging 来获取从0开始数据