Kafka笔记7

Kafka提供了一些命令行工具，用于管理集群变更。这些工具使用Java实现，Kafka提供了一些脚本调用这些Java类。

9.1主题操作

使用Kafka-topics.sh工具可以执行主题大部分工作，我们可以用它创建，修改，删除和查看集群的主题。要使用该工具的全部功能，需要通过—zookeeper参数提供zookeeper连接字符串。

创建主题

创建主题需要三个参数：主题名，复制系数和分区

例如：创建名为my-topic的主题，包含8个分区，每个分区拥有2个副本

Kafka-topics.sh —zookeeper zoo1.example.com:2181/kafka-cluster —create my-topic —replicaton-factor 2 —partition 8

增加分区

增加分区主要是为了扩展主题容量或者降低单个分区的吞吐量，如果单个消费者群组内运行更多消费者，也需要增加分区。

例如：将my-topic主题分区数量增加到16

Kafka-topics.sh —zookeeper zoo1.example.com:2181/kafka-cluster —alter —topic my-topic —partition 16

无法减少分区数量，如果一定要删，可以先删除主题，然后重新创建

删除主题

为了删除主题，broker的delete.topic.enable必须为true，如果为false，删除主题的请求会被忽略。

Kafka-topics.sh —zookeeper zoo1.example.com:2181/kafka-cluster —delete —topic my-topic

列出集群所有主题

Kafka-topics.sh —zookeeper zoo1.example.com:2181/kafka-cluster —list

列出所有主题详细信息

Kafka-topics.sh —zookeeper zoo1.example.com:2181/kafka-cluster —describe

使用—topics-with-overrides参数可以找到所有包含覆盖配置的主题，它会列出包含了与集群不一样的配置的主题。

有两个参数可以找出有问题的分区。

使用—under-replicated-partitions参数可以列出所有包含不同步副本的分区。

使用—unavailable-partitions参数的可以列出所有没有首领的分区。这些分区已经离线，对于生产者和消费者都不可用。

Kafka-topics.sh —zookeeper zoo1.example.com:2181/kafka-cluster —describe —under-replicated-partitions

9.2消费者群组

Kafka有两个地方保存消费者群组信息，旧版本在zookeeper，新版本在broker，Kafka-consumer-groups.sh 可以列出上述两种消费者群组。它可以用于删除消费者群组和偏移量，旧版本需要zookeeper地址，新版本需要broker地址。

列出并描述群组

示例：列出旧版本消费者群组

Kafka-consumer-groups.sh —zookeeper zoo1.example.com:2181/kafka-cluster —list

示例：列出新版本消费者群组

Kafka-consumer-groups.sh —new-consumer —bootstrap-server kafka1.example.com:9092/kafka-cluster —list

对于列出任意群组来说，使用—describe代替—list，通过—group指定特定群组就可以获取群组的详细信息。它会列出群组所有主题的信息和每个分区偏移量。

示例：列出旧版本消费者群组testgroup的详细信息

Kafka-consumer-groups.sh —new-consumer —bootstrap-server kafka1.example.com:9092/kafka-cluster —describe —group test group

删除消费者群组

只有旧版本消费者客户端支持删除群组。删除群组将从zookeeper删除群组和所有偏移量。执行操作之前，必须关闭所有消费者。

示例:删除消费者群组testgroup

Kafka-consumer-groups.sh —zookeeper zoo1.example.com:2181/kafka-cluster —delete —group test group

该命令也可以用于不删除整个群组的情况下删除单个主题的偏移量。（删除之前，必须关闭消费者）

示例：从消费者群组testgroup删除my-topic的主题偏移量。

Kafka-consumer-groups.sh —zookeeper zoo1.example.com:2181/kafka-cluster —delete —group test group —topic my-topic

偏移量管理

除了可以显示和删除消费者群组的偏移量之外，还可以获取偏移量，并保存批次的最新偏移量，从而实现偏移量重置。

1.导出偏移量

可以使用Kafka-run-class.sh调用底层Java类实现导出，会生成一个文件，包含分区和偏移量信息

示例：将群组testgroup的偏移量导出到offsets文件

Kafka-run-calss.sh kafka.tools.ExportZkoffsets —zkconnect zoo1.example.com:2181/kafka-cluster —group testgroup —output-file offsets

2.导入偏移量

导入偏移量之前，必须先关闭消费者。

示例：从offsets文件将偏移量导入消费者群组testgroup

Kafka-run-calss.sh kafka.tools.ImportZkoffsets —zkconnect zoo1.example.com:2181/kafka-cluster —group testgroup —input-file offsets

 

9.3动态配置变更

我们可以在集群运行状态时覆盖主题配置和客户端配置。不管是在工具还是文档，它们所说的动态配置参数都是基于主题或客户端的，都是可以被覆盖的。

覆盖主题的默认配置

更改主题配置的命令格式如下：

Kafka-configs.sh —zookeeper zoo1.example.com:2181/kafka-cluster -alter —entitiy-type topics —entity-name <topicname> —add-config key=value[key=value]

示例：将主题my-topic的消息保留时间设为1小时

Kafka-configs.sh —zookeeper zoo1.example.com:2181/kafka-cluster -alter —entitiy-type topics —entity-name my-topic —add-config retention.ms=3600000

覆盖客户端的默认配置

对于Kafka客户端来说，只能覆盖生产者配额和消费者配额。这两个参数都以字节每秒为参数，表示客户端每个broker上的生成速率和消费速率

更改客户端配置的命令如下：

Kafka-configs.sh —zookeeper zoo1.example.com:2181/kafka-cluster —alter —entity-type clients —entity-name <client id> 

—add-config key=value

可用的客户端配置参数，producer_bytes-rate,consumer_bytes_rate

列出被覆盖的配置

使用命令行参数可以列出所有被覆盖的配置，从而用于检查主题和客户端配置。示例：列出主题my-topic所有被覆盖的配置

Kafka-configs.sh —zookeeper zoo1.example.com:2181/kafka-cluster —describe —entity-type topics —entity-name my-topic

移除被覆盖的配置

动态的配置完全可以被移除，从而恢复到集群的默认配置。可以使用alter命令和—delete-config参数来删除被覆盖的配置。

示例：删除主题my-topic的retention.ms覆盖配置

Kafka-configs.sh —zookeeper zoo1.example.com:2181/kafka-cluster

—alter —entity-type topics —entity-name my-topic

—delete-config retention.ms

9.4分区管理

Kafka提供两个脚本管理分区，一个用于重新选举首领，一个用于将分区分配给broker，结合这两个工具，就可以实现集群流量的负载均衡。

使用多个分区副本可以提升可靠性，不过只有其中一个副本可以成为分区首领，只有首领所在broker可以进行生产和消费活动。Kafka将副本清单第一个同步副本选为首领，但在关闭并重启broker之后，并不会自动恢复原先的首领身份。broker有一个配置可以用于启动自动首领再均衡，不过不建议在生产环境使用该功能。

通过触发首选的副本选举，可以让broker重新获得首领。当该事件被触发时，集群控制器会为分区重新选择理想的首领。也可以通过Kafka-preferred-replica-election.sh 工具手动触发选举。

示例：启动首选的副本选举

Kafka-preferred-replica-election.sh —zookeeper zoo1.example.com:2181/kafka-cluster

进行选举时，集群的元数据必须被写到zookeeper上，如果元数据超过了节点运行的大小（默认时1MB），选举就会失败。

这个时候需要把分区清单信息写到json文件，分多个步骤进行：

示例：通过在partitions.json文件里指定分区清单来启动副本选举

Kafka-perferred-replica-election.sh —zookeeper zoo1.example.com:2181/kafka-cluster —path-to-json-file partitons.json

9.4.2修改分区副本

有时需要修改分区副本，以下时需要修改分区副本的场景

1.主题分区在整个集群的不均衡分布造成集群负载不均衡

2.broker离线造成分区不同步

3.新加入的broker需要从集群获得负载。

可以使用Kafka-reassign-partitions.sh 工具来修改分区。

第一步：根据broker清单和主题清单生成一组迁移步骤；

第二步，执行迁移步骤；

第三步：可以使用生成的迁移步骤验证分区重分配的进度和完成情况。

示例：为topics.json文件里的主题生成迁移步骤，将这些主题迁移到broker0和broker1上。

Kafka-reassign-partitions.sh —zookeeper zoo1.example.com:2181/kafka-cluster —generate —topics-to-move-json-file topics.json —broker-list 0,1

这个工具会在控制台输出两个json,分别描述里当前分区和建议分区分配方案，可以把第一个json保存起来，以备回滚。

第二个json应该被保存到另一个文件，作为Kafka-reassign-partitons.sh工具的输入来执行第二个步骤。

示例：使用reassign.json来执行建议的分区分配方案

Kafka-reassign-partitions.sh —zookeeper zoo1.example.com:2181/kafka-cluster —execute —reassignment-json-file reassign.json

该命令会将指定分区的副本重新分配到新的broker上。

在重分配进行过程中或完成之后，可以使用Kafka-reassign-partitions.sh工具验证重分配的状态。

示例：验证reassign.json文件里指定的分区重分配情况。

Kafka-reassign-partitions.sh —zookeeper zoo1.example.com:2181/kafka-cluster —verify —reassignment-json-file reassign.json

9.4.3修改复制系数

分区重分配工具提供了一些特性，可以改变分区的复制系数

9.4.4转储日志片段

如果需要查看某个特定消息的内容，可以使用工具来解码分区的日志片段。该工具可以让你在不读取消息的情况下查看消息的内容。它接受一个以逗号分隔的日志片段文件清单作为参数，并打印出每个消息的概要信息和数据内容。

示例：解码日志片段0001.log,显示消息的概要信息

Kafka-run-class.sh kafka.tools.DumpLogSegments —files 0001.log

示例：解码日志片段0001.log,显示消息的数据内容

Kafka-run-class.sh kafka.tools.DumpLogSegments —files 0001.log —print-data-log

这个片段也可以用于检查日志片段的索引文件。有两个参数可以用于指定不同程度的验证，—index-sanity-check将会检查无用的索引。而—verify-index-only将会检查索引的匹配度，但不会打印出所有索引。

示例：验证日志片段0001.log索引文件的正确性

Kafka-run-class.sh kafka.tools.DumpLogSegments —files 0001.index,0001.log —index-sanity-check

9.4.5副本验证

分区复制原理与消费者客户端类似，跟随者broker定期将上一个偏移量到当前偏移量之间的数据复制到磁盘上。如果复制停止并重启，它会从上一个检查点继续复制，如果之前复制的日志被删除，跟随者不做任何补偿。

可以使用Kafka-replica-verification.sh工具验证集群分区副本的一致性。它会从指定分区副本获取消息，并检查所有副本是否具有相同消息。使用正则表达式将待验证主题的名字传给他，还需要显示提供broker地址清单。

示例：对broker1和broker2上以my-开头的主题副本进行验证

Kafka-replica-verification.sh —broker-list kafka1.example.com:9092,kafka2.example.com:9092 —topic-white-list ‘my-.*’

9.5消费和生产

如果需要手动读取和生成消息，可以借助Kafka-console-consumer.sh和Kafka-console-producer.sh两个工具，它们包装Java客户端，让用户不需要编写应用程序就可以与Kafka主题进行交互。

9.5.1控制台消费者

Kafka-console-consumer.sh 工具提供一种从一个或多个主题读取消息的方式。消息被打印到标准输出，消息之间以空行分隔，默认情况下没有格式化。

有一些参数时必选的。

第一步：指定是否要使用新版本消费者，并指导Kafka地址。如果使用旧版本消费者，只需要提供—zookeeper参数，后面跟Kafka集群的连接字符串。

第二步：需要指定主题，有三个可选参数分别是

—topic

—whitelist

—blacklist

示例：使用旧版消费者读取单个主题my-topic

Kafka-console-consumer.sh —zookeeper

zoo1.example.com:2181/Kafka-cluster —topic my-topic

除了基本参数外，也可以把其它参数传给控制台消费者，可以通过两种方式：

第一：将配置参数写到一个文件，然后通过—consumer.config filename指定配置文件

第二：直接在命令行以—consumer-property key=value的格式传递一个或多个参数。

控制台消费者的其他常用配置：

—formatter classname

指定消息格式化器的类名，用于解码消息，默认是Kafka.tools.DefaultFormatter

—from-beginning

指定从最旧的偏移量读取数据，否则就从最新偏移量开始读取

—max-messages num 

指定退出之前最多读取多少消息

—partition num

指定只读取ID为num的分区

读取偏移量主题

有时候我们需要指定提交的消费者群组的偏移量少多少，这个可以通过让控制台消费者读取一个特定__consumer__offsets来实现.

为了解码这个主题，需要使用Kafka.coordinator.GroupMetadataManager$OffsetsMessageFormatter格式化器。

示例：从偏移量主题读取一个消息

Kafka-console-consumer.sh —zookeeper zoo1.example.com:2181/kafka-cluster —topic __consumer__offsets —formatter ‘kafka.coordinator.GroupMetadataManager$OffsetsMessageFormatter’

9.5.2控制台生产者

Kafka-console-producer.sh工具可以用于想Kafka主题写入消息。默认情况下，一行时一个消息，键值以tab分隔，如果没有tab,那么键为null

有两个参数必须指定：

—broker-list参数指定了一个或多个broker，逗号分隔

—topic指定了目标主题

与控制台消费者一样，控制台生产者可以接受普通生产者的配置参数，通过两种方式实现：

第一：通过—producer.config file指定配置文件

第二：在命令行—producer-property key=value传递一个或多个参数

有很多参数可以调整行为：

—key-serializer classname

指定消息键的编码器名

—value-serializer classname 

指定消息的value的编码器名

—compression-codec string

指定压缩类型

—sync

指定以同步方式生成消息，也就是说，发送下一个消息之前会等待当前消息得到确认。

9.7不安全的操作

移动集群控制器

取消分区重分配

移动待删除的主题

手动删除主题