Kafka-offset查看与变更

               

Kafka-offset查看与变更

 

一、环境介绍

主机名	IP	Mysql角色	kerberbos
dcdl-test-namenode1	10.2.98.128	Kafka Broker Default Group	非kdc认证
dcdl-test-datanode1	10.2.96.129	Kafka Broker Default Group	kdc认证
dcdl-test-datanode2	10.2.96.130	Kafka Broker Group 1	kdc认证
dcdl-test-datanode3	10.2.96.131	Kafka Broker Default Group	kdc认证

 

二、在非kerberbos认证下kafka offset变更

1、创建测试kafka topic

 kafka-topics --create --zookeeper dcdl-test-datanode1.essence.com:2181 --replication-factor 1 --partitions 1 --topic test2

 

2、查看创建kafka topic

kafka-topics --zookeeper 10.2.98.128:2181 --list

 

 

3、向kafka topic 写入数据

kafka-console-producer --broker-list 10.2.98.128:9092 --topic test2

 

4、消费kafka topic 数据信息

kafka-console-consumer --bootstrap-server 10.2.98.128:9092 --group offset-group  --topic test2

 

5、查看消费者消费偏移量

kafka-consumer-groups --bootstrap-server 10.2.98.128:9092 --group offset-group  --describe

 

Current-offset与log-end-offset 相等表示kafka topic 消息已全部消费完毕

6、设置kafka topic offset为最初偏移量

kafka-consumer-groups --bootstrap-server 10.2.98.128:9092 --group offset-group --topic test2 --reset-offsets --to-earliest --execute

 

注意：Offset-group必须是非活跃状态，退出消费。

 

查看topic test2的offset 与第5步骤对比已回到最初的偏移量

7、设置kafka topic offset任意偏移量

kafka-consumer-groups --bootstrap-server 10.2.98.128:9092 --group offset-group --topic test2 --reset-offsets --to-offset 8 --execute

 

 

查看topic test2的offset与第7步骤对比current-offset向前偏移8

 

 

 

 

三、Kafka在kerberbos认证下查看与修改topic offset

1、以kafka用户为测试背景，导入kafka用户变量

配置kafka用户 kerberbos认证相关文件

 

修改client.properties文件

 

export KAFKA_OPTS="-Djava.security.auth.login.config=/home/kafka/jaas-keytab.conf"

 

2、创建kafka topic

kafka-topics --create --zookeeper 10.2.98.129:2181/kafka2 --replication-factor 1 --partitions 1 --topic offsettest

 

 

3、向kafka topice offsettest写入数据

kafka-console-producer --broker-list 10.2.98.129:9092,10.2.98.130:9092,10.2.98.131:9092 --topic offsettest --producer.config /home/kafka/client.properties

 

 

4、消费kafka topic offsettest消息

kafka-console-consumer --bootstrap-server 10.2.98.129:9092,10.2.98.130:9092,10.2.98.131:9092 --group offset-group --topic offsettest --consumer.config /home/kafka/client.properties

 

 

5、查看kafka topic offsettest的消费者消费偏移量

kafka-consumer-groups --bootstrap-server 10.2.98.129:9092,10.2.98.130:9092,10.2.98.131:9092 --group offset-group  --describe --command-config /home/kafka/client.properties

 

 

提示：current-offset与log-end-offset相等，及lag等于0，表示topic 已全部消费

 

6、设置kafka topic offsettest 最初偏移量

kafka-consumer-groups --bootstrap-server 10.2.98.129:9092,10.2.98.130:9092,10.2.98.131:9092 --group offset-group --topic offsettest --reset-offsets --to-earliest --execute --command-config /home/kafka/client.properties

 

注意：Offset-group必须是非活跃状态，退出消费。

 

提示：查看topic offsettest的current-offset更改0, LAG变更为19，与第5步相比已回至最初偏移量

 

7、设置kafka topic偏移量任意值

kafka-consumer-groups --bootstrap-server 10.2.98.129:9092,10.2.98.130:9092,10.2.98.131:9092 --group offset-group --topic offsettest --reset-offsets --to-offset 8 --execute --command-config /home/kafka/client.properties

 

 

提示：查看topic offsettest的CURRENT-OFFSET变更为8,与第6步骤相比LAG已减少8变更为11.

 

 

 

 

 

 

 

 

 

 

四、普通用户查看,修改offset所需最小权限

1、以用户kafka_test,topic: offsettest; 消费者组：testgroup 测试背景

2、kerberos认证用户,导入kafka_test 变量

$ kinit -kt /**/**/kafka_test.keytab

$ export KAFKA_OPTS="-Djava.security.auth.login.config=/home/kafka_test/jaas-keytab.conf"

$ vi client.properties

 

 

3、在管理用户kafka下授于用户kafka_test Topic读/写权限

kafka-sentry -gpr -r risk_role -p "Topic=offsettest->action=read"

kafka-sentry -gpr -r risk_role -p "Topic=offsettest->action=read"

kafka-sentry -arg -r risk_role -g kafka_test

 

4、向topic offsettest写入数据

kafka-console-producer --broker-list

dcdl-test-datanode2.essence.com:9092,dcdl-test-datanode1.essence.com:9092,dcdl-test-datanode3.essence.com:9092 --topic offsettest --producer.config client.properties

 

提示：没有权限写入数据

 

5、在kafka_test用户下消费topic offsettest数据

kafka-console-consumer --bootstrap-server dcdl-test-datanode2.essence.com:9092,dcdl-test-datanode1.essence.com:9092,dcdl-test-datanode3.essence.com:9092 --group testgroup --topic offsettest --consumer.config client.properties

 

提示：没有权限读取topic数据

 

6、在管理用户kafka下授于普通用户kafka_test topic offsettest的describe权限

kafka-sentry -gpr -r risk_role -p "Topic=offsettest->action=describe"

kafka-sentry -arg -r risk_role -g kafka_test

 

7、在kafka_test用户下topic offsettest再次生产，消费数据

kafka-console-producer --broker-list

dcdl-test-datanode2.essence.com:9092,dcdl-test-datanode1.essence.com:9092,dcdl-test-datanode3.essence.com:9092 --topic offsettest --producer.config client.properties

 

提示：授于topic的describe权限后,已可以生产数据

kafka-console-consumer --bootstrap-server dcdl-test-datanode2.essence.com:9092,dcdl-test-datanode1.essence.com:9092,dcdl-test-datanode3.essence.com:9092 --group testgroup --topic offsettest --consumer.config client.properties

 

提示：授于topic的describe权限后,已可以消费数据

 

8、在topic offsettest有read,write,describe权限，查看topic offset

kafka-consumer-groups --bootstrap-server dcdl-test-datanode2.essence.com:9092,dcdl-test-datanode1.essence.com:9092,dcdl-test-datanode3.essence.com:9092 --group testgroup  --describe --command-config client.properties

 

提示：此步说明无需授权消费者组testgroup,可查看offset

 

 

9、授权消费者组testgroup write,describe权限

kafka-sentry -gpr -r risk_role -p "CONSUMERGROUP=testgroup->action=write"

kafka-sentry -gpr -r risk_role -p "CONSUMERGROUP=testgroup->action=describe"

kafka-sentry -arg -r risk_role -g kafka_test

 

10、修改topic offsettest的最初偏移量

kafka-consumer-groups --bootstrap-server dcdl-test-datanode2.essence.com:9092,dcdl-test-datanode1.essence.com:9092,dcdl-test-datanode3.essence.com:9092 --group testgroup --topic offsettest --reset-offsets --to-earliest --execute --command-config client.properties

 

11、提示：消费者组testgroup是从offset 23起始消费，修改最初偏移量到23.

 

 

 

 

12、由以上步骤得出普通用户访问kerberos 认证kafka topic以及修改offset的权限如下

(1) 在给Topic赋权read或者write权限时，务必同时带上describe权限，否则权限不生效。当然你也可以将权限设置为ALL.

(2) 在kafka 消费者组授权write权限时，也务必同时带上decribe权限，否则权限不生效。

(3) 修改kafka offset时，消费者组必须是无成员状态下，否则无法修改offset.