kafka监控工具kafka-manager

1.几个kafka监控工具

Kafka Web Console:监控功能较为全面,可以预览消息,监控Offset、Lag等信息,但存在bug,不建议在生产环境中使用。

Kafka Manager:偏向Kafka集群管理,若操作不当,容易导致集群出现故障。对Kafka实时生产和消费消息是通过JMX实现的。没有记录Offset、Lag等信息。

KafkaOffsetMonitor:程序一个jar包的形式运行,部署较为方便。只有监控功能,使用起来也较为安全。

若只需要监控功能,推荐使用KafkaOffsetMonito,若偏重Kafka集群管理,推荐使用Kafka Manager。

因为都是开源程序,稳定性欠缺。故需先了解清楚目前已存在哪些Bug,多测试一下,避免出现类似于Kafka Web Console的问题。

小结链接:http://blog.csdn.net/chuntian_feng/article/details/51871648

2.kafka-manager简介

发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。支持管理多个集群、选择副本、副本重新分配以及创建Topic。快速浏览kafka集群

功能:

1.管理多个kafka集群
2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)
3.选择你要运行的副本
4.基于当前分区状况进行
5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)
6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)
7.Topic list会指明哪些topic被删除(在0.8.2以上版本适用)
8.为已存在的topic增加分区
9.为已存在的topic更新配置
10.在多个topic上批量重分区
11.在多个topic上批量重分区(可选partition broker位置)

3.kafka-manager 项目地址:

https://github.com/yahoo/kafka-manager

4.安装

a.官方的Requirements

  1. Kafka 0.8.1.1 or 0.8.2.* or 0.9.0.* or 0.10.0.*
  2. Java 8+

 本次试验环境:kafka_2.11-0.10.1.0 , jdk-1.8.0_121 , zookeeper-3.4.10

b.java8环境配置,zookeeper&kafka集群配置在此不赘述

  kafka-manager安装:

git clone https://github.com/yahoo/kafka-manager.git
cd kafka-manager
./sbt clean dist    #编译过程漫长,耐心等待

kafka-manager/target/universal目录下会生成zip包

 

解压:

unzip kafka-manager-1.3.3.7.zip -d /usr/local
cd /usr/local/kafka-manager-1.3.3.7

修改配置文件:

修改配置文件application.conf:

修改 kafka-manager.zkhosts="192.168.1.160:2181" 这行

启动kafka-manager:

#kafka-manager 默认的端口是9000,可通过 -Dhttp.port,指定端口; -Dconfig.file=conf/application.conf指定配置文件:
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9000 &

web访问:

ip:9000

下图是添加了2个zk集群

 

 5.web设置

1.jmx port 和 metrics显示设置

 

上图metrics无显示信息解决方法:

 

设置JMX_PORT:

 export JMX_PORT=9001

重启kafka:

JMX_PORT=9001 bin/kafka-server-start.sh config/server.properties

 

或者修改kafka的kafka-server-start.sh文件,添加JMX_PORT项,如下图:

然后重启kafka。

 

 
2.不要勾选JMX with SSL

3. 如果没有安装补丁,不要勾选Display Broker and Topic Size

 

posted @ 2017-06-22 21:32  nineep  阅读(3670)  评论(0编辑  收藏  举报