KafkaOffsetMonitor监控kafka

KafkaOffsetMonitor监控kafka

1、　KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具，其配置和使用特别的方便。源项目Github地址为：https://github.com/quantifind/KafkaOffsetMonitor

下载的githup上的有两种一个是源码，一种是编译好的jar包。因为编译过程需要FQ现在一些依赖，本次用的是编译好的jar包，并且下载的jar包获取数据某些js、css需要FQ，导致按装完成后获取不到数据。所以现在找的是一个全网通用的jar包，与kafka_2.11-0.11.0.0亲测可用，先上图：

 

 

 

这张图片的左上角显示了当前Topic的生产速率，右上角显示了当前Consumer的消费速率。
　　图片中还有三种颜色的线条，蓝色的表示当前Topic中的Message数目，灰色的表示当前Consumer消费的offset位置，红色的表示蓝色灰色的差值，即当前Consumer滞后于Producer的message数目。

2、启动服务

 不需要配置，直接将jar包上传到服务器上并创建一个相应的目录，启动就可以。将启动过程写成一个启动脚本：

java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \

    com.quantifind.kafka.offsetapp.OffsetGetterWeb \

    --zk zk3:2181,zk2:2181,zk1:2181 \

    --port 4321 \

    --refresh 10.seconds \

    --retain 7.days

参数介绍以下摘自giuhup：

• offsetStorage valid options are ”zookeeper”, ”kafka” or ”storm”. Anything else falls back to ”zookeeper”
• zk the ZooKeeper hosts
• port on what port will the app be available
• refresh how often should the app refresh and store a point in the DB
• retain how long should points be kept in the DB
• dbName where to store the history (default ‘offsetapp’)
• kafkaOffsetForceFromStart only applies to ”kafka” format. Force KafkaOffsetMonitor to scan the commit messages from start (see notes below)
• stormZKOffsetBase only applies to ”storm” format. Change the offset storage base in zookeeper, default to ”/stormconsumers” (see notes below)
• pluginsArgs additional arguments used by extensions (see below)

使用托管服务启动，可以选用nohup、pm2等：

# pm2 start kafka-check-monitor.sh

关于pm2不在详细介绍。

启动后，如果是放在内网，则需要配置代理，直接访问4321端口就可以。

Nginx代理配置模板如下：

 1.生成密码文件      

# htpasswd -c -d /usr/local/nginx/conf/pass_file username  

如果想添加多个用户：

2.添加用户     

# htpasswd -d /usr/local/nginx/conf/pass_file username  

#vim kafka.con

server {

        listen *:80;

        server_name my.kafka.com;   # 请修改为你的域名

         auth_basic "it's in proteced";

         auth_basic_user_file /etc/nginx/.htpasswd;

        location / {

                proxy_pass http://172.189.10.12:4321;

                proxy_http_version 1.1;

                proxy_set_header Upgrade $http_upgrade;

                proxy_set_header Connection "upgrade";

                proxy_set_header Host $host;

        }

}