小记--------安装部署滴滴开源kafka-manager工具
GitHub地址:https://github.com/didi/LogiKM
-
下载安装包
-
解压安装包
tar -zxvf kafka-manager-2.4.2.tar.gz
-
创建数据库
打开解压好的包可以看到 create_mysql_table.sql
![](https://img2020.cnblogs.com/blog/1492482/202111/1492482-20211122135428745-459870167.png)
这个是kafka-manager是通过mysql数据库做元数据管理的, 所以首先我们要准备好mysql,
然后再mysql中运行这个文件
运行命令: source create_mysql_table.sql 会生成所有需要的数据库和表
注意: 没有创建用户,需要我们手动创建用户并赋权限
GRANT ALL PRIVILEGES ON 数据库名(查看运行文件后生成的数据库名就OK了).* TO ‘用户名'@'%' IDENTIFIED BY '用户密码’;
-
配置文件
![](https://img2020.cnblogs.com/blog/1492482/202111/1492482-20211122135433483-1431191528.png)
启动命令
nohup java -jar kafka-manager.jar --spring.config.location=./application.yml > /dev/null 2>&1 &nohup java -jar kafka-manager.jar --spring.config.location=./application.yml > /dev/null 2>&1 &
这就OK了。。。
访问kafka-manager安装机器:web端口
http://master:port/
默认密码: admin:admin
![](https://img2020.cnblogs.com/blog/1492482/202111/1492482-20211122135429153-699485200.png)
-
配置集群
![](https://img2020.cnblogs.com/blog/1492482/202111/1492482-20211122135430668-166630511.png)
创建完成后点击名称进入该物理集群,正常情况下这样应该就可以了,但是滴滴的这款开源管理工具是可以接入多个集群进行管理的, 所以它是有root用户和其他普通用户的,然而普通用户是看不到物理集群的,
因为滴滴引入了region的概念(应用于集群规模较大的集群,比如有1000台服务器,可以使用region的概念将500台机器放入一个region,另外500台机器放入另一个region,这样管理起来比较方便)
逻辑集群,普通用户只能看到逻辑集群 ,因此我们还需要创建region 和逻辑集群。
新增region,视情况而定配置几个region
![](https://img2020.cnblogs.com/blog/1492482/202111/1492482-20211122135430254-1122035216.png)
新增逻辑集群![](https://img2020.cnblogs.com/blog/1492482/202111/1492482-20211122135430327-374409623.png)
![](https://img2020.cnblogs.com/blog/1492482/202111/1492482-20211122135430327-374409623.png)
新增region
![](https://img2022.cnblogs.com/blog/1492482/202203/1492482-20220328155919917-1079239662.png)
其中broker列表 brokerID查看
![](https://img2022.cnblogs.com/blog/1492482/202203/1492482-20220328155919949-824309722.png)
此时就可以再集群管理中 看到集群信息了, 然后进入topic管理中也可以看到topic 全部了
进入topic管理中, 选择一个topic 查看其基本信息中会有实时监控流量,但是因为我们Kafka集群没有配置JMX 所以显示看不到
![](https://img2020.cnblogs.com/blog/1492482/202111/1492482-20211122135432713-2032731047.png)
配置Kafka 的JMX监控
需要再kafka每台机器中都进行如下操作
-
kafka-server-start.sh
增加JMX_PORT 端口
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" #增加JMX端口配置 export JMX_PORT=9102 fi
![](https://img2020.cnblogs.com/blog/1492482/202111/1492482-20211122135433163-1933993135.png)
-
kafka-run-class.sh
# 增加-Djava.rmi.server.hostname=192.168.1.211 IP为本机IP 全部复制 # JMX port to use 手动增加的 if [ $JMX_PORT ]; then KAFKA_JMX_OPTS="$KAFKA_JMX_OPTS -Dcom.sun.management.jmxremote.port=$JMX_PORT -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT" fi
![](https://img2020.cnblogs.com/blog/1492482/202111/1492482-20211122135415437-1332531165.png)
这下彻底OK。
作者:于二黑
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。