kafka管理神器-kafkamanager
好久没发过kafka的文章了，今天整理一下kafka-manager神器。
java环境要求
jdk8
kafkamanager源码下载
https://github.com/yahoo/kafka-manager/releases
编译
先修改sbt源，否则会报错，而且非常慢
在～/.sbt目录下增加一个文件repositories，内容如下：
, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
ib: http://maven.ibiblio.org/maven2/
ib-ivy: http://maven.ibiblio.org/maven2/ , [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
mt-mdh:.sbt meitu$ pwd
/Users/meitu/.sbt
修改源之后编译速度很快而且无故障。
编译是在/opt/hadoop/kafka-manager-1.3.3.18/目录下执行：
要求jdk8假如不是jdk8，可以直接指定路径：
8/bin:$PATH \
JAVA_HOME=/usr/local/oracle-java-8 \
/path/to/sbt -java-home /usr/local/oracle-java-8 clean dist
最后出现
package is ready in /opt/hadoop/kafka-manager-1.3.3.18/target/universal/kafka-manager-1.3.3.18.zip
[info]
[success] Total time: 60 s, completed 2018-9-10 13:58:04
代表编译成功，zip生成目录是在
1.3.3.18/target/universal/kafka-manager-1.3.3.18.zip
在配置conf/application.conf 中加入zookeeper的地址，不一定是kafka的集群zk地址
"localhost:2181"
启动，不加-Dhttp.port参数默认是9000
加入java不是jdk8的话也可以单独指定jdk为jdk8
8
kafkamanager的经典作用
1. 管理多集群
2. 便捷的监控集群状态(topics，consumers，offsets，brokers，副本分布，分区分布)
3. 运行优先副本选举
4. 可以选择指定的broker去产生副本分布策略。
5. 运行分区分布策略，根据4产生的分布策略
6. 根据自定义配置创建topic
7. 删除topic，但是前提是配置kafka的delete.topic.enable=true
8. 可以选择多个topic，然后指定特定的brokers，生成分区分布策略
9. 批量运行8生成的策略
10. 增加已存在topic的分区
11. 更新已存在topic的配置
12. 加入kafka开启jmx的话，可以监控broker和topic级别的监控指标。
kafka manager图解说明
首先创建集群
接着在topic管理界面
然后就是消费者界面
主要关注的是图上所属指标，建议大家使用测试，当然非常建议按照本文操作一遍，但是不想编译或者编译不成功也可以，关联词大全在公众号恢复 1024 获取浪院长编译好的。
kafka 开启jmx的方式很简单在kafka-server-start.sh中修改如下
export JMX_PORT="9999"
fi
?
当然，在这里强调一下，对于kafka集群，虽然不耗内存，也建议将kafka的堆内存设置稍微大些。当然，对于很多公司，数据量不足以触发kafka节点内存不够导致的故障。
推荐阅读：
消息队列服务Kafka揭秘：痛点、优势以及适用场景
关于Spark Streaming感知kafka动态分区的问题
Kafka源码系列之源码分析zookeeper在kafka的作用
文章来源：https://blog.csdn.net/rlnLo2pNEfx9c/article/details/82599220
