【夜莺监控方案】07-监控kafka（prometheus+n9e+kafka_exporter ）

文章目录

• 1. 安装kafka_exporter
• • 1.1 下载
  • 1.2 安装
• 2. prometheus 配置
• 3. n9e 配置图表
• • 3.1 手动配置（方法一）
  • 3.2 导入模板（方法二）

1. 安装kafka_exporter

1.1 下载

国内github加速地址 ： https://hub.fastgit.org

搜索 kafka_exporter 下载适合的版本
（1.4.2貌似不好用，我下载的1.4.0）

1.2 安装

1）下载适合版本到服务器，解压缩（我解压缩在/data目录下）
2）为了方便操作，在/opt 下创建一个软连接，结果如下

[root@kafka-01 kafka_exporter]# ll /opt/
lrwxrwxrwx  1 root root     22 3    2 2021 kafka -> /data/kafka_2.13-2.7.0
lrwxrwxrwx  1 root root     38 11  17 13:41 kafka_exporter -> /data/kafka_exporter-1.4.0.linux-amd64
 

3）写一个启动脚本

#!/bin/bash
# 启动脚本
kafka_exporter_home="/opt/kafka_exporter"
nohup ${kafka_exporter_home}/kafka_exporter \
--kafka.server=10.10.xxx.61:9092 \
--kafka.server=10.10.xxx.62:9092 \
--kafka.server=10.10.xxx.63:9092 \
--sasl.enabled \
--sasl.mechanism=plain \
--sasl.username=kafka \
--sasl.password="xxx888888"   >> ${kafka_exporter_home}/kafka_exporter.log &

2. prometheus 配置

• 修改prometheus.yml文件，添加job内容如下

  - job_name: 'kafka-lab-pub'
    scrape_interval: 15s
    static_configs:
      - targets:
        - 10.10.xxx.61:9308

• 重启prometheus

3. n9e 配置图表

3.1 手动配置（方法一）

根据实际情况，参考参考《04-监控redis集群-prometheuse+n9e》中“3.2 配置图表"

3.2 导入模板（方法二）

导入模板内容如下：

[
  {
    "id": 0,
    "name": "kafka",
    "tags": "",
    "configs": "{\"tags\":[{\"tagName\":\"var\",\"key\":\"instance\",\"value\":\"10.10.239.61:9308\",\"prefix\":false,\"metric\":\"kafka_consumergroup_lag_sum\"}]}",
    "chart_groups": [
      {
        "id": 0,
        "dashboard_id": 0,
        "name": "Default chart group",
        "weight": 0,
        "charts": [
          {
            "id": 256,
            "group_id": 95,
            "configs": "{\"name\":\"消费组积压情况\",\"mode\":\"nightingale\",\"metric\":[\"kafka_consumergroup_lag_sum\"],\"tags\":{},\"layout\":{\"h\":2,\"w\":24,\"x\":0,\"y\":2,\"i\":\"0\"}}",
            "weight": 0
          },
          {
            "id": 257,
            "group_id": 95,
            "configs": "{\"name\":\"topic分区消费偏移量\",\"mode\":\"nightingale\",\"metric\":[\"kafka_topic_partition_current_offset\"],\"tags\":{},\"layout\":{\"h\":2,\"w\":24,\"x\":0,\"y\":4,\"i\":\"1\"}}",
            "weight": 0
          },
          {
            "id": 258,
            "group_id": 95,
            "configs": "{\"name\":\"topic分区副本同步情况\",\"mode\":\"nightingale\",\"metric\":[\"kafka_topic_partition_under_replicated_partition\"],\"tags\":{},\"layout\":{\"h\":2,\"w\":24,\"x\":0,\"y\":6,\"i\":\"2\"}}",
            "weight": 0
          },
          {
            "id": 252,
            "group_id": 95,
            "configs": "{\"name\":\"cpu使用率\",\"mode\":\"prometheus\",\"link\":\"http://127.0.0.1:9090\",\"prome_ql\":[\"rate(process_cpu_seconds_total{job=\\\"kafka-dom--ha\\\"}[1m])\"],\"layout\":{\"h\":2,\"w\":24,\"x\":0,\"y\":8,\"i\":\"3\"}}",
            "weight": 0
          },
          {
            "id": 253,
            "group_id": 95,
            "configs": "{\"name\":\"broker数量\",\"mode\":\"nightingale\",\"metric\":[\"kafka_brokers\"],\"tags\":{},\"layout\":{\"h\":2,\"w\":24,\"x\":0,\"y\":0,\"i\":\"4\"}}",
            "weight": 0
          },
          {
            "id": 254,
            "group_id": 95,
            "configs": "{\"name\":\"消费者偏移量\",\"mode\":\"nightingale\",\"metric\":[\"kafka_consumergroup_current_offset_sum\"],\"tags\":{},\"layout\":{\"h\":2,\"w\":24,\"x\":0,\"y\":10,\"i\":\"5\"}}",
            "weight": 0
          },
          {
            "id": 255,
            "group_id": 95,
            "configs": "{\"name\":\"消费者组成员\",\"mode\":\"nightingale\",\"metric\":[\"kafka_consumergroup_members\"],\"tags\":{},\"layout\":{\"h\":2,\"w\":24,\"x\":0,\"y\":12,\"i\":\"6\"}}",
            "weight": 0
          }
        ]
      }
    ]
  }
]

---