docker swarm cAdvisor+InfluxDB+Grafana 监控

docker swarm集群的监控方案很多，cAdvisor+InfluxDB+Grafana方案功能强大灵活。最重要的是这个方案开源、免费、易用，是不花钱版监控方案。参考文档：https://botleg.com/stories/monitoring-docker-swarm-with-cadvisor-influxdb-and-grafana/

组件说明
cAdvisor：数据收集模块，需要部署在集群中的每一个节点上，当然前提条件是节点接受task。在本次实验中，共有三个节点，因为其中一个节点做过drain，不接受任何task调度，所以最后结果是部署在两个节点上。
InfluxDB：数据存储模块。
Grafana：数据展示模块
环境准备
docker版本：18.04.0 CE。

参考https://blog.csdn.net/dkfajsldfsdfsd/article/details/79923218 创建包含三个节点的docker swarm集群。

创建docker compose文件
在manager结点上创建文件，并输入如下内容：

version: '3'
 
services:
  influx:
    image: influxdb
    volumes:
      - influx:/var/lib/influxdb
    deploy:
      replicas: 1
      placement:
        constraints:
          - node.role == manager
 
  grafana:
    image: grafana/grafana
    ports:
      - 0.0.0.0:3000:3000
    volumes:
      - grafana:/var/lib/grafana
    depends_on:
      - influx
    deploy:
      replicas: 1
      placement:
        constraints:
          - node.role == manager
 
  cadvisor:
    image: google/cadvisor
    hostname: '{{.Node.Hostname}}'
    command: -logtostderr -docker_only -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influx:8086
    volumes:
      - /:/rootfs:ro
      - /var/run:/var/run:rw
      - /sys:/sys:ro
      - /var/lib/docker/:/var/lib/docker:ro
      - /sys/fs/cgroup/cpu,cpuacct:/sys/fs/cgroup/cpuacct,cpu:rw
      - /dev/disk/:/dev/disk:ro
    depends_on:
      - influx
    deploy:
      mode: global
 
volumes:
  influx:
    driver: local
  grafana:
    driver: local

部署容器栈
在manager节点上执行如下命令：

docker stack deploy -c docker-stack.yml monitor

命令返回以后并不代表task已经完成部署，需要花一些时间，运行如下命令监控容器栈的部署状态：

docker stack services monitor
如下图所示：

当红框中的数字前后匹配时，代表容器栈完成部署，再执行后序步骤。

创建名称为cadvisor数据库存储数据
执行如下命令，确认monitor_cadvisor服务运行的node:

docker service ps monitor_influx
结果如下图红框所示：

登录worker2结点，执行事下指令创建数据库：

docker exec `docker ps | grep -i influx | awk '{print $1}'` influx
-execute 'CREATE DATABASE cadvisor'

设置Grafana
因为Grafana被部署在了worker1节点上，在浏览器中访问http://192.168.30.40:3000，使用默认的用户名\密码：admin\admin，如下图：

点击"Add data source"添加数据源。如下图所示，按图中红框填写，其它项忽略：

点击"Save &Test"，如果出现"Data source is working"表示数据源添加成功。

增加Dashboard配置。首先从

   1.  https://github.com/botleg/swarm-monitoring/blob/master/dashboard.json
   2.  https://grafana.com/dashboards/1367

下载示例配置文件，如下图所示，按提示上传

配置文件：

至此，docker swarm集群监控系统部署完成，可以实现对宿主机及其上运行的容器的监控。在此基础上可实验其它一些功能，如自义Dashboard、自定义告警规则等。由本示例可以看出，这个方案的关键点是Dashboard配置，配置的好的话显示效果就好，非常灵活。

主机监控dashboard:

https://grafana.com/dashboards/159

redis-export:

 https://github.com/oliver006/redis_exporter/releases

#下载grafana的redis的prometheus-redis_rev1.json模板
wget  https://grafana.com/api/dashboards/763/revisions/1/download
// 在grafana中导入json模板

rabbitmq-export:

2、export部署
// 下载：

https://github.com/kbudde/rabbitmq_exporter/releases

tar -xvf rabbitmq_exporter-0.20.0.linux-amd64.tar.gz
cd rabbitmq_exporter-0.20.0.linux-amd64
RABBIT_USER=guest RABBIT_PASSWORD=guest OUTPUT_FORMAT=JSON PUBLISH_PORT=9099 RABBIT_URL=http://localhost:15672 nohup ./rabbitmq_exporter &

// rabbitmq-dashboard:
 https://grafana.com/dashboards/1165/revisions

mysql-export

wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.9.0/mysqld_exporter-0.9.0.linux-amd64.tar.gz

mysqld_exporter需要连接到Mysql，所以需要Mysql的权限，我们先为它创建用户并赋予所需的权限：

mysql> GRANT REPLICATION CLIENT, PROCESS ON *.* TO 'prom'@'localhost' identified by 'amnt@#*IK<1qaz';
mysql> GRANT SELECT ON performance_schema.* TO 'prom'@'localhost';
mysql> flush privileges;

创建.my.cnf文件并运行mysqld_exporter：

$ cd /usr/local/services/prometheus_exporters
$ cat << EOF > .my.cnf
[client]
user=prom
password=abc123
host=192.168.30.49
EOF
$ nohup /opt/prometheus_exporters/mysqld_exporter -config.my-cnf=".my.cnf" &

$ docker pull prom/mysqld-exporter
mysqld_exporter需要连接到mysql，需要mysql的权限，需要先为他创建用户并赋予所需的权限：

CREATE USER 'mysqlexporter'@'localhost' IDENTIFIED BY 'msyqlexporter';
GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'exporter'@'localhost'
  WITH MAX_USER_CONNECTIONS 3;
然后在docker中运行exporter，其中DATA_SOURCE_NAME是环境变量，用于连接数据库。

$ docker run -d \          
-p 9104:9104 \        
-e DATA_SOURCE_NAME="mysqlexporter:mysqlexporter@(localhost:3306)/data_store" prom/mysqld-exporter
此时再刷下localhost:9090/targets，就可以看到mysql的state转为UP，即已经成功的监测了mysql。

zookeeper

wget https://github.com/carlpett/zookeeper_exporter/releases/download/v1.0.2/zookeeper_exporter