linux环境下监控docker进程运行情况,使用钉钉群机器人报警异常服务
背景:在linux环境下,很多服务我们都使用docker来跑,很是方便,容器服务独立,配置独立,数据独立等等,但是有个问题,就是如果某个服务异常了,暂停了,停止了,一直重启中,我们要怎么及时的知道是哪个服务,并进行处理,保证业务正常运行。
本文主要介绍使用docker服务自带的一些命令来实现一个基本的监控,并通过钉钉群机器人发送消息。
命令1
docker ps //列出所有正在运行中的服务,注意,暂停,停止等状态的服务是不会被列出的
命令2
docker ps -a //会列出当前服务器中所有的容器,无论状态是什么
命令3
docker ps -f //使用过滤器来过滤输出,此处我们以STATUS字段为例,它可能有的值如下:
-created(已创建)
-restarting(重启中)
-running(运行中)
-removing(迁移中)
-paused(暂停)
-exited(停止)
-dead(死亡)
步骤:
1、列出所有运行中的服务
2、停止redis1服务
3、暂停redis2服务
4、查看停止状态的服务
5、查看暂停状态的服务
但是这样显示出来的信息有点多,不够简洁,如果我只想显示我启动服务的时候的自定义名称呢,可以不
命令4
docker ps -f status=exited --format {{.Names}} //先过滤一遍状态,然后再格式化Names字段,还有其他字段也支持格式化的:
.Image 镜像的ID
.Command 容器启动的命令
.CreatedAt 创建容器的时间点
.RunngingFor 从容器创建到现在过去的时间
.Ports 暴露的端口
.Status 容器的状态
.Size 容器硬盘的大小
.Names 容器的名称
.Label 指定label的值
.Mounts 挂载到这个容器的数据卷名称
看,只显示了名称了是不是,这里说一下哈,字段名的大小写问题
结论1:-f 后面的参数,大小写都可以
结论2:--format大括号里面的参数,必须按规定来
命令5
docker info //查看整个docker服务运行的情况,配置等信息,篇幅问题,只截图了一大部分哈
重点说一下划线的地方,这里把容器总数量,运行中的,暂停中的,停止中的都统计出来了
我们对比一下,运行中的3个,暂停中的1个,停止的1个,完美匹配。
命令6
docker info --format '{{.Containers}}' //从info内容中提取Containers的值
1、统计全部
2、统计运行中的
3、停止redis1
4、暂停redi2
5、统计运行中的
6、统计暂停的
7、统计停止的
通过以上的一些命令的组合应用,就可以做一个基本的docker服务运行监控,我贴出我的思路,欢迎指正哈!
#!/bin/bash
#名称:docker容器服务运行的进程监控
#原理:如果所有容器服务数量 > 正在运行中的服务数量,则表示有服务异常,可能是暂停了,停止了,退出了,重启中,发消息到钉钉群
#运行:使用crond任务自定义时间自动运行
#日期:2023-08-15
#所有容器服务数量 docker_ps_a=$(docker info --format '{{.Containers}}') #echo $docker_ps_a #运行中的容器服务数量 docker_runing=$(docker info --format '{{.ContainersRunning}}') #echo $docker_runing if [ $docker_ps_a -gt $docker_runing ]; then #已停止的 docker_stop=$(docker ps -f status=exited --format {{.Names}}) #已暂停的 docker_paused=$(docker ps -f status=paused --format {{.Names}}) #重启中的 docker_restarting=$(docker ps -f status=restarting --format {{.Names}}) #通知时间 notice_time=`date +"%Y-%m-%d %H:%M:%S"` #把所有异常的服务合并起来 docker_abnormal=$notice_time"\r\n====已停止服务====\r\n"$docker_stop"\r\n====已暂停服务====\r\n"$docker_paused"\r\n====重启中服务====\r\n"$docker_restarting
#发送钉钉群机器人推送消息
curl 'https://oapi.dingtalk.com/robot/send?access_token=ACCESS_TOKEN' \
-H 'Content-Type: application/json' \
-d '{"at": {"isAtAll":true},"msgtype": "text","text": {"content":"【docmonitor通知】\r\n\r\n'"${docker_abnormal}"'"}}'
else
echo 'docker容器所有服务,一切正常'
fi
#!/bin/bash #名称:docker容器服务运行的进程监控 #原理:如果检测到有自动重复重启中的服务,则表示有服务异常,发消息到钉钉群 #运行:使用crond任务自定义时间自动运行 #日期:2023-08-15 #检测重启中的服务 docker_restarting=$(docker ps -f status=restarting --format {{.Names}}) #检测到有重启中的服务 if [ ! -z "$docker_restarting" ]; then #通知时间 notice_time=`date +"%Y-%m-%d %H:%M:%S"` #把时间和异常的服务合并起来 docker_abnormal=$notice_time"\r\n====重启中服务====\r\n"$docker_restarting #echo $docker_abnormal #发送推送消息 token="xxx" curl 'https://oapi.dingtalk.com/robot/send?access_token='"${token}"'' \
-H 'Content-Type: application/json' \
-d '{"at": {"isAtAll":true},"msgtype": "text","text": {"content":"####docmonitor通知####\r\n\r\n'"${docker_abnormal}"'"}}' else echo 'docker容器服务,没有正在重启中的服务' fi
通知效果如下:
钉钉群机器人的配置,我这里就不做说明了,直接按钉钉文档走就可以了,自定义机器人接入:https://open.dingtalk.com/document/robots/custom-robot-access