随笔分类 - python
摘要：k8s的ingress日志用fluent bit收集写入es,然后读取es里面nginx日志，匹配关键条件触发告警，例如匹配nginx日志里面path包含xxx，触发告警： import requests,json,pytz from requests.auth import HTTPBasicAu
阅读全文
摘要：我这里方法是定时读取processlist列表，执行时间超过5s的，推送钉钉消息，每10s轮询一次。 #!/usr/bin/env python import mysql.connector import pytz import time,hashlib,hmac,urllib,base64,dat
阅读全文
摘要：我们k8s前期没有配置hpa,events经常出现oom,比如： 然后排查问题就需要通过这个pid，去找是哪个pod，开始的方法是： 首先看哪个node资源紧张，以后再一系列命令最终才找到是哪个pod,特别麻烦，后面我就找到了一个比较简单的方法： 直接列出pod状态发生改变的时间依次列出来，这样就能
阅读全文
摘要：需求：取k8s上的nginx日志状态码日志大于500，且请求次数超过10次，发钉钉告警(1)gcp上nginx日志都在logging服务里面，用日志路由器流到bigquery里面，然后写脚本每分钟运行一次，获取最近5min日志，存在则发钉钉： py脚本: #!/usr/bin/env pythonf
阅读全文
摘要：(1)利用python执行 slowlog_get查询慢日志，写成job,一分钟执行一次，查200条，然后存到mysql,以便时候分析： #!/usr/bin/env python import datetime,time,redis import mysql.connector import py
阅读全文
摘要：写了一个python脚本，然后做成k8s pod,用来监控k8s events: #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2022/1/16 2:21 下午 # @Author : 5sdba # @File : webhook
阅读全文
摘要：(1)如有用成熟的监控系统prometheus或者zabbix等开源的监控系统，没必要单独自己写脚本来取值监控，有时兴趣来了写了个简单的脚本，监控mysql与postgres数据库lag: #coding=utf-8 import pymysql,psycopg2 import requests,d
阅读全文
摘要：（1）谷歌云monitoring服务里面创建自定义查询，发送到日志接收器，过滤gke日志如下： （2）日志接收器选一个类似kafka的组件(pub/sub),然后针对那个topic创建消息订阅，再其创建日志触发器(python脚本)，产生一条日志，就会实时发送到kakfa,然后被订阅者消费，同时触发
阅读全文
摘要：把aws云redis 5.x(不支持慢日志输出到cloudatch)慢日志采集到mysql库，方便查询： table ddl: create table redis_log ( session_id int null, host_ip varchar(100) null, start_time da
阅读全文
摘要：谷歌没有提供钉钉告警之类的，用习惯了钉钉告警的有点不习惯，于是自己研究看文档写了一个。 (1)用谷歌云pub/sub创建日志流 (2)添加pub/sub监控告警订阅消息通知 (3)基于pub/sub消息订阅编写cloud function函数处理实时消息。 脚本日下： ## ## 让读书成为一种生活
阅读全文
摘要：import redis import time pool=redis.ConnectionPool(host='xxxxxxx', port=6379, max_connections=100) r = redis.StrictRedis(connection_pool=pool) def del
阅读全文
摘要：## ## 让读书成为一种生活方式。就像吃喝拉撒每天必须要干的事， ## 终有一天你的举止、言谈、气质会不一样。 ## —- async ## ## Created Date: Sunday, 2021-03-25, 9:48:04 am ## copyright (c): WHHL Tech. L
阅读全文
摘要：正在找可视化查询数据的工具，由于日常sql写的多,就再找有没有工具可以直接写sql就能查出来，果真有一款工具可以写sql opendistro-for-elasticsearch/,之前用浏览器插件ElasticSearch Head,发现不灵活以后，过段换成了这个。 安装的时候遇到了问题，我的是m
阅读全文
摘要：(1)AWS添加sns，略过 (2)添加自定义webhook钉钉机器人，略过。 (3)编写lambda函数脚本，利用cloudwatch触发告警。 # -*- coding: utf-8 -*- import json import os import re import datetime from
阅读全文
摘要：比如配置文件： -- config.ini: [mysql_133] db_port = 33601 db_user = xxxx db_host = 172.18.1.x db_pass = xxx db_name=xxx py读取数据库信息执行存储过程： #!/usr/bin/env pytho
阅读全文
