随笔分类 - database
摘要：mysql里面是没有中位数函数可以直接用的，我想了一个巧妙的方法来计算中位数： select wx.mon,round(avg(lots),4)mid_lots from( select ma.mon,ma.lots,row_number() over (partition by ma.mon or
阅读全文
摘要：(1)部署一个mysql,给metabase用 1.configmap,用来配置my.cnf #config-map.yaml apiVersion: v1 kind: ConfigMap metadata: name: mysql-config namespace: ops labels: app
阅读全文
摘要：(1)利用python执行 slowlog_get查询慢日志，写成job,一分钟执行一次，查200条，然后存到mysql,以便时候分析： #!/usr/bin/env python import datetime,time,redis import mysql.connector import py
阅读全文
摘要：写了一个python脚本，然后做成k8s pod,用来监控k8s events: #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2022/1/16 2:21 下午 # @Author : 5sdba # @File : webhook
阅读全文
摘要：(1)metabase之前都是有那个变量{{}}来筛选时间，有个需求，比如弄一个下拉框，可以选，而不是直接再变量框里面输入 需要弄出这种效果,实现如下： 这种不够灵活，但是可以实现筛选，感觉不是很实用
阅读全文
摘要：(1)如有用成熟的监控系统prometheus或者zabbix等开源的监控系统，没必要单独自己写脚本来取值监控，有时兴趣来了写了个简单的脚本，监控mysql与postgres数据库lag: #coding=utf-8 import pymysql,psycopg2 import requests,d
阅读全文
摘要：[2021-08-18 18:58:06] [53100] ERROR: could not resize shared memory segment "/PostgreSQL.2141330937" to 33554432 bytes: No space left on device [2021-
阅读全文
摘要：有时少量数据再excel里面需要把2个sheet用某个列关联查询，补充另外一个列属性，这个再数据库里面直接left join就可以了,学习了下直接用excel的vlookup来关联。 wps的提示还是很友好的，找了下教程就实现了，前提是不管是再一个sheet还是2个sheet,关联的字段要再第一个列
阅读全文
摘要：(1)编写docker-compose主要服务配置文件： version: '3.8' volumes: prometheus_data: {} grafana_data: {} networks: front-tier: back-tier: services: prometheus: image
阅读全文
摘要：#!/usr/bin/env bash webhook='https://oapi.dingtalk.com/robot/send?access_token=xxxx' #dt=`date --date='5 min ago' "+%Y-%m-%d %H:%M:%S"` dt=`date -d '-
阅读全文
摘要：把aws云redis 5.x(不支持慢日志输出到cloudatch)慢日志采集到mysql库，方便查询： table ddl: create table redis_log ( session_id int null, host_ip varchar(100) null, start_time da
阅读全文
摘要：谷歌没有提供钉钉告警之类的，用习惯了钉钉告警的有点不习惯，于是自己研究看文档写了一个。 (1)用谷歌云pub/sub创建日志流 (2)添加pub/sub监控告警订阅消息通知 (3)基于pub/sub消息订阅编写cloud function函数处理实时消息。 脚本日下： ## ## 让读书成为一种生活
阅读全文
摘要：google云的rds不向阿里云那样可以直接下载my.cnf文件，想看默认参数感觉不直观，找了一种方法全部导出来看。 mysql -uroot -hxxxxxx.rds -A -p -e"SHOW GLOBAL VARIABLES;" > my_current.cnf.txt
阅读全文
摘要：使用aws云数据库，慢sql直接接到cloudwatch,不过aws自带的工具要做到实时告警，需要自己把慢日志输出到流，然后写脚本处理不同格式的日志，然后使用sns发送告警，整个过程比较复杂。 #!/usr/bin/env bash #取最近1min cloudwatch 慢日志 logs="/aw
阅读全文
摘要：(1)制作docker镜像： #docker run -i -d --name sdw1 -h sdw1 centos #拉取一个基础镜像，然后在此基础上修改 容器里面操作： #yum install vim wget compat-openssl10 langpacks-en glibc-all-
阅读全文
摘要：正在找可视化查询数据的工具，由于日常sql写的多,就再找有没有工具可以直接写sql就能查出来，果真有一款工具可以写sql opendistro-for-elasticsearch/,之前用浏览器插件ElasticSearch Head,发现不灵活以后，过段换成了这个。 安装的时候遇到了问题，我的是m
阅读全文
摘要：需求： 看某一段时间内，注册的用户7日内留存，比如输入一个时间区间，显示这7日内注册用户总数，然后从第1天到第7天每一天的留存数据。 ## ## 让读书成为一种生活方式。就像吃喝拉撒每天必须要干的事， ## 终有一天你的举止、言谈、气质会不一样。 ## —- 5sdba ## ## Created
阅读全文
摘要：1.修改内存参数，修改io调度，参考gp官方文档 2. 挂载新磁盘，添加fstab 3.root用户配置互信： 1 $ su - 2 # source /usr/local/greenplum-db/greenplum_path.sh 3 # gpssh-exkeys -e /home/gpadmi
阅读全文
摘要：已ec2自建gp连接数监控为例： 编写监控脚本monitor.sh配置文件： 1 #!/usr/bin/env bash 2 . /home/gpadmin/.bashrc 3 export PGPASSWORD=xxxxx 4 home=/home/gpadmin/scripts/ 5 host=
阅读全文
摘要：(1)ec2自建的mongo，把mongostat数据实时输出到cloudwatch,并且做成条形图，方便查看。 首先在装有mongo的ec2机器上安装awslogs,参考，然后根据提示设置采集相关配置。 然后把mongostat数据传到cloudwatch,类似于： mongostat --hos
阅读全文
