2018年12月20日
摘要：
一、Mysql中Left/Right join on后面and和where条件查询的差异 1、建两张测试表，一张商户定义表、一张商户操作状态明细表 1）商户定义表 CREATE TABLE hope.merchant ( MERCHANT_id varchar(100) COLLATE utf8mb 阅读全文
2018年12月20日
2018年12月19日
摘要：
转自：http://ctripmysqldba.iteye.com/blog/1938150 (有修改) MySQL在进行alter table等DDL操作时，有时会出现Waiting for table metadata lock的等待场景。而且，一旦alter table TableA的操作停滞 阅读全文
2018年12月13日
摘要：
一、需求 为了处理从redis中拿到的value，如下 {"appId":"ct","crawlSts":false,"health":"0","heartTime":"2018-12-10 00:23:57","localeIp":"129.204.161.75","loginNo":"13061 阅读全文
摘要：
因需要使用到分区表，在业务不中断的情况下，可以新增分区，需要将原来的Mariadb10.1.25版本升级到Mariadb10.3.8。 1、升级步骤如下 1）新搭建Mariadb10.3.8版本的DB 2）全备份Mariadb10.1.25版本数据（表结构、存储过程、函数、触发器等） 3）将Mari 阅读全文
2018年12月12日
摘要：
1.将字符串的时间转换为时间戳 方法: a = "2013-10-10 23:40:00" 将其转换为时间数组 import time timeArray = time.strptime(a, "%Y-%m-%d %H:%M:%S") 转换为时间戳: timeStamp = int(time.mkt 阅读全文
摘要：
一、Bytes类型 在Python3以后，字符串和bytes类型彻底分开了。字符串是以字符为单位进行处理的，bytes类型是以字节为单位处理的。 bytes数据类型在所有的操作和使用甚至内置方法上和字符串数据类型基本一样，也是不可变的序列对象。 bytes对象只负责以二进制字节序列的形式记录所需记录 阅读全文
摘要：
字典 dict 字典是Python的另一种有序的可变数据结构，且可存储任意类型对象。 字典是一种键值对的数据容器，每个键值(key：value)对用冒号(:)分割，每个对之间用逗号(,)分割，整个字典包括在花括号“{}”中。键和值两者一一对应，与表不同的是，词典的元素没有顺序，不能通过下标引用元素。 阅读全文
摘要：
一、阿里云安装Redis 1、安装Redis yum -y install redis 2、启动Redis service redis start 或者（推荐使用） systemctl start redis.service 3、查看Redis状态 systemctl status redis.se 阅读全文
摘要：
转自：https://github.com/Lede-Inc/cetus Cetus 简介 Cetus是由C语言开发的关系型数据库MySQL的中间件，主要提供了一个全面的数据库访问代理功能。Cetus连接方式与MySQL基本兼容，应用程序几乎不用修改即可通过Cetus访问数据库，实现了数据库层的水平 阅读全文
2018年12月6日
摘要：
业务监控，多线程例子，实现每类个监控项的不同监控间隔。 #coding=utf-8import sysimport pymysqlimport osfrom prometheus_client import Gauge,start_http_serverimport timeimport threa 阅读全文
摘要：
转载自：python--threading多线程总结 threading用于提供线程相关的操作，线程是应用程序中工作的最小单元。python当前版本的多线程库没有实现优先级、线程组，线程也不能被停止、暂停、恢复、中断。 threading模块提供的类： Thread, Lock, Rlock, Co 阅读全文
2018年12月5日
摘要：
转载自 mysql 索引原理及查询优化 https://www.cnblogs.com/panfb/p/8043681.html 潘红伟 mysql 索引原理及查询优化 一 介绍 为何要有索引? 一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们 阅读全文
2018年12月4日
摘要：
一、Update 二、多表关联更新 1）例一 update payee_account a,machine b set a.ACCOUNT_ALIAS=b.MACHINE_NAME where b.line_account = a.login_no; 2）列二 update xcs_user_cre 阅读全文
摘要：
一、安装Matplotlib pip3.5 install matplotlib 二、保存图片 保存的时候要将plt.savefig('./test2.jpg')放到了plt.show()之后，否则保存的为空白图片。 先保存，后展示 import matplotlib.pyplot as plt n 阅读全文
2018年11月30日
摘要：
https://www.jianshu.com/p/18bd6f2dde88 阅读全文
摘要：
一、Face Recognition软件包 我们的人脸识别基于face_recognition库。face_recognition基于dlib实现，用深度学习训练数据，模型准确率高达99.38%。 人脸数字化 人脸识别的第一步是检测照片中的人脸区域，然后将人脸的图像数据转换成一个长度为128的向量， 阅读全文
2018年11月29日
摘要：
有的时候无法使用Oracle自带的OEM监控，那么就需要确定一个监控方案。 此方案，使用Python+Prometheus+Grafana+Oracle 1.监控配置表 -- Create tablecreate table DB_MONITOR_TAB( ID NUMBER, MONITOR_CL 阅读全文
摘要：
参考资料： Python 集合（set） 此脚本用于两个数据库之间的表、列、栏位、索引的差异对比。 cat oracle_diff.py #!/home/dba/.pyenv/versions/3.5.2/bin/python#coding=utf-8import cx_Oracleimport t 阅读全文
摘要：
一、集合(set) 集合也是一种数据类型，一个类似列表的，无序的，不重复的。它主要有两大作用 1.把一个列表变为集合，就自动去重了，不需要写额外的代码 2.关系测试，测试两组数据之间的交际、差集、并集等关系 阅读全文
2018年11月28日
摘要：
一、大量的查询 某些时候，因为SQL的问题，导致数据库的session大量积压，服务器的磁盘读增大，CPU使用率剧增。一般这种SQL，都是一些全表扫描、多表关联、报表或者排序类的SQL。这中情况很有可能，是客户端查询造成的。一般程序里面都会设置客户端查询超时时间，一旦某条SQL查询时间超过了程序设置 阅读全文
摘要：
col TABLESPACE_NAME for a10;col SUM_SPACE for a10;col FREE_SPACE for a10;col USED_SPACE for a10; SELECT * FROM (select * from (select a.TABLESPACE_NAM 阅读全文
摘要：
参考资料： pymysql 单独获取表的栏位名称 pymysql返回数据为字典形式(key:value--列:值) 行列结合，作为prometheus_client的输出。 话不多说，直接上脚本。 cat mysql_ccpay.py #coding=utf-8import sysimport py 阅读全文
2018年11月26日
摘要：
参考资料： https://www.yiibai.com/python_data_science/python_bubble_charts.html 阅读全文
摘要：
参考资料： http://lxw1234.com/archives/2018/03/904.htm https://wenku.baidu.com/view/49ffdf8b77eeaeaad1f34693daef5ef7ba0d120b.html 阅读全文
摘要：
一、配置python虚拟环境，请参考 superset依赖python3.6环境 https://www.cnblogs.com/xibuhaohao/p/9994854.html 二、安装配置superset 参考superset官网 1.安装依赖包 For Fedora and RHEL-der 阅读全文
2018年11月22日
摘要：
一、Oracle dump expdp ALL expdp userid=\'/ as sysdba\' directory=verdmp dumpfile=testdmp_10g.dmp schemas=test reuse_dumpfiles=y version=10.2.0.1.0 当从高版本 阅读全文
摘要：
有时需要获取表的栏位+数值，请参考 https://www.cnblogs.com/xibuhaohao/p/9996571.html 有时只需要栏位名称，那么可以使用 col=self.cursor.description 脚本如下： [dba@wanliu-jx-db-218 monitor]$ 阅读全文
摘要：
有时客户需要流水数据，当导出为excel的时候，客户编号等很长数字的栏位，被excel变成科学记数法，无法正常查看。 因此，需要将Oracle/MySQL中的decimal/int 转 varchar，这样在excel中就可以放心查看了。 Oracle的转换方法： 1.新建表，并插入数据 drop 阅读全文
2018年11月21日
摘要：
一、需求 在数据库的操作中，有时需要直接返回数据库表中的栏位名称+栏位值的key:value这种字典格式的方法。 Python DB-API使用流程: 二、配置方式 1.表的内容如下,获取数据要以id:1,name:rui这种形式 2.程序pymysql连接配置 1）配置如下 [dba@wanliu 阅读全文
摘要：
一、pyenv简介 pyenv 主要用来管理 Python 的版本，比如一个项目需要 Python 2.x ，一个项目需要 Python 3.x 。 pyenv 通过系统修改环境变量来实现 Python 不同版本的切换。 pyenv 它并没有使用将不同的 PATH植入不同的shell这种高耦合的工作 阅读全文
摘要：
MySQL SQL Writing to net Creating sort index StatisticsPreparing 阅读全文
2018年11月19日
摘要：
一、ICP优化原理 Index Condition Pushdown (ICP)，也称为索引条件下推，体现在执行计划的上是会出现Using index condition（Extra列，当然Extra列的信息太多了，只能做简单分析）ICP原理通俗讲就是，查询过程中，直接在查询引擎层的API获取数据的 阅读全文
摘要：
本文出处：http://www.cnblogs.com/wy123/p/7366486.html mysql执行计划中的extra列中表明了执行计划的每一步中的实现细节，其中包含了与索引相关的一些细节信息 其中跟索引有关的using index 在不同的情况下会出现Using index， Usin 阅读全文
2018年11月15日
摘要：
一、adump目录数据暴增现象 发现某台数据库服务器的根目录的使用率在暴涨，发现Oracle数据库的adump目录，每秒生成一个dump文件。数据库并未开通审计外部记录。为什么adump目录会生成那么多的dump文件？ 抽取其中的某个adump文件，文件内容如下： 可以看到，某进程用sysdba登录 阅读全文
2018年11月14日
摘要：
db file sequential read-数据文件顺序读取 db file sequential read-数据文件顺序读取 db file sequential read-数据文件顺序读取 等待事件: "db file sequential read" Reference Note (文档 阅读全文
摘要：
一、Crontab # Example of job definition:# . minute (0 - 59)# | . hour (0 - 23)# | | . day of month (1 - 31)# | | | . month (1 - 12) OR jan,feb,mar,apr . 阅读全文
摘要：
前言 前言 前言 Percona XtraBackup（简称PXB）是 Percona 公司开发的一个用于 MySQL 数据库物理热备的备份工具，支持 MySQl（Oracle）、Percona Server 和 MariaDB，并且全部开源，真可谓是业界良心。我们 RDS MySQL 的物理备份就 阅读全文
摘要：
一、备份策略1.周日全备份，周一至周六增量备份2.全备份目录/u03/backup/innobackup/full_backup3.增量备份目录/u03/backup/innobackup/incremental_1/u03/backup/innobackup/incremental_2/u03/b 阅读全文
摘要：
MySQL备份有逻辑备份与物理备份 逻辑备份有MySQL自带的mysqldump工具 物理备份有开源的Xtrabackup（免费版 ibbackup 热备份） 今天总结一下，mysqldump 该选项在导出数据之前提交一个BEGIN SQL语句，BEGIN 不会阻塞任何应用程序且能保证导出时数据库的 阅读全文
摘要：
一、RMAN全备份 删除不可用的备份： crosscheck backup;delete noprompt expired backup; 删除并过期备份 report obsolete; ##报告备份是否过期，备份是否过期，要根据rman指定的备份策略来衡量，如果未指定备份策略，则此条件不成立de 阅读全文