随笔- 807 文章- 150 评论- 23 阅读- 151万

11 2018 档案

摘要：https://www.jianshu.com/p/18bd6f2dde88 阅读全文

posted @ 2018-11-30 15:14 xibuhaohao 阅读(466) 评论(0) 推荐(0) 编辑

摘要：一、Face Recognition软件包我们的人脸识别基于face_recognition库。face_recognition基于dlib实现，用深度学习训练数据，模型准确率高达99.38%。人脸数字化人脸识别的第一步是检测照片中的人脸区域，然后将人脸的图像数据转换成一个长度为128的向量，阅读全文

posted @ 2018-11-30 11:39 xibuhaohao 阅读(6058) 评论(0) 推荐(0) 编辑

Python Oracle数据库监控

摘要：有的时候无法使用Oracle自带的OEM监控，那么就需要确定一个监控方案。此方案，使用Python+Prometheus+Grafana+Oracle 1.监控配置表 -- Create tablecreate table DB_MONITOR_TAB( ID NUMBER, MONITOR_CL 阅读全文

posted @ 2018-11-29 14:55 xibuhaohao 阅读(2913) 评论(0) 推荐(0) 编辑

Python 数据库之间差异对比

摘要：参考资料： Python 集合（set）此脚本用于两个数据库之间的表、列、栏位、索引的差异对比。 cat oracle_diff.py #!/home/dba/.pyenv/versions/3.5.2/bin/python#coding=utf-8import cx_Oracleimport t 阅读全文

posted @ 2018-11-29 14:32 xibuhaohao 阅读(3091) 评论(0) 推荐(0) 编辑

Python 数据类型--集合（set）

摘要：一、集合(set) 集合也是一种数据类型，一个类似列表的，无序的，不重复的。它主要有两大作用 1.把一个列表变为集合，就自动去重了，不需要写额外的代码 2.关系测试，测试两组数据之间的交际、差集、并集等关系阅读全文

posted @ 2018-11-29 14:23 xibuhaohao 阅读(238) 评论(0) 推荐(0) 编辑

Oracle11g 查询长时间运行的SQL

摘要：一、大量的查询某些时候，因为SQL的问题，导致数据库的session大量积压，服务器的磁盘读增大，CPU使用率剧增。一般这种SQL，都是一些全表扫描、多表关联、报表或者排序类的SQL。这中情况很有可能，是客户端查询造成的。一般程序里面都会设置客户端查询超时时间，一旦某条SQL查询时间超过了程序设置阅读全文

posted @ 2018-11-28 16:20 xibuhaohao 阅读(3777) 评论(0) 推荐(0) 编辑

Oracle11g 表空间使用监控

摘要：col TABLESPACE_NAME for a10;col SUM_SPACE for a10;col FREE_SPACE for a10;col USED_SPACE for a10; SELECT * FROM (select * from (select a.TABLESPACE_NAM 阅读全文

posted @ 2018-11-28 16:07 xibuhaohao 阅读(897) 评论(0) 推荐(0) 编辑

Python3.5+SQL+Prometheus+Grafana报表/监控

摘要：参考资料： pymysql 单独获取表的栏位名称 pymysql返回数据为字典形式(key:value--列:值) 行列结合，作为prometheus_client的输出。话不多说，直接上脚本。 cat mysql_ccpay.py #coding=utf-8import sysimport py 阅读全文

posted @ 2018-11-28 15:54 xibuhaohao 阅读(1500) 评论(0) 推荐(0) 编辑

python 数据科学

摘要：参考资料： https://www.yiibai.com/python_data_science/python_bubble_charts.html 阅读全文

posted @ 2018-11-26 18:59 xibuhaohao 阅读(147) 评论(0) 推荐(0) 编辑

Superset 制作图表

摘要：参考资料： http://lxw1234.com/archives/2018/03/904.htm https://wenku.baidu.com/view/49ffdf8b77eeaeaad1f34693daef5ef7ba0d120b.html 阅读全文

posted @ 2018-11-26 18:48 xibuhaohao 阅读(676) 评论(0) 推荐(0) 编辑

superset 安装配置

摘要：一、配置python虚拟环境，请参考 superset依赖python3.6环境 https://www.cnblogs.com/xibuhaohao/p/9994854.html 二、安装配置superset 参考superset官网 1.安装依赖包 For Fedora and RHEL-der 阅读全文

posted @ 2018-11-26 16:49 xibuhaohao 阅读(1895) 评论(0) 推荐(0) 编辑

Oracle11g dump 部分参数解读

摘要：一、Oracle dump expdp ALL expdp userid=\'/ as sysdba\' directory=verdmp dumpfile=testdmp_10g.dmp schemas=test reuse_dumpfiles=y version=10.2.0.1.0 当从高版本阅读全文

posted @ 2018-11-22 20:26 xibuhaohao 阅读(719) 评论(0) 推荐(0) 编辑

pymysql 单独获取表的栏位名称

摘要：有时需要获取表的栏位+数值，请参考 https://www.cnblogs.com/xibuhaohao/p/9996571.html 有时只需要栏位名称，那么可以使用 col=self.cursor.description 脚本如下： [dba@wanliu-jx-db-218 monitor]$ 阅读全文

posted @ 2018-11-22 20:01 xibuhaohao 阅读(972) 评论(0) 推荐(0) 编辑

Oracle/MySQL decimal/int/number 转字符串

摘要：有时客户需要流水数据，当导出为excel的时候，客户编号等很长数字的栏位，被excel变成科学记数法，无法正常查看。因此，需要将Oracle/MySQL中的decimal/int 转 varchar，这样在excel中就可以放心查看了。 Oracle的转换方法： 1.新建表，并插入数据 drop 阅读全文

posted @ 2018-11-22 16:23 xibuhaohao 阅读(4989) 评论(0) 推荐(0) 编辑

pymysql 返回数据为字典形式(key:value--列:值)

摘要：一、需求在数据库的操作中，有时需要直接返回数据库表中的栏位名称+栏位值的key:value这种字典格式的方法。 Python DB-API使用流程: 二、配置方式 1.表的内容如下,获取数据要以id:1,name:rui这种形式 2.程序pymysql连接配置 1）配置如下 [dba@wanliu 阅读全文

posted @ 2018-11-21 17:45 xibuhaohao 阅读(7029) 评论(0) 推荐(0) 编辑

python 虚拟环境 pyenv

摘要：一、pyenv简介 pyenv 主要用来管理 Python 的版本，比如一个项目需要 Python 2.x ，一个项目需要 Python 3.x 。 pyenv 通过系统修改环境变量来实现 Python 不同版本的切换。 pyenv 它并没有使用将不同的 PATH植入不同的shell这种高耦合的工作阅读全文

posted @ 2018-11-21 14:29 xibuhaohao 阅读(3141) 评论(0) 推荐(0) 编辑

netstat 问题处理

摘要：MySQL SQL Writing to net Creating sort index StatisticsPreparing 阅读全文

posted @ 2018-11-21 00:42 xibuhaohao 阅读(193) 评论(0) 推荐(0) 编辑

MySQL 中Index Condition Pushdown (ICP 索引条件下推)和Multi-Range Read（MRR 索引多范围查找）查询优化

摘要：一、ICP优化原理 Index Condition Pushdown (ICP)，也称为索引条件下推，体现在执行计划的上是会出现Using index condition（Extra列，当然Extra列的信息太多了，只能做简单分析）ICP原理通俗讲就是，查询过程中，直接在查询引擎层的API获取数据的阅读全文

posted @ 2018-11-19 10:45 xibuhaohao 阅读(339) 评论(0) 推荐(0) 编辑

MySQL执行计划extra中的using index 和 using where using index 的区别

摘要：本文出处：http://www.cnblogs.com/wy123/p/7366486.html mysql执行计划中的extra列中表明了执行计划的每一步中的实现细节，其中包含了与索引相关的一些细节信息其中跟索引有关的using index 在不同的情况下会出现Using index， Usin 阅读全文

posted @ 2018-11-19 10:17 xibuhaohao 阅读(356) 评论(0) 推荐(0) 编辑

Oracle 11g 在audit_file_dest目录下产生大量的aud文件

摘要：一、adump目录数据暴增现象发现某台数据库服务器的根目录的使用率在暴涨，发现Oracle数据库的adump目录，每秒生成一个dump文件。数据库并未开通审计外部记录。为什么adump目录会生成那么多的dump文件？抽取其中的某个adump文件，文件内容如下：可以看到，某进程用sysdba登录阅读全文

posted @ 2018-11-15 11:55 xibuhaohao 阅读(5641) 评论(0) 推荐(0) 编辑

Oracle 等待事件 db file sequential read

摘要：db file sequential read-数据文件顺序读取 db file sequential read-数据文件顺序读取 db file sequential read-数据文件顺序读取等待事件: "db file sequential read" Reference Note (文档阅读全文

posted @ 2018-11-14 18:22 xibuhaohao 阅读(4619) 评论(0) 推荐(0) 编辑

Linux Crontab

posted @ 2018-11-14 16:18 xibuhaohao 阅读(196) 评论(0) 推荐(0) 编辑

MySQL 物理备份 Percona XtraBackup 备份原理

摘要：前言前言前言 Percona XtraBackup（简称PXB）是 Percona 公司开发的一个用于 MySQL 数据库物理热备的备份工具，支持 MySQl（Oracle）、Percona Server 和 MariaDB，并且全部开源，真可谓是业界良心。我们 RDS MySQL 的物理备份就阅读全文

posted @ 2018-11-14 15:02 xibuhaohao 阅读(372) 评论(0) 推荐(0) 编辑

MySQL 数据库备份策略：全备与增量备份

摘要：一、备份策略1.周日全备份，周一至周六增量备份2.全备份目录/u03/backup/innobackup/full_backup3.增量备份目录/u03/backup/innobackup/incremental_1/u03/backup/innobackup/incremental_2/u03/b 阅读全文

posted @ 2018-11-14 12:02 xibuhaohao 阅读(1645) 评论(0) 推荐(0) 编辑

MySQL Dump

摘要：MySQL备份有逻辑备份与物理备份逻辑备份有MySQL自带的mysqldump工具物理备份有开源的Xtrabackup（免费版 ibbackup 热备份）今天总结一下，mysqldump 该选项在导出数据之前提交一个BEGIN SQL语句，BEGIN 不会阻塞任何应用程序且能保证导出时数据库的阅读全文

posted @ 2018-11-14 11:50 xibuhaohao 阅读(474) 评论(0) 推荐(0) 编辑

Oracle数据库备份策略：全备与增量备份

摘要：一、RMAN全备份删除不可用的备份： crosscheck backup;delete noprompt expired backup; 删除并过期备份 report obsolete; ##报告备份是否过期，备份是否过期，要根据rman指定的备份策略来衡量，如果未指定备份策略，则此条件不成立de 阅读全文

posted @ 2018-11-14 10:45 xibuhaohao 阅读(14228) 评论(4) 推荐(1) 编辑

MariaDB Role

摘要：一、MariaDB Role介绍 MariaDB从10.0/10.1版本开始支持role。 Role相当于各种权限的集合，可以给多个账户统一权限的修改直接通过修改role来实现，不需要每个账户一个一个的grant权限，方便运维和管理。role可以创建、删除、修改并作用到他管理的账户上。 Role优点阅读全文

posted @ 2018-11-13 15:32 xibuhaohao 阅读(513) 评论(0) 推荐(0) 编辑

MySQL/MariaDB 版本选择

摘要：ALPHA、BETA、Release Candidate（RC）、Release、GA等版本号的意义 MySQL数据库会存在很多版本，在这么多的版本中，我们如何进行选择，那么，首先我们要了解各个版本号所代表的意思。一、Alpha Alpha是内部测试版,一般不向外部发布,会有很多Bug.除非你也是阅读全文

posted @ 2018-11-13 10:04 xibuhaohao 阅读(4929) 评论(0) 推荐(0) 编辑

Linux查看某个进程的磁盘IO读写情况 pidstat

摘要：一、现象 1）钉钉告警不断，告警如下CPU使用达到100% 普罗米修斯监控 2）查看数据库，没有发现比平时同一时段，业务量的增加。但是，数据库显示latch free等告警，验证了CPU使用过高导致。 3）Linux系统 vmstat 1查看系统负载，发现us、sy很高，加起来达到100%。而且，i 阅读全文

posted @ 2018-11-12 15:18 xibuhaohao 阅读(18661) 评论(0) 推荐(0) 编辑

Oracle 11gR2 Database UNDO表空间使用率居高不下处理

摘要：一、UNDO表空间监控图 Prometheus监控的到UNDO表空间使用率超过90%(90%为所有表空间告警阈值)。从图中可以看到，多次增加UNDO表空间的DATAFILE，UNDO表空间达到40GB，没过多久UNDO使用率又会超过90% 二、查看UNDO块的使用情况 select s.STATUS 阅读全文

posted @ 2018-11-08 12:01 xibuhaohao 阅读(1620) 评论(0) 推荐(0) 编辑

Linux十字病毒查杀处理

摘要：之前处理过一次十字病毒，但未好好整理处理过程，现在转载一篇来自51cto的文章。转自：http://blog.51cto.com/ixdba/2163018 十字符病毒，杀不死的小强，一次云服务器沦陷实录一、现象接到客户的电话，说自己的云服务器被提供商禁止访问了，原因是监测到网络流量暴满，服务阅读全文

posted @ 2018-11-08 11:33 xibuhaohao 阅读(1880) 评论(0) 推荐(0) 编辑

MySQL字符集与校对

摘要：一、什么是字符集与校对 1.字符集与校对字符集是指一种从二进制编码到某种字符符号的映射。校队是指一组用于某个字符集的配许规则。 2.utf8与utf8mb4 标准的UTF-8字符集编码是可以使用1-4个字节去编码21位字符，这几乎包含了世界上所有能看见的语言。MySQL里面实现的utf8最长使用阅读全文

posted @ 2018-11-08 11:19 xibuhaohao 阅读(282) 评论(0) 推荐(0) 编辑