随笔- 807
文章- 150
评论- 23
阅读-
151万
01 2020 档案
Python 可视化篇：流式数据监控（转载）
摘要：其中： 1.python是2.X版本 2.提供两种实现思路，一是基于matplotlib的animation，一是基于matplotlib的ion 全篇目录为： 一、一点构思二、matplotlib animation实现思路 （一）、骨架与实时更新 （二）、animation的优缺点三、matpl
阅读全文
CentOS7 5 ansible playbook 示例
摘要：一、playbook playbooks是一个不同于使用Ansible命令行执行方式的模式，其功能更强大灵活。简单来说，playbook是一个非常简单的配置管理和多主机部署系统，不同于任何已经存在的模式，可作为一个适合部署复杂应用程序的基础。Playbook可以定制配置，可以按照指定的操作步骤有序执
阅读全文
CentOS7 3 模块介绍 ansible
摘要：ansible模块较多，对应可以查看相关文档，此处列出一下日常工作中常用的模块 【copy】模块 ansible agent -m copy -a "src=/root/test.sh dest=/tmp" 【file】 调用-s 参数，需要客户端能够无密码使用sudo命令； ansible age
阅读全文
CentOS7 2 配置 ansible
摘要：一、修改ansible配置文件 1、配置ansible配置文件 inventory = /etc/ansible/hosts #定义资源清单inventory文件的位置，一般保持默认library = /usr/share/my_modules/ #library指向ansible模块的目录，一般保
阅读全文
Linux下离线安装python项目的依赖包 (转载)
摘要：第一步 新建一个site-packages文件夹，把python项目有需要的依赖包名称导出到site-packages下的requirements.txt中 $ pip3 freeze > requirements.txt 第二步 下载python项目需要的所有的依赖包pip3 download -
阅读全文
CentOS7 1 安装 ansible
摘要：一、下载ansible源码 https://releases.ansible.com/ansible/ 二、使用python安装ansible 1、安装ansible的python依赖包 pip3 install paramiko PyYAML jinja2 2、安装ansible mkdir /u
阅读全文
CentOS7 prometheus +node_exporter+Grafana 配置篇（原创）
摘要：一、配置prometheus 1、修改配置文件 [root@mongodb05 cfg]# cat prometheus.yml# my global configglobal: scrape_interval: 15s # Set the scrape interval to every 15 s
阅读全文
CentOS7 prometheus +node_exporter+Grafana 安装篇
摘要：一、prometheus下载与安装 1、下载 https://prometheus.io/download/ 2、安装 上传prometheus-2.15.2.linux-amd64.tar.gz tar -xvf prometheus-2.15.2.linux-amd64.tar.gz mkdir
阅读全文
Oracle 查询重复记录 只保留一条 （转载）
摘要：1、查找表中多余的重复记录，重复记录是根据单个字段（Id）来判断 select * from 表 where Id in (select Id from 表 group byId having count(Id) > 1) 2、删除表中多余的重复记录，重复记录是根据单个字段（Id）来判断，只留有ro
阅读全文
MySQL 查询重复数据（转载）
摘要：sql 查出一张表中重复的所有记录数据 1.表中有id和name 两个字段，查询出name重复的所有数据 ? 1 select * from xi a where (a.username) in (select username from xi group by username having co
阅读全文
Mongodb 查询重复数据（转载）
摘要：例如有以下集合users： { "_id" : 1, "openid" : "ojQrH5X-V1asIS7uAk2iL-m6azro" },{ "_id" : 2, "openid" : "ojQrH5dwrqiv3O4zgZLWp43dBAa4" },{ "_id" : 3, "openid"
阅读全文
Python报错：pymongo.errors.CursorNotFound: Cursor not found
摘要：python报错：pymongo.errors.CursorNotFound: Cursor not found 背景： 从数据库中取得所有数据 db['test'].find（{}，{_id:0}），然后对结果进行for循环 demos = db['demo'].find({},{"_id": 0
阅读全文
百万级高并发MongoDB集群性能数十倍提升优化实践（上篇）
摘要：1. 背景 线上某集群峰值TPS超过100万/秒左右(主要为写流量，读流量很低)，峰值tps几乎已经到达集群上限，同时平均时延也超过100ms，随着读写流量的进一步增加，时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构，数据均衡的分布于各个分片中，添加片键启用分片功能后实现完美
阅读全文
OPPO百万级高并发mongodb集群性能数十倍提升优化实践(下篇) 转载
摘要：mongodb内核、wiredtiger存储引擎、rocksdb存储引擎相关源码分析详见(后续持续更新): https://github.com/y123456yz/reading-and-annotate-mongodb-3.6.1 前言 温馨提示：在进行本下篇优化文章阅读前，可以提前了解下《百万
阅读全文
Oracle 常见等待事件及处理方法
摘要：我们可以通过视图v$session_wait来查看系统当前的等待事件，以及与等待事件相对应的资源的相关信息 看书笔记db file scattered read DB ,db file sequential read DB,free buffer waits,log buffer space,log
阅读全文
MongoDB 聚合查询 $unwind
摘要：在aggregate中，常常会遇到一些字段属性是数组对象，然后又需要对这些数组对象进行统计。这时候就需要用到$unwind操作符。这是一个常用的，又容易被忽略的一个操作。 定义 field 版 { $unwind: <field path> } document版 { $unwind: { path
阅读全文
Python - 判断list是否为空
摘要：Python中判断list是否为空有以下两种方式： 方式一： 1 list_temp = [] 2 if len(list_temp): 3 # 存在值即为真 4 else: 5 # list_temp是空的 方式二： 1 list_temp = [] 2 if list_temp: 3 # 存在值
阅读全文
python 字典、列表、字符串 之间的转换（转载）
摘要：1、列表与字符串转换 列表转字符串： 将列表中的内容拼接成一个字符串 将列表中的值转成字符串 字符串转列表： 用eval转换 将字符串每个字符转成列表中的值 将字符串按分割成列表 2、列表与字典转换 列表转字典： 将两个列表转成字典 将嵌套列表转为字典 字典转列表： 字典中键、值转为列表 3、字典与
阅读全文
PostgreSql 序列
摘要：什么是PostgreSql：https://www.postgresql.org/about/ 有关PostgreSql序列使用：https://www.cnblogs.com/alianbog/p/5654604.html 按照以往Oracle建表的流程，我们来新建表，并且向表中导入数据。 1.创
阅读全文
Python pip install
摘要：wget https://bootstrap.pypa.io/get-pip.py --no-check-certificate python get-pip.py python -V
阅读全文
Linux socket.error: [Errno 99] Cannot assign requested
摘要：Python 使用 from pymongo import MongoClient 连接mongodb，由于没有关闭连接，导致 netstat -alnt|wc -l达到几万个 socket.error: [Errno 99] Cannot assign requested address 网上你去
阅读全文
MongoDB db.currentOp db.killOp（转载）
摘要：好久没更新mongo运维这块知识了，这次介绍 db.currentOp与db.killOp命令 数据库优化方法有很多，但所有数据库优化都离不开慢查询优化。mysql、mongodb都可以开启慢查询，来对数据库查询进行分析。开启慢查询日志，对性能会有一定的影响。mongoDB 有时我们只想临时看下慢查
阅读全文
MongoDB projection字段筛选
摘要：字段筛选语法 db.users.find({},{projection}) 例子： db.users.find({user:"tom",time:{$gte:"20191111000000",$lte:"20191112000000"}},{name:1,_id:0}) 只显示name，不显示_id
阅读全文
MongoDB 最佳实践（转载）
摘要：前言 作为MongoDB的一名方案架构师，我的大部分时间都是在和MongoDB的客户和用户交互。在这里，我希望通过一个不断更新的活文章的方式来为大家收集整理一下MongoDB开发及维护时候值得了解或者遵从的一些最佳实践。我非常真切地希望您也可以参与进来，共同维护这个文档，让更多的用户受惠(可以通过文
阅读全文
MongoDB 后台创建索引、查看创建进度等（转载）
摘要：一、索引创建方式 前台方式 缺省情况下，当为一个集合创建索引时，这个操作将阻塞其他的所有操作。即该集合上的无法正常读写，直到索引创建完毕任意基于所有数据库申请读或写锁都将等待直到前台完成索引创建操作 后台方式将索引创建置于到后台，适用于那些需要长时间创建索引的情形这样子在创建索引期间，MongoDB
阅读全文
Python list 列表统计元素个数
摘要：利用字典统计利用pandas统计利用Counter类统计1：方法一data = [1,2,3,4,2,3,4,2,3,4,5,6,6,4,4,5,6,7,4]data_dict = {}for key in data: data_dict[key] = data_dict.get(key,0) +
阅读全文
Python list 去重
摘要：1、直观方法 li=[1,2,3,4,5,1,2,3]new_li=[]for i in li: if i not in new_li: new_li.append(i)print(new_li)123456 总结：这样可以做出来，但是效率不行。但是此方法保证了列表的顺序性。 2、利用set的自动去
阅读全文
Python中处理日期时间库的使用方法（转载）
摘要：转载链接：https://www.cnblogs.com/sunshine-blog/p/8477893.html 《本文来自公众号“大邓带你玩python”，转载》 用百分之20时间，学会解决百分之80的问题。 常用的库有time、datetime。其中datetime库是对time库的封装，所以
阅读全文
