随笔- 807
文章- 150
评论- 23
阅读-
151万
12 2019 档案
MySQL Percona Xtrabackup8.0
摘要：一、Percona Xtrabackup概述 Percona XtraBackup是世界上唯一一款开源的免费MySQL热备份软件，可以为InnoDB和XtraDB数据库执行非阻塞备份。 使用Percona XtraBackup，您可以获得以下好处： 快速可靠地完成备份 备份期间不间断的事务处理 节省
阅读全文
MongoDB 集群搭建注意事项
摘要：1、分片 分片的含义是指将数据拆分，将其分散存放在不同的机器上的过程，MongoDB的分片机制允许你创建一个包含许多台机器的集群，将数据子集分散在集群中，每一个分片维护着一个数据集合的子集。与单机服务器和副本集相比，使用分片集群架构可以使应用程序具有更大的数据处理能力。 备注：每一个分片都是由一个副
阅读全文
Mongodb 默认内存太大
摘要：mongodb占用内存太大解决办法 在使用MongoDB的时候遇到了一个内存占用的问题，爬虫爬过来的图片在库中存的是网络地址，要写一个脚本对图片进行分批下载，所以会对MongoDB频繁查询。发现使用过程中mongod的服务占用了40.5%的内存查看相关资料得知3.4版本后，内存默认使用的是(系统内存
阅读全文
MySQL 主从复制原理解析（转载）
摘要：MySQL的主从复制是一个异步的复制过程（虽然一般情况下感觉是实时的），数据将从一个MySQL数据库复制到另一个MySQL数据库，在master与Slave之间实现整个主从复制的过程是有三个线程参与完成的。其中两个线程（SQL线程和IO线程）在slave端，另一个线程（I/O线程）在master端。
阅读全文
MySQL show engine innodb status 解读（转载）
摘要：可将show engine innodb status写入error log中 开启参数： innodb_status_output InnoDB是MySQL使用最多的存储引擎，通常InnoDB状态可以通过show engine innodb status\G查看。 由于MySQL不同版本采用I
阅读全文
MYSQL show engine innodb status 这么多年，你真的都懂？
摘要：转载：https://cloud.tencent.com/developer/article/1507132 Show engine innodb status 这个命令估计搞MYSQL的听见这个，第一个反应就是烂大街了。这个命令不会你就快回家吧？ OK 那show engine innodb st
阅读全文
Python pymongo 中文乱码问题
摘要：原文地址：http://windkeepblow.blog.163.com/blog/static/1914883312013988185783/ 如题，其实我的问题很简单，就是在写爬虫的时候拿到网页的信息包含类似“\u65b0\u6d6a\u5fae\u535a\u6ce8\u518c”的字符串，
阅读全文
Python 进程与进程池
摘要：1、进程池介绍 开多进程的目的是为了并发，如果有多核，通常有几个核就开几个进程，进程开启过多，效率反而会下降（开启进程是需要占用系统资源的，而且开启多余核数目的进程也无法做到并行），但很明显需要并发执行的任务要远大于核数，这时我们就可以通过维护一个进程池来控制进程数目，比如httpd的进程模式，规定
阅读全文
MongoDB SyntaxError: Non-ASCII character '\xe4' in file test1.py on line 8, but no encoding declared;
摘要：SyntaxError: Non-ASCII character '\xe4' in file test1.py on line 8, but no encoding declared; python脚本内容 1、原因 Python默认是以ASCII作为编码方式的，需要在文件开头设置一下编码 2、解
阅读全文
MongoDB 查看索引被引用次数
摘要：$indexStats 返回数据集合的每个索引的使用情况。 语法: { $indexStats: { } } db.trs_holographic_info.aggregate( [ { $indexStats: { } } ] )
阅读全文
MongoDB 3.0新增的压缩选项（转载）
摘要：原文链接：https://www.askmaclean.com/archives/new-compression-options-mongodb-30.html MongoDB3.0对WiredTiger存储引擎引入了压缩功能。在本文中，我们将观察不同选项，并举例说明这个功能如何运行。由于情况因人而
阅读全文
Linux vmstat
摘要：r b swpd free buff 读 cache 写 si so bi 写入内存（从磁盘写入内存） 读 bo 从内存出（从内存写出到磁盘）写 in cs
阅读全文
Mongodb按照日期分组统计
摘要：目录 1.使用时间格式化方法 2.进行时间补偿（默认当前时区是东八区，即8x3600x1000=28800000） mongodb的默认时间是格林尼治时间，如果是要按照日期进行分组需要注意！！！。 解决方案： 1.使用时间格式化方法 Aggregation.project().and("create
阅读全文
MongoDB executionStats 详细分步查询计划与分步时间 explain("executionStats")（转载）
摘要：mongodb性能分析方法：explain() 为了演示的效果，我们先来创建一个有200万个文档的记录。（我自己的电脑耗了15分钟左右插入完成。如果你想插更多的文档也没问题，只要有耐心等就可以了。） 1 for(var i=0;i<2000000;i++){ 2 db.person.insert({
阅读全文
centos下使用yum 安装pip
摘要：首先安装epel扩展源： sudo yum -y install epel-release 然后再安装pip yum -y install python-pip
阅读全文
python 日期、时间、字符串相互转换（转载）
摘要：原文链接：https://www.cnblogs.com/huhu-xiaomaomi/p/10338472.html 在python中，日期类型date和日期时间类型dateTime是不能比较的。 （1）如果要比较，可以将dateTime转换为date，date不能直接转换为dateTime im
阅读全文
python 当前时间多加一天、一小时、一分钟（转载）
摘要：首先看下，datetime的使用 import datetime >>> print datetime.datetime.now() 2017-07-15 15:01:24.619000 格式化时间 >>> print datetime.datetime.now().strftime("%Y-%m-
阅读全文
MongoDB干货系列2-MongoDB执行计划分析详解（2）（转载）
摘要：写在之前的话 作为近年最为火热的文档型数据库，MongoDB受到了越来越多人的关注，但是由于国内的MongoDB相关技术分享屈指可数，不少朋友向我抱怨无从下手。 《MongoDB干货系列》将从实际应用的角度来进行MongoDB的一些列干货的分享，将覆盖调优，troubleshooting等方面，希望
阅读全文
MongoDB 命令速查表
摘要：MongoDB 是一个面向文档可扩展的高性能开源数据库，典型的应用场景有网页数据，缓存，代替文档存储等。 命令的记忆和使用是一门基本功，这里准备了速查表，可以做案头手册。 库操作 切换或使用数据库use mymongodb 看所有的库show dbs 删除当前使用数据库db.dropDatabase
阅读全文
MongoDB 实现多key group by 并实现 having
摘要：1、group by多个key db.testcol.aggregate( {"$group": {_id:{card:"$card",account:"$account"}, "count": { "$sum": 1 } } }) 2、group by having实现 mongodb 实现gro
阅读全文
MongoDB 实现 create table tab2 as select
摘要：亲测，下面方法可以实现create table tab1 select * from tab2; var docs = db.tab1.find({"checked":false}).limit(0,500); docs.forEach(function(d){db.tab2.insert(d)})
阅读全文
MongoDB Map Reduce（转载）
摘要：MongoDB Map Reduce Map-Reduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。 MongoDB提供的Map-Reduce非常灵活，对于大规模数据分析也相当实用。 MapReduce 命令 以下是MapRed
阅读全文
MongoDB 几种查询嵌套数据（Embedded）的方式（转载）
摘要：前言 MongoDB 推荐使用「内嵌文档（Embedded）」，所以带来一个问题，如何查询嵌入文档内的数据？ 假如我们有一个 storage 的 Collection，包含一条数据： // `storage` Collection { "_id": "alpha", "name": "Storage
阅读全文
为什么 MongoDB （索引）使用B-树而 Mysql 使用 B+树
摘要：B-树由来 定义：B-树是一类树，包括B-树、B+树、B*树等，是一棵自平衡的搜索树，它类似普通的平衡二叉树，不同的一点是B-树允许每个节点有更多的子节点。B-树是专门为外部存储器设计的，如磁盘，它对于读取和写入大块数据有良好的性能，所以一般被用在文件系统及数据库中。 先来看看为什么会出现B-树这类
阅读全文
MongoDB索引存储BTree与LSM树（转载）
摘要：1、为什么 MongoDB 使用B-树，而不是B+树 MongoDB 是一种 nosql，也存储在磁盘上，被设计用在数据模型简单，性能要求高的场合。性能要求高，我们看B-树与B+树的区别： B+树内节点不存储数据，所有 data 存储在叶节点导致查询时间复杂度固定为 log n。 而B-树查询时间复
阅读全文
MySQL InnoDB primary key根节点常驻内存
摘要：mysql的InnoDB存储引擎在设计时是将根节点常驻内存的，也就是说查找某一键值的行记录时最多只需要1~3次磁盘I/O操作。
阅读全文
MongoDB 模糊查询like
摘要：1、LIKE模糊查询userName包含A字母的数据(%A%)-- SQL:SELECT * FROM UserInfo WHERE userName LIKE "%A%" -- MongoDB:db.UserInfo.find({userName: /A/})123452、LIKE模糊查询user
阅读全文
MongoDB 中文的全文索引
摘要：MongoDB 从3.2 版本以后添加了对中文索引的支持： 官网链接：https://docs.mongodb.com/manual/reference/text-search-languages/ 下面就举例来看一下MongoDB 的中文索引是怎么样的？ 创建一个集合textIndexTest:
阅读全文
MongoDB db.stats()&&db.db.serverStatus()
摘要：db.stats() 示例图 参数解释: "db" : "test" ,表示当前是针对"test"这个数据库的描述。想要查看其他数据库，可以先运行$ use databasename(e.g $use admiin). "collections" : 3,表示当前数据库有多少个collections
阅读全文
MongoDB shell 5 游标方法
摘要：方法名描述 cursor.snapshot() cursor.itcount() cursor.batchSize() cursor.pretty() cursor.hint() cursor.min() cursor.sort() cursor.forEach() cursor.limit() c
阅读全文
MongoDB shell 4 用户管理方法
摘要：方法名描述 db.getUsers() db.dropAllUsers() db.updateUser() db.createUser() db.revokeRolesFromUser() db.removeUser() 删除用户 db.grantRolesToUser() db.getUser()
阅读全文
MongoDB shell 3 集合方法
摘要：方法名描述 db.collection.aggregate() 聚合，主要用于处理数据(诸如统计平均值,求和等)，并返回计算后的数据结果 db.collection.bulkWrite() 批量写入 db.collection.createIndex() 创建一个集合索引 db.collection
阅读全文
MongoDB 部署复制集（副本集）
摘要：部署MongoDB复制集（副本集） 环境 操作系统：Ubuntu 18.04 MongoDB: 4.0.3 服务器 首先部署3台服务器，1台主节点 + 2台从节点 3台服务器的内容ip分别是： 10.140.0.5 （主节点） 10.140.0.6 （从节点01） 10.140.0.7 （从节点02
阅读全文
MongoDB shell 2 副本集方法
摘要：rs.initiate() rs.addArb() rs.help() rs.printReplicationInfo() 查看到副本集操作日志 rs.remove() 减少副本集节点 rs.freeze() “冻结”mongodb实例 rs.status() 查看副本集状态 db.printSla
阅读全文
MongoDB shell 1 数据库方法
摘要：方法名描述 db.cloneDatabase(） 从指定主机上克隆数据库 db.currentOp() 显示当前正在进行的操作 db.commandHelp() 返回数据库命令的帮助信息 db.createCollection() 创建一个聚集集合（table） db.cloneCollection
阅读全文
MongoDB shell 0 集合方法
摘要：方法名描述 db.collection.aggregate() 聚合，主要用于处理数据(诸如统计平均值,求和等)，并返回计算后的数据结果 db.collection.bulkWrite() 批量写入 db.collection.createIndex() 创建一个集合索引 db.collection
阅读全文
MongoDB Shell db.runCommand
摘要：db.runCommand()示例 我们使用MongoDB Shell登录到mongos，添加Shard节点 [root@100 shard]# /usr/local/mongoDB/bin/mongo admin --port 40000 MongoDB shell version: 2.0.7
阅读全文
MongoDB Index
摘要：索引通常能够极大的提高查询的效率，如果没有索引，MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。 这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的。 索引是特殊的数据结构，索引存储在一个易于遍历读取
阅读全文
MongoDB 启动报错
摘要：1、配置MongoDB ls /etc/mongod.conf 可以根据此配置文件启动 或者根据自己需求进行配置文件的变更 重要提醒： 如果变更MongoDB配置文件中：日志与数据文件目录，那么要把这两个目录赋予mongod用户，否则报错：1 报错，一般是文件或目录没有配置好 另外还需要配置好/et
阅读全文
MongoDB 聚合查询报错
摘要：1、Distinct聚合查询报错 db.users.distinct("uname") db.runCommand({"distinct":"users","key":"uname"}) 在数据量很大的时候，使用这种方法查询时,查询的结果集大于16M 时会查询失败,失败信息如下: 比如要对名字字段n
阅读全文
MySQL binlog2sql实现MySQL误操作的恢复
摘要：对于MySQL数据库中的误操作删除数据的恢复问题，可以使用基于MySQL中binlog做到类似于闪回或者生成反向操作的SQL语句来实现，是MySQL中一个非常实用的功能。原理不难理解，基于MySQL的row格式的binlog中，记录历史的增删改SQL信息，基于此解析出来对应的SQL语句（回滚的话就是
阅读全文
MongoDB 查看当前配置
摘要：MongoDB Enterprise > db.adminCommand({getParameter:"*"}) MongoDB Enterprise > db._adminCommand( {getCmdLineOpts: 1})
阅读全文
MongoDB中4种日志的详细介绍
摘要：前言 任何一种数据库都有各种各样的日志，MongoDB也不例外。MongoDB中有4种日志，分别是系统日志、Journal日志、oplog主从日志、慢查询日志等。这些日志记录着MongoDB数据库不同方面的踪迹。下面分别介绍这几种日志。 系统日志 系统日志在MongoDB数据库中很重要，它记录着Mo
阅读全文
MongoDB 企业版4.2.2安装
摘要：一、下载企业版MongoDB安装RPM包 --https://www.mongodb.com/download-center/enterprise https://www.mongodb.com/download-center/enterprise/release 社区版：http://mirror
阅读全文
Linux yum 包 下载地址
摘要：一、yum包网址一 http://www.rpmfind.net/linux/rpm2html/search.php?query=yum 二、yum包网址二 https://rpm.pbone.net/index.php3
阅读全文
MongoDB repairDatabase 释放磁盘空间
摘要：repairDatabase是官方文档中认为唯一可以回收硬盘空间的方法。 repairDatabase is the appropriate and the only way to reclaim disk space. 虽然可以用 db.repairDatabase()修复数据。但这种方法有两个不
阅读全文
MongoDB TTL集合与固定集合
摘要：1、固定集合 MongoDB可以创建固定长度的集合，可以设置最大的集合空间或最大的集合数。创建集合的语法如下： db.createCollection("collection-name", { option对象 }); # option都为可选对象，可选项如下： 可选参数 类型 说明 capped
阅读全文
4个MySQL优化工具AWR，帮你准确定位数据库瓶颈！（转载）
摘要：对于正在运行的mysql，性能如何，参数设置的是否合理，账号设置的是否存在安全隐患，你是否了然于胸呢？ 俗话说工欲善其事，必先利其器，定期对你的MYSQL数据库进行一个体检，是保证数据库安全运行的重要手段，因为，好的工具是使你的工作效率倍增！ 今天和大家分享几个mysql 优化的工具，你可以使用它们
阅读全文
Linux CentOS7 字符集
摘要：CentOS 7字符集的问题与6有点区别，会出现下面问题，查看是中文，vi进入就变成乱码了 生产中修改配置文件 [root@ce1d2002a999 ~]# cat /etc/locale.conf LANG="zh_CN.UTF-8" 改为中文字符集 然后在查看更改后的系统语言变量 [root@5
阅读全文
Linux 字符集的查看及修改
摘要：一·查看字符集 字符集在系统中体现形式是一个环境变量，以CentOS6.5为例,其查看当前终端使用字符集的方式可以有以下几种方式: 第一种： [root@Testa-www tmp]# echo $LANG zh_CN.UTF-8 第二种： [root@Testa-www ~]# env |grep
阅读全文
MongoDB 红宝书-MongoDB官网使用指南
摘要：本文转载自Mongodb中文社区：http://www.mongoing.com/archives/27359 无论你是MongoDB的使用者、爱好者、初学者还是路人甲，有一个学习与进修的资源宝藏是千万不可浪费的，那就是MongoDB官方网站。 进入网站首页后，会看到顶端简洁明了的导航栏： 产品：包
阅读全文
Linux grep 查找字符所在文件（grep详解）
摘要：查找字符所在文件 grep -ir "S_ROLE" ./* -i 不区分大小写 -r 查找字符出处 -a --text #不要忽略二进制的数据。 -A<显示行数> --after-context=<显示行数> #除了显示符合范本样式的那一列之外，并显示该行之后的内容。 -b --byte-offs
阅读全文
Linux 镜像下载
摘要：1、官网下载 https://www.centos.org/download/ 第一个是默认当前版本 第二个是选择其他版本 二、其他渠道下载 http://mirrors.163.com/
阅读全文
你公司到底需不需要引入实时计算引擎？（转载）
摘要：大数据发展至今，数据呈指数倍的增长，对实效性的要求也越来越高，于是像上面这种需求也变得越来越多了。 那这些场景对应着什么业务需求呢？我们来总结下，大概如下： 初看这些需求，是不是感觉很难？ 那么我们接下来来分析一下该怎么去实现？ 从这些需求来看，最根本的业务都是需要实时查看数据信息，那么首先我们得想
阅读全文
基于Kafka的实时计算引擎如何选择？（转载）
摘要：1.前言 目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以Flink和Spark为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于Kafka的实时计算引擎如何选择？Flink or Spark？ 2.为何需要实时计算？ 根据IBM的统计报告显示，过去两
阅读全文
MySQL 为什么不用分区表（转载）
摘要：一分钟系列 潜在场景如何？ 当MySQL单表的数据量过大时，数据库的访问速度会下降，“数据量大”问题的常见解决方案是“水平切分”。 MySQL常见的水平切分方案有哪些？ （1）分库分表； （2）分区表。 画外音：我C，没听过分区表，有朋友惊叹。 什么是分库分表？ 把一个很大的库（表）的数据分到几个库
阅读全文
HBase 基本入门篇
摘要：无论是 NoSQL，还是大数据领域，HBase 都是非常”炙热”的一门数据库。本文将对 HBase 做一些基础性的介绍，旨在入门。 一、简介 HBase 是一个开源的、面向列的非关系型分布式数据库，目前是Hadoop体系中非常关键的一部分。在最初，HBase是基于谷歌的 BigTable 原型实现的
阅读全文
linux 出错 “INFO: task java: xxx blocked for more than 120 seconds.” 的3种解决方案
摘要：1 问题描述 最近搭建的一个linux最小系统在运行到241秒时在控制台自动打印如下图信息，并且以后每隔120秒打印一次。 仔细阅读打印信息发现关键信息是“hung_task_timeout_secs”，第一次遇到这样的问题，首先百度… 通过翻看多个网友的博客，发现这是linux kernel的一个
阅读全文
