随笔分类 - 数据库
数据库
摘要：mariadb集群安装 yum list | grep galera yum install galera mariadb-server-galera rsync systemctl start mariadb 仓库源查看可以安装的包 添加yum源 [galera] name = Galera ba
阅读全文
摘要：PMM方案 Percona Monitoring and Management开源数据库监控解决方案 Percona Monitoring and Management (PMM)是一款开源的专用于管理和监控MySQL、MongoDB、PostgreSQL、ProxySQL、AWS RDS性能的开源
阅读全文
摘要：data目录覆盖 把原来的data目录覆盖到最新的data目录,启动shard的时候就出现异常 尝试方案1 mongod --repair --dbpath 数据目录 ./mongod --repair --dbpath /opt/mongodb/data/ ./mongod -f /opt/mon
阅读全文
摘要：创建结果数据库 1.创建一个新的存储数据库用来保存分析结果 use keyTest db.createUser({ user:"root", pwd:"root", roles:[{role:"dbOwner",db:"keyTest"}] }) 下载variety脚本 https://github
阅读全文
摘要：安装连接 查看当前系统的资源使用情况 top 查看系统IO状态 可以查看当前哪个磁盘设备总体的读写流量大小 iostat -d -x 1 pidstat -d 1 -d选项表示展示进程的I/O情况 查看这些I/O请求到底是哪些进程导致的 分析进程的数据读取,当然还要靠strace+lsof组合 st
阅读全文
摘要：用户类型 1. 查看全局所有账户 use admin db.system.users.find().pretty() 2. 查看当前库下的账户 use mydb show users 用户创建 1. 用户创建的时候需要注意当前在哪个数据库对象中执行的创建用户命令,可以在任何数据库环境下执行创建语句
阅读全文
摘要：索引概念 1.主键索引 主键列创建的索引叫一级索引,一级索引创建的B+树结构的叶子节点存储的是整行数据 主键和整行数据都存储在叶子节点的索引类型叫聚簇索引 每创建一个索引就会生成一个对应的B+树 2.二级索引 其它列创建的索引都叫二级索引,二级索引创建的B+树结构的叶子节点存储的是主键值,不包含整行
阅读全文
摘要：mtools工具 mtools是一组用来解析和过滤MongoDB日志文件的脚本工具。mtools中包含以下几个工具：mlogfilter、mloginfo、mplotqueries、mlogvis、mlaunch、mgenerate mlogfilter，主要用来解析日志文件，过滤慢查询。 http
阅读全文
摘要：日志文件查看 MongoDB自带机制 这样会使mongo关闭当前日志文件,重启一个新的日志文件,不需要停止mongodb服务 这种方式简单,但是不够灵活 2.向进程发送 SIGUSR1 信号来切割日志 定时任务轮转日志 #!/bin/sh logfile=/var/log/mongodb #Mong
阅读全文
摘要：连接数暴涨 mongodb集群每运行一段时间就会存在数据写入数据速度变得非常慢,这个时候如果重启所有节点的服务就可以恢复正常.单独重启mongos服务连接数会降下来,但是写入数据还是会变得很慢. 因为运行一段时候后,mongodb集群中的shard节点的连接数积累的比较多导致mongodb集群应用层
阅读全文
摘要：时间不同步 ntp服务端 yum install -y ntp service ntpd start ntp客户端 ntpdate 192.168.30.151 ntpdate ntp.aliyun.com 网络问题 能ping通ip地址,但是不能解析域名 监控指标采集问题 promethues和n
阅读全文
摘要：安装zookeeper集群 zk的版本不能低于3.6 配置普通用户sudo vi /etc/sudoers zookeeper的配置文件需要开启配置metrics上报 metricsProvider.className=org.apache.zookeeper.metrics.prometheus.
阅读全文
摘要：创建连接执行命令 批量执行命令 ./mongo 127.0.0.1:37017/mydb -uadmin -pTran --authenticationDatabase admin --eval "printjson(db.asset_scan.findOne());printjson(db.ass
阅读全文
摘要：下载安装包 wget http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.20-linux-glibc2.12-x86_64.tar.gz 解压安装包 cd /usr/local/ tar -xzvf /data/software/mysql
阅读全文
摘要：索引基础概念 索引存储格式 每个磁盘块是统一的4K大小 每次搜索的时候都是根据要查找的ID和B树结构最高点的磁盘块所包含的ID做比较.小于磁盘块ID找左边指针指向的磁盘块,介于中间找中间指针指向的磁盘块,大于找右边指针指向的磁盘块 B树结构 (多路平衡查找树) B+树结构 B树是非叶子节点上也存数据
阅读全文
摘要：副本集 副本集是一组维护相同数据集的mongod的进程. 副本集没有提高集群的写能力,只提高了数据库集群的读能力 读写能力操作 MongoDB索引基础 索引覆盖 需要查询的字段全都在索引上,不再需要通过索引定位到其它位置的数据 索引最左匹配原则 索引过滤性 查询计划 MongoDB分片集群 1.副本
阅读全文
摘要：守则说明 高并发大数据的互联网业务,架构设计思路是"解放数据库CPU,将计算转移到服务层" 在大并发的情况下,这些功能很可能将数据库托垮,业务逻辑放到服务层具备更好的扩展性,能够实现 增加机器就增加性能 数据库规范 1.使用InnoDB存储引擎 支持事务、行级锁、并发性能更好、CPU及内存缓存页优化
阅读全文
摘要：聚集索引 聚簇索引并不是一种单独的索引类型,而是一种数据存储方式(不是数据结构,而是存储结构),具体细节依赖于其实现方式,聚簇索引实际上是在同一个结构中保存了btree索引和数据行. innodb将通过主键聚集数据,如果没有定义主键,Innodb会选择第一个非空的唯一索引代替,如果没有非空唯一索引,
阅读全文
摘要：事务 一个事务会涉及到大量的cpu计算和IO操作,这些操作被打包成一个执行单元,要么同时都完成,要么同时都不完成 事务是一组原子性的sql命令或者说是一个独立的工作单元,如果数据库引擎能够成功的对数据库应用该组的全部sql语句,那么就执行该组命令 如果其中有任何一条语句因为崩溃或者其它原因无法执行,
阅读全文
摘要：索引的概念 索引是特殊数据结构: 定义在查找时作为查找条件的字段 索引实现在存储引擎 功能: 1.约束数据 2.加速查询 优点： 索引可以降低服务需要扫描的数据量,减少了IO次数 索引可以帮助服务器避免排序和使用临时表 索引可以帮助将随机I/O转为顺序I/O 缺点： 占用额外空间,影响插入速度 索引
阅读全文
