2018 年 10月随笔档案 - 张冲andy

Redis Cluster 4.0高可用集群安装、在线迁移操作记录

摘要：之前介绍了redis cluster的结构及高可用集群部署过程，今天这里简单说下redis集群的迁移。由于之前的redis cluster集群环境部署的服务器性能有限，需要迁移到高配置的服务器上。考虑到是线上生产环境，决定在线迁移，迁移过程，不中断服务。操作过程如下：一、机器环境 1 2 3 4 阅读全文

posted @ 2018-10-28 14:26 张冲andy 阅读(2223) 评论(0) 推荐(0) 编辑

叶问【转自知数堂微信公众号】

摘要：转自《叶问》是知数堂新设计的互动栏目，不定期给大家提供技术知识小贴士，形式不限，或提问、或讨论均可，并在当天发布答案，让大家轻轻松松利用碎片时间就可以学到最实用的知识点。知数堂 - 最靠谱、最有品质的培训品牌 http://www.3wedu.net/ 叶问专辑 https://mp.weixi 阅读全文

posted @ 2018-10-27 20:05 张冲andy 阅读(336) 评论(0) 推荐(0) 编辑

mysql之 sysbench0.4.12数据库性能测试

摘要：1. 常用选项在Shell中运行以下命令便可得到sysbench的常用选项信息： sysbench --help 上述命令的输出信息如下图所示： 1.1 使用语法使用sysbench时，可以通过以下语法进行基准测试： sysbench [通用选项]... --test=<测试名称> [测试选项] 阅读全文

posted @ 2018-10-27 19:02 张冲andy 阅读(399) 评论(0) 推荐(0) 编辑

mysql之 sysbench1.0.3 安装与系统压力测试

摘要：针对系统和数据库压测是项目上线前必做的一项，这里使用的是最新版本的sysbench做的压测使用详解。sysbench可以做系统层面的压力测试（CPU、内存、硬盘IO、互斥锁、Thead），也可以做数据库（MySQL/Oracle/PG）层面的压力测试。安装容易，操作便捷，是压测使用的重要工具之一。一阅读全文

posted @ 2018-10-27 16:39 张冲andy 阅读(492) 评论(0) 推荐(0) 编辑

mysql之误用SECONDS_BEHIND_MASTER衡量MYSQL主备的延迟时间

摘要：链接：http://www.woqutech.com/?p=1116 MySQL 本身通过 show slave status 提供了 Seconds_Behind_Master ，用于衡量主备之间的复制延迟，但是今天碰到了一个场景，发现 Seconds_Behind_Master 为 0 ，备库阅读全文

posted @ 2018-10-25 17:24 张冲andy 阅读(240) 评论(0) 推荐(0) 编辑

mysql之事务prepare 与 commit 阶段分析

摘要：打开binlog选项后，执行事务提交命令时，就会进入两阶段提交模式。两阶段提交分为prepare阶段和commit两个阶段。流程如下：这里面涉及到两个重要的参数：innodb_flush_log_at_trx_commit和sync_binlog，参数可以设置不同的值，具体可以查看mysql的帮助阅读全文

posted @ 2018-10-25 16:40 张冲andy 阅读(3534) 评论(0) 推荐(1) 编辑

mysql之 myloader原理介绍

摘要：myloader恢复主要流程 1、首先由myloader主线程完成建库建表，依次将备份目录下建库和建表文件执行应用到目标数据库实例中； 2、接着myloader主线程会生成多个工作线程，由这些工作线程将所有database.table.*.sql文件中的记录导入到对应表中，这个阶段是并行的，并行粒度阅读全文

posted @ 2018-10-25 10:47 张冲andy 阅读(1433) 评论(0) 推荐(0) 编辑

mydumper安装、原理介绍

摘要：一、安装安装依赖包： yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake 下载二进制包： wget https://launchpadlibrarian.net/225370879/mydump 阅读全文

posted @ 2018-10-25 09:20 张冲andy 阅读(340) 评论(0) 推荐(0) 编辑

MySQL 5.7 mysqlpump 备份工具说明

摘要：MySQL5.7之后多了一个备份工具：mysqlpump。它是mysqldump的一个衍生，mysqldump就不多说明了，现在看看mysqlpump到底有了哪些提升，可以查看官方文档，这里针对如何使用做下说明。 mysqlpump和mysqldump一样，属于逻辑备份，备份以SQL形式的文本保存。阅读全文

posted @ 2018-10-24 17:35 张冲andy 阅读(876) 评论(0) 推荐(0) 编辑

mysql之重建GTID下主从关系

摘要：主库：mysqldump -uroot -pmysql -S /tmp/mysql.sock1 --single-transaction --add-drop-database --master-data=1 --all-databases>test_backup.sql 说明：--all-data 阅读全文

posted @ 2018-10-24 10:03 张冲andy 阅读(578) 评论(0) 推荐(0) 编辑

MongoDB之写安全(Write Concern)

摘要：MongoDB Write Concern，简称MongoDB写入安全机制，是一种客户端设置，用于控制写入安全的级别。Write Concern 描述了MongoDB写入到mongod单实例，副本集，以及分片集群时何时应答给客户端。默认情况下，mongoDB文档增删改都会一直等待数据库响应(确认写入阅读全文

posted @ 2018-10-23 18:18 张冲andy 阅读(887) 评论(0) 推荐(0) 编辑

MongoDB之的Rollback讲解及避免

摘要：首先，rollback到底是什么意思呢？在关系型数据库中因为有事务的概念，操作数据后在没有commit之前是可以执行rollback命令进行数据回退的。而在单实例mongodb中，写入就写入了，删除就删除了，没有事务的概念，也没有rollback的操作，所以这里要讨论的是replicaset（复制阅读全文

posted @ 2018-10-23 16:23 张冲andy 阅读(1580) 评论(0) 推荐(0) 编辑

MongoDB journal与oplog解惑

摘要：journal journal 是 MongoDB 存储引擎层的概念，目前 MongoDB主要支持 mmapv1、wiredtiger、mongorocks 等存储引擎，都支持配置journal。 MongoDB 所有的数据写入、读取最终都是调存储引擎层的接口来存储、读取数据，journal 是存储阅读全文

posted @ 2018-10-23 11:21 张冲andy 阅读(601) 评论(0) 推荐(0) 编辑

mongodb之 mongodump 与 mongorestore

摘要：一、备份和之前介绍的 mongoexport 的数据导出工具不同， mongodump 是将数据以二进制形式导出，而 mongoexport 导出的数据格式为 csv 或 json 格式； mongodump 可以导出一个数据库，或者整个 MongoDB 服务上的所有数据库，因此 mongodum 阅读全文

posted @ 2018-10-22 16:23 张冲andy 阅读(828) 评论(0) 推荐(0) 编辑

mysql之 openark-kit online ddl

摘要：MySQL工具集openark-kit (官方网站 http://code.openark.org/forge/openark-kit)，内部包含很多小工具,在5.6之前用于实现online ddl操作，本文以CentOS为操作系统，且默认操作系统中已经安装Python环境。 1.0、安装open 阅读全文

posted @ 2018-10-22 09:47 张冲andy 阅读(231) 评论(0) 推荐(0) 编辑

企业级nosql数据库应用与实战-redis

摘要：目录一、NoSQL简介 1.1 常见的优化思路和方向 1.1.1 MySQL主从读写分离 1.1.2 分库分表 1.2 NoSQL诞生的原因 1.3 分布式系统的挑战 1.3.1关系数据库和NoSQL侧重点 1.4 NoSQL的优缺点 1.5 NoSQL总结二、NoSQL的分类 2.1 基本分类阅读全文

posted @ 2018-10-15 14:45 张冲andy 阅读(419) 评论(0) 推荐(0) 编辑

自动化运维工具——ansible详解（二）

摘要：目录 Ansible playbook 简介 Ansible playbook使用场景 Ansible playbook格式 1）格式简介 2）核心元素 3）基本组件举例 4）variables 部分 ① facts ：可直接调用 ② 用户自定义变量举例 ③ 通过roles传递变量 ④ Host 阅读全文

posted @ 2018-10-15 14:36 张冲andy 阅读(292) 评论(0) 推荐(0) 编辑

自动化运维工具——ansible详解（一）

摘要：目录 ansible 简介 ansible 是什么？ ansible 特点 ansible 架构图 ansible 任务执行 ansible 任务执行模式 ansible 执行流程 ansible 命令执行过程 ansible 配置详解 ansible 安装方式使用 pip（python的包管理模阅读全文

posted @ 2018-10-15 14:32 张冲andy 阅读(520) 评论(0) 推荐(0) 编辑

缓存雪崩和缓存穿透问题解决方案

摘要：缓存雪崩简介：缓存同一时间大面积的失效，所以，后面的请求都会落到数据库上，造成数据库短时间内承受大量请求而崩掉。解决办法：事前：尽量保证整个 Redis 集群的高可用性，发现机器宕机尽快补上。选择合适的内存淘汰策略。事中：本地 Ehcache 缓存 + Hystrix 限流&降级，避免 My 阅读全文

posted @ 2018-10-11 11:15 张冲andy 阅读(1064) 评论(0) 推荐(0) 编辑

Redis 和 Memcached 的区别

摘要：Redis 和 Memcached区别： Redis 支持更丰富的数据类型（支持更复杂的应用场景）：Redis 不仅仅支持简单的 K/V 类型的数据，同时还提供 list、set、zset、hash 等数据结构的存储。Memcache 支持简单的数据类型 String。 Redis 支持数据的持久化阅读全文

posted @ 2018-10-11 08:53 张冲andy 阅读(209) 评论(0) 推荐(0) 编辑

mongo之前后台创建索引 --noIndexBuildRetry

摘要：在数据量超大的情形下，任何数据库系统在创建索引时都是一个耗时的大工程。MongoDB也不例外。因此，MongoDB索引的创建有两个选择，一个是前台方式，一个是后台方式。那这两种方式有什么差异呢，在创建索引是是否能观察到索引完成的进度呢。本文将是基于此的描述，同时也描述了索引创建相关的注意事项。一、阅读全文

posted @ 2018-10-10 19:32 张冲andy 阅读(871) 评论(0) 推荐(0) 编辑

mongodb之 oplog 日志详解

摘要：1：oplog简介 oplog是local库下的一个固定集合，Secondary就是通过查看Primary 的oplog这个集合来进行复制的。每个节点都有oplog，记录这从主节点复制过来的信息，这样每个成员都可以作为同步源给其他节点。 2：副本集数据同步的过程副本集中数据同步的详细过程：Prim 阅读全文

posted @ 2018-10-10 15:06 张冲andy 阅读(572) 评论(0) 推荐(0) 编辑

Percona XtraDB Cluster 的一些使用限制(PXC 5.7)

摘要：Percona XtraDB Cluster有众多的优秀特性，使得mysql集群得以轻松实现。但是不要忽略了它的一些限制。如果你无法接受，或者你的应用程序或数据库(比如使用了memory引擎)对限制无法做出调整，那PXC对你而言是不合适。限制有哪些呢，下文是其描述。基于PXC的复制仅适用于Inno 阅读全文

posted @ 2018-10-09 15:45 张冲andy 阅读(285) 评论(0) 推荐(0) 编辑

Percona XtraDB Cluster高可用与状态快照传输(PXC 5.7 )

摘要：Percona XtraDB Cluster(下称PXC)高可用集群支持任意节点在运行期间的重启，升级或者意外宕机，即它解决了单点故障问题。那在这个意外宕机或者重启期间，该节点丢失的数据如何再次进行同步呢？本文介绍了在节点故障和重启PXC如何实现高可用以及状态快照传输的几种方法优缺点。一、高可用阅读全文

posted @ 2018-10-09 15:40 张冲andy 阅读(211) 评论(0) 推荐(0) 编辑

mysql之 Percona XtraDB Cluster集群线程模型

摘要：Percona XtraDB集群创建一组线程来为其操作提供服务，这些线程与现有的MySQL线程无关。有三个主要线程组：一、Applier线程 Applier线程应用从其他节点接收的写入集。写消息直接通过gcv_recv_thread。使用wsrep_slave_threads变量控制线程的数量。阅读全文

posted @ 2018-10-09 15:09 张冲andy 阅读(134) 评论(0) 推荐(0) 编辑

mongodb之 3.4.0 mongodb sharing 副本集群搭建

摘要：系统系统 centos6.5三台服务器：10.100.25.42/43/44安装包： mongodb-linux-x86_64-rhel62-3.4.0.tgz 服务器规划:mongos mongos mongosconfig server config server config serversh 阅读全文

posted @ 2018-10-09 11:34 张冲andy 阅读(193) 评论(0) 推荐(0) 编辑

redis之 Redis持久化配置

摘要：Redis持久化配置 Redis的持久化有2种方式 1快照 2是日志 Rdb快照的配置选项 save 900 1 // 900内,有1条写入,则产生快照 save 300 1000 // 如果300秒内有1000次写入,则产生快照 save 60 10000 // 如果60秒内有10000次写入,则阅读全文

posted @ 2018-10-07 17:19 张冲andy 阅读(308) 评论(0) 推荐(0) 编辑

redis之 3.0集群安装

摘要：1. 集群即使有了主从复制，每个数据库都要保存整个集群中的所有数据，容易形成木桶效应。使用Jedis实现了分片集群，是由客户端控制哪些key数据保存到哪个数据库中，如果在水平扩容时就必须手动进行数据迁移，而且需要将整个集群停止服务，这样做非常不好的。 Redis3.0版本的一大特性就是集群（Cl 阅读全文

posted @ 2018-10-04 17:34 张冲andy 阅读(208) 评论(0) 推荐(0) 编辑

MySQL 5.7新特性之在线收缩undo表空间

摘要：1. MySQL 5.5时代的undo log 在MySQL5.5以及之前，大家会发现随着数据库上线时间越来越长，ibdata1文件（即InnoDB的共享表空间，或者系统表空间）会越来越大，这会造成2个比较明显的问题：（1）磁盘剩余空间越来越小，到后期往往要加磁盘；（2）物理备份时间越来越长，备阅读全文

posted @ 2018-10-01 16:17 张冲andy 阅读(1430) 评论(0) 推荐(0) 编辑

MySQL5.6新特性之Multi-Range Read

摘要：一介绍 MySQL 5.6版本提供了很多性能优化的特性，其中之一就是 Multi-Range Read 多范围读(MRR) , 它的作用针对基于辅助/第二索引的查询，减少随机IO，并且将随机IO转化为顺序IO，提高查询效率。二原理在没有MRR之前,或者没有开启MRR特性时，MySQL 针对基于阅读全文

posted @ 2018-10-01 16:00 张冲andy 阅读(272) 评论(0) 推荐(0) 编辑

10 2018 档案

导航

公告

搜索

常用链接

随笔档案