MSSQL123 - 博客园

漫谈Redis分布式锁实现

摘要：在Redis上，可以通过对key值的独占来实现分布式锁，表面上看，Redis可以简单快捷通过set key这一独占的方式来实现，也有许多重复性轮子，但实际情况并非如此。总得来说，Redis实现分布式锁，如何确保锁资源的安全&及时释放，是分布式锁的最关键因素。如下逐层分析Redis实现分布式锁的一些过阅读全文

posted @ 2019-07-06 18:40 MSSQL123 阅读(1277) 评论(0) 推荐(1) 编辑

基于Python的SQL Server数据库对象同步轻量级实现

摘要：缘由日常工作中经常遇到类似的问题：把某个服务器上的某些指定的表同步到另外一台服务器。类似需求用SSIS或者其他ETL工作很容易实现，比如用SSIS的话就可以，但会存在相当一部分反复的手工操作。建源的数据库信息，目标的数据库信息，如果是多个表，需要一个一个地拉source和target，然后一个一个阅读全文

posted @ 2019-06-12 14:05 MSSQL123 阅读(2586) 评论(2) 推荐(3) 编辑

Redis中的Scan命令的使用

摘要： Redis中有一个经典的问题，在巨大的数据量的情况下，做类似于查找符合某种规则的Key的信息，这里就有两种方式，一是keys命令，简单粗暴，由于Redis单线程这一特性，keys命令是以阻塞的方式执行的，keys是以遍历的方式实现的复杂度是 O(n），Redis库中的key越多，查找实现代价越大，产阅读全文

posted @ 2019-05-31 15:16 MSSQL123 阅读(51516) 评论(1) 推荐(1) 编辑

Redis集群模式下的redis-py-cluster方式读写测试

摘要：与MySQL主从复制，从节点可以分担部分读压力不一样，甚至可以增加slave或者slave的slave来分担读压力，Redis集群中的从节点，默认是不分担读请求的，从节点只作为主节点的备份，仅负责故障转移。如果是主节点读写压力过大，可以通过增加集群节点数量的方式来分担压力。以下简单测试Redis集阅读全文

posted @ 2019-05-29 21:34 MSSQL123 阅读(2012) 评论(0) 推荐(0) 编辑

sqlserver 筛选索引（filter index）在使用时需要注意的事项

摘要： sqlserver 的筛选索引（filter index）与常规的非筛选索引，加了一定的filter条件，可以按照某些条件对表中的字段进行索引，但是filter 索引在查询使用上，并不等同于常规的索引，如果忽略了这些差异，可能会造成潜在的问题，因此在使用filter索引的时候，一定要结合具体的查询阅读全文

posted @ 2019-05-28 21:29 MSSQL123 阅读(2127) 评论(0) 推荐(0) 编辑

sqlserver默认隔离级别下并发批量update同一张表引起的死锁

摘要：提到死锁，最最常规的场景之一是Session1 以排它锁的方式锁定A表，请求B表，session2以排它锁的方式锁定B表，请求A表之类的，访问顺序不一致导致死锁的情况本文通过简化，测试这样一种稍显特殊的场景：对同一张表，并发update其中的多行记录引起的死锁，同时简单分析，对于update操作的加阅读全文

posted @ 2019-05-14 23:38 MSSQL123 阅读(4208) 评论(2) 推荐(3) 编辑

sqlserver的表变量在没有预估偏差的情况下，与物理表可join产生的性能问题

摘要：众所周知，在sqlserver中，表变量最大的特性之一就是没有统计信息，无法较为准备预估其数据分布情况，因此不适合参与较为复杂的SQL运算。当SQL相对简单的时候，使用表变量，在某些场景下，即便是对表变量的预估没有产生偏差的情况下，仍旧会有问题。sqlserver的优化引擎对于表变量的支持十分不友好阅读全文

posted @ 2019-05-11 00:35 MSSQL123 阅读(608) 评论(0) 推荐(0) 编辑

Redis集群以及自动故障转移测试

摘要：在Redis中，与Sentinel（哨兵）实现的高可用相比，集群（cluster）更多的是强调数据的分片或者是节点的伸缩性，如果在集群的主节点上加入对应的从节点，集群还可以自动故障转移，因此相比Sentinel（哨兵）还是有不少优势的。以下简单测试Redis的集群（单机多实例的模式），来体验一下集群阅读全文

posted @ 2019-01-27 14:27 MSSQL123 阅读(5584) 评论(2) 推荐(1) 编辑

MySQL 复制 crash safe salve参数配置

摘要：在基于binlog文件位置的复制下，要保证crash safe slave，配置下面的参数即可。relay_log_info_repository = TABLErelay_log_recovery = ON这样可行的原因是，relay_log_info_repository = TABLE时，ap 阅读全文

posted @ 2019-01-14 16:48 MSSQL123 阅读(218) 评论(0) 推荐(0) 编辑

如何监控Redis性能指标（译）

摘要： Redis给人的印象是简单、很快，但是不代表它不需要关注它的性能指标，此文简单地介绍了一部分Redis性能指标.翻译过程中加入了自己延伸的一些疑问信息，仍然还有一些东西没有完全弄明白。原文中Metric to watch *** 和 Metric to alert on ***这里翻译为需要观察的指阅读全文

posted @ 2019-01-01 10:31 MSSQL123 阅读(6695) 评论(1) 推荐(2) 编辑

Windows下pip 离线包安装

摘要： pip在线安装十分方便，有时候某些服务器并没有直接联网，需要下载好安装包上传到服务器上进行安装，不经常用，还是有点小麻烦的。安装Python之后，将下载好的安装包包放在Python安装的根目录下使用pip install packagename 安装，提示Requirement 'pymssql- 阅读全文

posted @ 2018-12-31 12:19 MSSQL123 阅读(2456) 评论(0) 推荐(0) 编辑

MongoDB主从复制和副本集

摘要： MongoDB有主从复制和副本集两种主从复制模式，主从复制最大的问题就是无法自动故障转移，MongoDB副本集解决了主从模式无法自动故障转义的特点，因此是复制的首选。对于简单的主从复制无法自动故障转移的缺陷，各个数据库都在改进，MySQL推出的MGR，Redis的哨兵，Mongodb的复制集。对于阅读全文

posted @ 2018-11-30 08:43 MSSQL123 阅读(3292) 评论(0) 推荐(1) 编辑

MongoDB 集合（Collection）对应的物理文件

摘要： dbpath下是清一色的collection-n-***与index-n-***开头的物理文件，如何知道某一个集合与其对应与其对应的物理文件？ db.collection_name.stats() 返回的结果包含集合数据对应的物理文件 db.collection_name.stats({indexD 阅读全文

posted @ 2018-11-30 08:36 MSSQL123 阅读(2594) 评论(0) 推荐(0) 编辑

Redis 哨兵节点之间相互自动发现机制（自动重写哨兵节点的配置文件）

摘要： Redis的哨兵机制中，如果是多哨兵模式，哨兵节点之间也是可以相互感知的，各种搜索之后出来的是千篇一律的一个基础配置文件，在配置当前哨兵节点的配置文件中，并没有配置其他哨兵节点的任何信息。如下是一个哨兵节点的配置信息，可以看到，哨兵与哨兵之间没有任何配置，死活想不明白，哨兵之间是如何自动识别的。参阅读全文

posted @ 2018-11-08 15:58 MSSQL123 阅读(5039) 评论(0) 推荐(1) 编辑

Redis 数据类型归纳

摘要： Redis的数据类型从整体上看，都是Key-Value键值对的模型，数据类型更确切地说，应该是Value的数据类型，比如string，set，list等，都是key值对应的Value的数据集合格式。不同数据类型的不同之处在于Value存储的格式不一样。整体上看，Redis¹数据类型相对比较简单，² 阅读全文

posted @ 2018-10-26 09:48 MSSQL123 阅读(404) 评论(0) 推荐(0) 编辑

TIMESTAMP类型字段在SQL Server和MySQL中的含义和使用

摘要：公众号上转的满天飞的一篇文章，MySQL优化相关的，无意中瞄到一句“尽量使用TIMESTAMP而非DATETIME”，之前对TIMESTAMP也不太熟悉，很少使用，于是查了一下两者的区别。其实，不管在SQL Server中还是MySQL中，“尽量使用TIMESTAMP而非DATETIME”都是有问阅读全文

posted @ 2018-10-22 19:09 MSSQL123 阅读(11229) 评论(1) 推荐(3) 编辑

Redis阻塞诊断基础

摘要： slowlog Redis慢查询 slowlog 参数 slowlog-log-slower-than：慢查询时间阈值，超过这个阈值的查询将会被记录，默认值10000，但是微妙，也即10毫秒。 slowlog-max-len：慢查询日志最大条数，默认值128，先进先出的队列的形式记录在内存中。 s 阅读全文

posted @ 2018-10-22 15:27 MSSQL123 阅读(656) 评论(0) 推荐(0) 编辑

MySQL分区表

摘要：分区的作用分区是将一个表的数据按照某种方式，比如按照时间上的月份，分成多个较小的，更容易管理的部分，但是逻辑上仍是一个表。个人理解起来，分区跟性能没有必然关系，分区更多的是从管理的角度出发的。 MySQL分区表对分区字段的限制分区的字段，必须是表上所有的唯一索引（或者主键索引）包含的字段的子集换句话阅读全文

posted @ 2018-10-16 10:58 MSSQL123 阅读(33903) 评论(1) 推荐(1) 编辑

Redis 主从复制

摘要：启动多个Redis实例，如果是在单机下，复制出来两份Redis编译后的文件 cp -r /usr/local/redis5/ /usr/local/redis5_1 cp -r /usr/local/redis5/ /usr/local/redis5_2 如果实在单机下做测试，跑多个Redis服务的阅读全文

posted @ 2018-09-20 13:59 MSSQL123 阅读(341) 评论(0) 推荐(0) 编辑

Redis安全以及备份还原

摘要：启用密码配置密码，配置文件中添加节点requirepass，如下root即passwordrequirepass root可以在登陆的时候用-a 指定password登陆，也可以不指定，登陆之后使用auth执行密码备份还原 RBD的方式（Redis DataBase）严格说Redis中的sav 阅读全文

posted @ 2018-09-14 15:17 MSSQL123 阅读(353) 评论(0) 推荐(0) 编辑

Redis物理文件结构

摘要： Redis物理文件结构对于数据库，个人习惯先从物理结构文件入手，整体上看一下有哪些文件，都是什么作用。类似于MySQL，数据文件和配置文件是Redis最基本也是做主要的两个物理文件之一，相比MySQL或者其他数据库，Redis的相关的物理文件相当的简单。与MySQL眼花缭乱的各种数据文件，日志文件阅读全文

posted @ 2018-09-14 12:42 MSSQL123 阅读(1229) 评论(0) 推荐(0) 编辑

Redis的Errorlog或者启动日志（错误日志）的配置

摘要： Errorlog或者是运行日志是任何一个软件的运行中异常诊断必看的文件之一，折腾Redis的过程中以为有默认的错误日志（或启动日志），不过一直没有发现类似的日志文件，在看了默认的配置文件之后，发现Redis默认并没有配置ErrorLog，上面写的很清楚，如果没有指定logfile（的路径），logs 阅读全文

posted @ 2018-09-14 10:55 MSSQL123 阅读(15438) 评论(0) 推荐(0) 编辑

Redis 编译安装

摘要：系统学习一下，记录一下笔记，之前都是断断续续尝试过一些简单的安装使用下载，解压编译安装 copy配置文件启动连接 ./bin/redis-server ./redis.conf 登陆./bin/redis-cli -h 127.0.0.1 -p 8000关闭./bin/redis-cli -h 阅读全文

posted @ 2018-09-13 16:01 MSSQL123 阅读(526) 评论(0) 推荐(0) 编辑

MySQL自增列锁模式 innodb_autoinc_lock_mode不同参数下性能测试

摘要： 20190701：感谢@接天居士的提示，在多核心CPU的配置环境下测试，确实是有差异的，感谢纠错，本来想删除这篇文章的，留着当错教训吧，测试环境差异造成的错误教训对于innodb_autoinc_lock_mode 各种参数的值的含义，网上也有各种详解，看完觉得意犹未尽，这里不做阐述，只动手测试，阅读全文

posted @ 2018-09-13 13:08 MSSQL123 阅读(2974) 评论(3) 推荐(0) 编辑

SQL Server并发操作单个表时发生在page页面级的死锁

摘要：最近遇到的死锁问题都发生在并发操作单张表上，比较有意思，就模拟了重现了一下。根据非聚集索引为条件，删除某一个表的数据，类似于这么一个语句，delete from table where nocluster_index in (x,y,z,m,n……)in里面的内容不同，并发执行某些情况下，可能会引发阅读全文

posted @ 2018-09-12 14:54 MSSQL123 阅读(1146) 评论(2) 推荐(1) 编辑

MySQL 8.0 中统计信息直方图的尝试

摘要：直方图是表上某个字段在按照一定百分比和规律采样后的数据分布的一种描述，最重要的作用之一就是根据查询条件，预估符合条件的数据量，为sql执行计划的生成提供重要的依据在MySQL 8.0之前的版本中，MySQL仅有一个简单的统计信息却没有直方图，没有直方图的统计信息可以说是没有任何意义的。MySQL 8 阅读全文

posted @ 2018-08-23 20:53 MSSQL123 阅读(2700) 评论(1) 推荐(1) 编辑

（译）MySQL 8.0实验室---MySQL中的倒序索引（Descending Indexes）

摘要：译者注：MySQL 8.0之前，不管是否指定索引建的排序方式，都会忽略创建索引时候指定的排序方式（语法上不会报错），最终都会创建为ASC方式的索引，在执行查询的时候，只存在forwarded（正向）方式对索引进行扫描。关于正向索引和反向索引，逻辑上很容易理解，这里有两个相关的概念：正向索引或者反向（阅读全文

posted @ 2018-08-21 20:28 MSSQL123 阅读(4413) 评论(3) 推荐(4) 编辑

（译）MySQL的10个基本性能技巧

摘要：原文出处：https://www.infoworld.com/article/3210905/sql/10-essential-performance-tips-for-mysql.html MySQL的10个基本性能技巧与所有的关系数据库一样，MySQL正如一头怪兽一般，它可能会在接到通知的一阅读全文

posted @ 2018-08-21 11:16 MSSQL123 阅读(504) 评论(0) 推荐(0) 编辑

SQL Server中与IO相关的等待类型：IO_COMPLETION和PAGEIOLATCH_*

摘要：一个大的SQL语句操作，执行计划中包含了一个merge join操作，观察到SQL长时间处于IO_COMPLETION等待状态，如果是读取相关的表的数据，服务器应该全力为其服务，但是服务器的物理IO又远远没有达到瓶颈。这个IO_COMPLETION到底是在做什么？是表的数据页IO请求还在其他操作？如阅读全文

posted @ 2018-08-10 14:18 MSSQL123 阅读(881) 评论(0) 推荐(0) 编辑

SQL Server 与MySQL中排序规则与字符集相关知识的一点总结

摘要：字符集&&排序规则字符集是针对不同语言的字符编码的集合，比如UTF-8字符集，GBK字符集，GB2312字符集等等，不同的字符集使用不同的规则给字符进行编码排序规则则是在特定字符集的基础上特定的字符排序方式，排序规则是基于字符集的，是对字符集在排序方式维度上的一个划分。排序规则是依赖于字符集的，一阅读全文

posted @ 2018-07-27 16:06 MSSQL123 阅读(1851) 评论(0) 推荐(1) 编辑

基于innodb_print_all_deadlocks从errorlog中解析MySQL死锁日志

摘要：本文是说明如何获取死锁日志记录的，不是说明如何解决死锁问题的。 MySQL的死锁可以通过show engine innodb status;来查看，但是show engine innodb status;只能显示最新的一条死锁，该方式无法完全捕获到系统发生的死锁信息。如果想要记录所有的死锁日志，打开阅读全文

posted @ 2018-07-06 13:34 MSSQL123 阅读(2973) 评论(0) 推荐(0) 编辑

MySQL一般查询日志或者慢查询日志历史数据的清理

摘要： general log&slow query log 对于MySQL的一般查询日志和慢查询日志，开启比较简单，其中公用的一个参数是log_output，log_output控制着慢查询和一般查询日志的输出方向可以是表（mysql.general_log,mysql.slow_log）或者文件（有参数阅读全文

posted @ 2018-07-03 20:01 MSSQL123 阅读(2683) 评论(0) 推荐(2) 编辑

设计表的时候，对变长字段长度选择的一点思考

摘要：设计表时，不管是在MSSQL还是MySQL或者Oracle，变长字段的长度衡量都是要经常面对的。对于一个变长的字段，在满足业务的情况下（其实所谓的满足业务是一个比较模糊的东西），到底是选择varchar(50)还是varchar(200)亦或是varchar(500)？对于保守型选择，往往是选择一个阅读全文

posted @ 2018-06-28 20:01 MSSQL123 阅读(2763) 评论(0) 推荐(3) 编辑

基于MGR+Atlas的读写分离尝试，以及MGR+Keepalived+Atlas自动故障转移+读写分离设想

摘要：目的是尝试altas的读写分离，现有一套搭建好做测试的MGR（单主），于是就腿搓绳，在MGR基础上搭建altas。复制环境准备读写分离理论上讲，跟复制模式没有关系，atlas负责的是重定向读写，至于复制模式自己选择，这里是测试环境，之前测试MGR的单机多实例，MGR单主模式的复制模式，就顺便借助阅读全文

posted @ 2018-06-27 21:01 MSSQL123 阅读(1072) 评论(2) 推荐(2) 编辑

MySQL Tips

摘要： MySQL中的一些Tips，个人总结或者整理自网络不明白为什么MySQL的很多材料中总是喜欢把联合（复合）索引和覆盖索引放在一块说事？ 1，联合索引是一种索引的类型，指创建索引的时候包含了多个字段。2，覆盖索引是一种查询优化行为，索引结构本身就可以满足查询，无需回表，而不是一种索引。3，联合索引和阅读全文

posted @ 2018-06-24 10:32 MSSQL123 阅读(440) 评论(0) 推荐(0) 编辑

基于Keepalived的MySQL高可用

摘要： keepalived负责的是故障转移，至于故障转以后的节点之间数据的一致性问题依赖于具体的复制模式。不管是主从、一主多从还是双主、集群节点个数、主从具体的模式无关（常规复制，半同步复制，GTID复制，多线程复制，甚至可以是MGR）都没有直接的关系。个人认为，MySQL高可用方向，MGR+自动故障转移阅读全文

posted @ 2018-06-24 09:51 MSSQL123 阅读(657) 评论(0) 推荐(0) 编辑

SQLServer与MySQL约束/索引命名的一些差异总结

摘要：约束是数据库完整性的保证，主要分为：主键/外键/唯一键/默认值/check等类别，约束是一个逻辑概念，表示数据的某些特性（不能为空，唯一，必须满足某些条件等等），索引是一个逻辑与物理概念的结合，逻辑上是一种数据结构，物理上要占用实实在在的存储空间。对于主键和唯一键约束，在sqlserver中会自动生阅读全文

posted @ 2018-06-20 22:31 MSSQL123 阅读(4475) 评论(4) 推荐(3) 编辑

MySQL后台线程整理总结

摘要：本文整理自《MySQL技术内幕 InnoDB存储引擎》 MySQL的服务实现通过后台多个线程、内存池、文件交互来实现对外服务的，不同线程实现不同的资源操作，各个线程相互协助，共同来完成数据库的服务。以下简单总结MySQL的一些后台线程以及主要作用，以及innodb引擎的变化升级情况。整体上看，My 阅读全文

posted @ 2018-06-20 21:50 MSSQL123 阅读(2869) 评论(0) 推荐(0) 编辑

MongoDB基础入门

摘要： 1，安装下载解压安装包环境变量配置配置文件（etc/mongodb.cnf）不启用验证方式，直接mongo命令就可以登录数据 2，初始化权限添加管理员账户重启mongodb服务，mongo命令仍能访问数据库但是不能进行任何操作使用身份认证方式登录之后，就可以操作了：mongo --p 阅读全文

posted @ 2018-06-14 22:05 MSSQL123 阅读(579) 评论(0) 推荐(0) 编辑

SQL Server死锁诊断--同一行数据在不同索引操作下引起的死锁

摘要：死锁概述对于数据库中出现的死锁，通俗地解释就是：不同Session（会话）持有一部分资源，并且同时相互排他性地申请对方持有的资源，然后双方都得不到自己想要的资源，从而造成的一种僵持的现象。当然，在任何一种数据库中，这种僵持的情况不会一直持续下去，因为一直持续下去双方永远都无法执行，没有任何意义，在阅读全文

posted @ 2018-06-08 20:19 MSSQL123 阅读(4279) 评论(4) 推荐(4) 编辑

导航