NoSQL入门第四天——事务与主从复制
一、Redis的事务
1.是什么
可以一次执行多个命令,本质是一组命令的集合。一个事务中的
所有命令都会序列化,按顺序地串行化执行而不会被其它命令插入,不许加塞
(更多请参见官网事务介绍)
2.能干什么
一个队列中,一次性、顺序性、排他性的执行一系列命令
3.怎么干
摘取官网:
常用如下:
开启一个事务:(MULTI)
添加若干命令加入队列,执行事务(EXEC)
添加操作后不想执行,放弃事务(DISCARD)
一个出错,全体受罚,连坐(一个出错,其它事务内操作均不成功)
谁的命令加入队列时正常执行时报错,则冤头债主,只找它(这里k1的v1不是Integer不能增加)
//和上一个的区别就是这个是加入队列时成功,执行时出错,而上一个加入队列时就出错了
所以说,Redis对事务的支持,是部分支持
watch监控
悲观锁/乐观锁/CAS(Check And Set)
悲观锁(会有点像行锁和表锁)
悲观锁(Pessimistic Lock), 顾名思义,就是很悲观,每次去拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多这种锁机制,比如行锁,表锁等,读锁,写锁等,都是在做操作之前先上锁
乐观锁(一般用乐观锁,还是乐观点好)
乐观锁(Optimistic Lock), 顾名思义,就是很乐观,每次去拿数据的时候都认为别人不会修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新这个数据,可以使用版本号(在记录后加一个版本号,通过版本号来判断是否进行了修改)等机制。乐观锁适用于多读的应用类型,这样可以提高吞吐量,
CAS
redis中使用 check-and-set 操作实现乐观锁
模拟场景:模拟信用卡消费,可用额度:balance,当前欠款:debt
无加塞篡改,先监控再开启multi,保证两笔金额变动在同一个事务内(如果监控的变量在其它事务地方发生了变化,将会报错)
有加塞篡改,监控了key,如果key被修改了,后面一个事务的执行失效(以前一个事务执行结果为准)
UNWATCH(WATCH之后的设值是模拟其它终端进行了修改,实际操作中可用通过boolean等变量来控制,当有人修改时,放弃监控,再获取最新的进行监控修改,直到没有人修改,再开始监控,开启事务)——此命令是取消监控所有key
一旦执行了exec之前加的监控锁都会被取消掉了,不管成功失败,本次操作就清了(操作结束)
小结:
Watch指令,类似乐观锁,事务提交时,如果Key的值已被别的客户端改变,比如某个list已被别的客户端push/pop过了,整个事务队列都不会被执行。
通过WATCH命令在事务执行之前监控了多个Keys,倘若在WATCH之后有任何Key的值发生了变化,EXEC命令执行的事务都将被放弃,同时返回Nullmulti-bulk应答以通知调用者事务执行失败
4.事务三阶段
开启:以MULTI开始一个事务
入队:将多个命令入队到事务中,接到这些命令并不会立即执行,而是放到等待执行的事务队列里面
执行:由EXEC命令触发事务
5.事务三特性
单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。
没有隔离级别的概念:队列中的命令没有提交之前都不会实际的被执行,因为事务提交前任何指令都不会被实际执行,也就不存在”事务内的查询要看到事务里的更新,在事务外查询不能看到”这个让人万分头痛的问题。
不保证原子性:redis同一个事务中如果有一条命令执行失败,其后的命令仍然会被执行,没有回滚
二、Redis的发布和订阅
1.是什么
(兼职做一下发布,实际还是做分布式缓存的)
进程间的一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息。
2.实例:
先订阅后发布后才能收到消息,
1 可以一次性订阅多个,SUBSCRIBE c1 c2 c3
2 消息发布,PUBLISH c2 hello-redis
===========================================================================================================
3 订阅多个,通配符*, PSUBSCRIBE new*
4 收取消息, PUBLISH new1 redis2015
左边发布,右边获取:
三、主从复制
1.是什么
行话:也就是我们所说的主从复制,主机数据更新后根据配置和策略,自动同步到备机的master/slaver机制,Master以写为主,Slave以读为主
2.能干什么
读写分离 容灾恢复
3.怎么干
配从(库)不配主(库)
从库配置:slaveof 主库IP 主库端口
每次与master断开之后,都需要重新连接,除非你配置进redis.conf文件
info replication
开始实验
拷贝多个redis.conf文件(用于模拟多台机器)
开启daemonize yes
pid文件名字
指定端口
log文件名字
dump.rdb名字
常用3招:其实已经是过时,后面将会由哨兵模式更先进的模式取代
一主二仆
开启3台机器模拟如下:
启动情况如下:
使用 INFO replication
: 查看主/从复制信息(此时还是三台主机身份)
使用 slaveof 192.168.1.1 6379进行主从复制:(后两台使用命令后变为从机)
注意,此时从机是可以取得k1 k2 k3的(即使从机是从k4才开始开启备份),也就是说,从机一旦接管,便从头录到尾
此时查看主机79信息:身份是主机,后跟着两个小弟(从机),再在从机中查看主从复制信息可以看到是slave(从机状态)
假设三台机器都执行相同的命令,思考结果:
//结果:只有主机可以正确执行,从机将会出错。也就是从机无法覆盖主机。
假设主机挂了,思考此时从机是代替主机上位,还是原地待命(假设由你设计,哪种方案)
//主机关机后,从机之前备份的数据是存在的(不然,备份意义何在呢)
可以发现还是从机身份,不过连接状态为down
此时再把主机开启,并且进行操作
//可以发现是可以获取到最新的值的。(主机一旦正常,一切照旧)
假设其中一台从机挂了,另外的从机是正常运作的,而主机当然不受影响:
再把从机启动,发现身份信息翻身为主机了
但是其它机器在80SHUTDOWN期间的操作,80的无从获取的;原因是前面说过的,只要从机断开连接(自己挂了),就要重新和主机连接
不然就认为是一台独立的机器而不是从机(除非写进它的配置文件)
当然了,只要它重新和主机连接,重新作为从机,是可以正常运作的(再增量备份一份,最新的k8也有了):
薪火相传
1.上一个Slave可以是下一个slave的Master,Slave同样可以接收其他slaves的连接和同步请求,
那么该slave作为了链条中下一个的master,可以有效减轻master的写压力。
2.中途变更转向:会清除之前的数据,重新建立拷贝最新的
3.slaveof 新主库IP 新主库端口
原先是80 81挂在79上,变更为81挂80,80依旧挂79
此时查看79主从复制信息:其下只有一个直接从机
在第一台主机上设值,可以看到直接和间接从机都能成功获取(薪火相传是OK的)
查看80的主从复制信息:总体而言是一个slave,但它同时连接了一个slave(包工头还是打工的,但手下还管了人)
反客为主
SLAVEOF no one
使当前数据库停止与其他数据库的同步,转成主数据库
先将上一个实验中间接从机81改回来,使环境正常:
假设主机挂了,我们不再像第一个实验一样,傻傻的等待主机苏醒,而是从从机中选出新主机上位:SLAVEOF no one(不再为奴)
现在主机变更为80,现在81就不傻傻的等了,跟着新主机81混了。格局变更
现在老主机再回来,不过目前80 81已经组成新的格局,老主机再次苏醒,可惜无法入局了:
4.复制原理
仔细区分思考、,是增量还是全量
1.slave启动成功连接到master后会发送一个sync命令
2.Master接到命令启动后台的存盘进程,同时收集所有接收到的用于修改数据集命令,在后台进程执行完毕之后,master将传送整个数据文件到slave,以完成一次完全同步
3.全量复制:而slave服务在接收到数据库文件数据后,将其存盘并加载到内存中。
4.增量复制:Master继续将收集到的修改指令,依次发送给slave,完成同步
5.但是只要是重新连接master,一次完全同步(全量复制)将被自动执行
5.哨兵模式(sentinel)
是什么
反客为主的自动版,能够后台监控主机是否故障,如果故障了根据投票数自动将从库转换为主库
怎么干
调整结构,6379带着80、81
开始实验之前,依旧恢复原始环境(80 81都跟着79走,可以在79查看是否环境正常)
自定义的/myredis目录下新建sentinel.conf文件,名字绝不能错
配置哨兵,填写内容
vim sentinel进行配置
sentinel monitor 被监控数据库名字(自己起名字) 127.0.0.1 6379 1
上面最后一个数字1,表示主机挂掉后salve投票看让谁接替成为主机,得票数多少后成为主机
启动哨兵
redis-sentinel /myredis/sentinel.conf
上述目录依照各自的实际情况配置,可能目录不同
此时主机出现故障,哨兵开始工作:
选出主机,更换格局:
倘若此时老的主机回来,哨兵模式下会有何变化:
开始启动是master,经哨兵监控调剂,成为从机!
上述实验为监控一个master,实际:一组sentinel能同时监控多个Master
6.复制的缺点
复制延时
由于所有的写操作都是先在Master上操作,然后同步更新到Slave上,所以从Master同步到Slave机器有一定的延迟,当系统很繁忙的时候,延迟问题会更加严重,Slave机器数量的增加也会使这个问题更加严重。