NoSQL之Redis集群搭建
摘要
redis是一个开源的key value存储系统，受到了广大互联网公司的青睐。redis3.0版本之前只支持单例模式，在3.0版本及以后才支持集群，我这里用的是redis3.0.0版本；
redis集群采用P2P模式，是完全去中心化的，不存在中心节点或者代理节点；
redis集群是没有统一的入口的，客户端（client）连接集群的时候连接集群中的任意节点（node）即可，集群内部的节点是相互通信的（PING-PONG机制），每个节点都是一个redis实例；
为了实现集群的高可用，即判断节点是否健康（能否正常使用），redis-cluster有这么一个投票容错机制：如果集群中超过半数的节点投票认为某个节点挂了，那么这个节点就挂了（fail）。这是判断节点是否挂了的方法；
那么如何判断集群是否挂了呢? 如果集群中任意一个节点挂了，而且该节点没有从节点（备份节点），那么这个集群就挂了。这是判断集群是否挂了的方法；
那么为什么任意一个节点挂了（没有从节点）这个集群就挂了呢？ 因为集群内置了16384个slot（哈希槽），并且把所有的物理节点映射到了这16384[0-16383]个slot上，或者说把这些slot均等的分配给了各个节点。当需要在Redis集群存放一个数据（key-value）时，redis会先对这个key进行crc16算法，然后得到一个结果。再把这个结果对16384进行求余，这个余数会对应[0-16383]其中一个槽，进而决定key-value存储到哪个节点中。所以一旦某个节点挂了，该节点对应的slot就无法使用，那么就会导致集群无法正常工作。
综上所述，每个Redis集群理论上最多可以有16384个节点。
一、案例概述
1.1、单节点Redis服务器带来的问题
1.1.1、单点故障，服务不可用
1.1.2、无法处理大量的并发数据请求
1.1.3、数据丢失——大灾难
1.2、解决方法
搭建Redis集群
二、案例前置知识点
2.1、Redis集群介绍
2.1.1、Redis集群是一个提供在多个Redis间节点间共享数据的程序集
2.1.2、Redis集群并不支持处理多个keys的命令，因为这需要在不同的节点间移动数据，从而达不到像Redis那样的性能，在高负载的情况下可能会导致不可预料的错误
2.1.3、Redis集群通过分区来提供一定程度的可用性，在实际环境中当某个节点宕机或者不可达的情况下可继续处理命令
2.2、Redis集群的优势
2.2.1、自动分割数据到不同的节点上
2.2.2、整个集群的部分节点失败或者不可达的情况下能够继续处理命令
2.3、Redis集群的实现方法
2.3.1、有客户端分片
2.3.2、代理分片
2.3.3、服务器端分片
2.4、Redis-Cluster数据分片
2.4.1、Redis集群没有使用一致性hash，而是引入了哈希槽概念
2.4.2、Redis集群有16384个哈希槽
2.4.3、每个key通过CRC16校验后对16384取模来决定放置槽
2.4.4、集群的每个节点负责一部分哈希槽
2.4.5、以3个节点组成的集群为例
①节点A包含0到5500号哈希槽
②节点B包含5501到11000号哈希槽
③节点C包含11001到16384号哈希槽
2.4.6、支持添加或者删除节点
①添加删除节点无需停止服务
②例如：
1）如果想新添加个节点D，需要移动节点A、B、C中的部分槽到D上
2）如果想移除节点A，需要将A中的槽移到B和C上，再将没有任何槽的A节点从集群中移除
2.4.7、Redis-Cluster的主从复制模型
①集群中具有A，B，C三个节点，如果节点B失败了，整个集群就会因缺少5501-11000这个范围的槽而不可用
②为每个节点添加一个从节点A1，B1，C1，整个集群便有三个master节点和三个slave节点组成，在节点B失败后，集群便会选举B1为新的主节点继续服务
③当B和B1都失败后，集群将不可用
三、Redis集群搭建
3.1、案例拓扑图
3.2、环境
|
Master1服务器 |
20.0.0.10 |
|
Master2服务器 |
20.0.0.20 |
|
Master3服务器 |
20.0.0.30 |
|
Slave1服务器 |
20.0.0.40 |
|
Slave2服务器 |
20.0.0.50 |
|
Slave3服务器 |
20.0.0.60 |
3.3、安装Redis
所有服务器上都需要安装，只在master1上演示,其他安装都一样
1 [root@master1 ~]# tar zxf redis-5.0.7.tar.gz
2 [root@master1 ~]# cd redis-5.0.7/
3 [root@master1 redis-5.0.7]# make -j2
4 [root@master1 redis-5.0.7]# make PREFIX=/usr/local/redis install
5 [root@master1 redis-5.0.7]# ln -s /usr/local/redis/bin/* /usr/local/bin/
6 [root@master1 redis-5.0.7]# cd utils/
7 [root@master1 utils]# ./install_server.sh
8 Welcome to the redis service installer
9 This script will help you easily set up a running redis server
10
11 Please select the redis port for this instance: [6379]
12 Selecting default: 6379
13 Please select the redis config file name [/etc/redis/6379.conf]
14 Selected default - /etc/redis/6379.conf
15 Please select the redis log file name [/var/log/redis_6379.log]
16 Selected default - /var/log/redis_6379.log
17 Please select the data directory for this instance [/var/lib/redis/6379]
18 Selected default - /var/lib/redis/6379
19 Please select the redis executable path [/usr/local/bin/redis-server]
20 Selected config:
21 Port : 6379
22 Config file : /etc/redis/6379.conf
23 Log file : /var/log/redis_6379.log
24 Data dir : /var/lib/redis/6379
25 Executable : /usr/local/bin/redis-server
26 Cli Executable : /usr/local/bin/redis-cli
27 Is this ok? Then press ENTER to go on or Ctrl-C to abort.
28 Copied /tmp/6379.conf => /etc/init.d/redis_6379
29 Installing service...
30 Successfully added to chkconfig!
31 Successfully added to runlevels 345!
32 Starting Redis server...
33 Installation successful!
3.4、修改配置文件
所有服务器上都需要修改，只在master1上演示
1 [root@localhost utils]# vi /etc/redis/6379.conf
2 bind 20.0.0.10 #删除原来的127.0.0.1，改成自己的IP
3
4 cluster-enabled yes #前面的注释去掉
5
6 appendonly yes #开启AOF持久化
7
8 cluster-config-file nodes-6379.conf #前面的注释去掉
9
10 cluster-node-timeout 15000 #前面的注释去掉
11
12 cluster-require-full-coverage no #前面的注释去掉，把yes改成no，表示当负责一个插槽的主库下线且没有相应的从库进行故障恢复时，集群仍然可用
3.5、开启Redis服务
所有服务器上都需要开启，只在master1上演示
1 [root@master1 utils]# /etc/init.d/redis_6379 restart
2 Stopping ...
3 Waiting for Redis to shutdown ...
4 Redis stopped
5 Starting Redis server...
6 [root@master1 utils]# netstat -anpt | grep 6379
7 tcp 0 0 20.0.0.10:6379 0.0.0.0:* LISTEN 18943/redis-server
8 tcp 0 0 20.0.0.10:16379 0.0.0.0:* LISTEN 18943/redis-server
3.6、在master1上使用脚本创建集群
gem是ruby写的软件包。rubygems是用来打包、下载、安装、使用gem软件包的工具。要搭建集群的话，需要使用一个工具（脚本文件），这个工具在redis解压文件的源代码里。因为这个工具是一个ruby脚本文件，所以这个工具的运行需要ruby的运行环境，就相当于java语言的运行需要在jvm上。所以需要安装ruby。
0 [root@master1 utils]# yum -y install ruby rubygems
1 [root@master1 utils]# cd
2 [root@master1 ~]# gem install redis-3.2.0.gem
3 Successfully installed redis-3.2.0
4 Parsing documentation for redis-3.2.0
5 Installing ri documentation for redis-3.2.0
6 1 gem installed
7 [root@master1 ~]# cd redis-5.0.7/src/
8 [root@master1 src]# redis-cli --cluster create --cluster-replicas 1 20.0.0.10:6379 20.0.0.20:6379 20.0.0.30:6379 20.0.0.40:6379 20.0.0.50:6379 20.0.0.60:6379
9 >>> Performing hash slots allocation on 6 nodes...
10 Master[0] -> Slots 0 - 5460
11 Master[1] -> Slots 5461 - 10922
12 Master[2] -> Slots 10923 - 16383
13 Adding replica 20.0.0.50:6379 to 20.0.0.10:6379
14 Adding replica 20.0.0.60:6379 to 20.0.0.20:6379
15 Adding replica 20.0.0.40:6379 to 20.0.0.30:6379
16 M: 7ae810725eb6ff5d3c8b222dff08bed993f7738f 20.0.0.10:6379
17 slots:[0-5460] (5461 slots) master
18 M: 0229fcffb856fac03854aebcc053ff4115a8b248 20.0.0.20:6379
19 slots:[5461-10922] (5462 slots) master
20 M: d29fc5dcf1765ff01adc89aae5ec27131d05d311 20.0.0.30:6379
21 slots:[10923-16383] (5461 slots) master
22 S: bb00f5e1da389a397580abdeec8bfab15cf2b404 20.0.0.40:6379
23 replicates d29fc5dcf1765ff01adc89aae5ec27131d05d311
24 S: f1843f0b57222c396f8c72acbbe5a31bffdfe790 20.0.0.50:6379
25 replicates 7ae810725eb6ff5d3c8b222dff08bed993f7738f
26 S: 7316d95a643a9ffd439e37d248ff354c69cdea0b 20.0.0.60:6379
27 replicates 0229fcffb856fac03854aebcc053ff4115a8b248
28 Can I set the above configuration? (type 'yes' to accept): yes #输入yes
29 >>> Nodes configuration updated
30 >>> Assign a different config epoch to each node
31 >>> Sending CLUSTER MEET messages to join the cluster
32 Waiting for the cluster to join
33 ....
34 >>> Performing Cluster Check (using node 20.0.0.10:6379)
35 M: 7ae810725eb6ff5d3c8b222dff08bed993f7738f 20.0.0.10:6379
36 slots:[0-5460] (5461 slots) master
37 1 additional replica(s)
38 M: 0229fcffb856fac03854aebcc053ff4115a8b248 20.0.0.20:6379
39 slots:[5461-10922] (5462 slots) master
40 1 additional replica(s)
41 M: d29fc5dcf1765ff01adc89aae5ec27131d05d311 20.0.0.30:6379
42 slots:[10923-16383] (5461 slots) master
43 1 additional replica(s)
44 S: 7316d95a643a9ffd439e37d248ff354c69cdea0b 20.0.0.60:6379
45 slots: (0 slots) slave
46 replicates 0229fcffb856fac03854aebcc053ff4115a8b248
47 S: f1843f0b57222c396f8c72acbbe5a31bffdfe790 20.0.0.50:6379
48 slots: (0 slots) slave
49 replicates 7ae810725eb6ff5d3c8b222dff08bed993f7738f
50 S: bb00f5e1da389a397580abdeec8bfab15cf2b404 20.0.0.40:6379
51 slots: (0 slots) slave
52 replicates d29fc5dcf1765ff01adc89aae5ec27131d05d311
53 [OK] All nodes agree about slots configuration.
54 >>> Check for open slots...
55 >>> Check slots coverage...
56 [OK] All 16384 slots covered.
3.7、测试群集
1 [root@master1 src]# redis-cli -h 20.0.0.10 -p 6379 -c
2 20.0.0.10:6379> set centos 7.6
3 OK
4 20.0.0.10:6379> quit
5 [root@master1 src]# redis-cli -h 20.0.0.20 -p 6379 -c
6 20.0.0.20:6379> get centos
7 -> Redirected to slot [467] located at 20.0.0.10:6379
8 "7.6"
9 20.0.0.10:6379> quit
10 [root@master1 src]# redis-cli -h 20.0.0.50 -p 6379 -c
11 20.0.0.50:6379> get centos
12 -> Redirected to slot [467] located at 20.0.0.10:6379
13 "7.6"
14 20.0.0.10:6379> cluster info #查看集群状态
15 cluster_state:ok
16 cluster_slots_assigned:16384
17 cluster_slots_ok:16384
18 cluster_slots_pfail:0
19 cluster_slots_fail:0
20 cluster_known_nodes:6
21 cluster_size:3
22 cluster_current_epoch:6
23 cluster_my_epoch:1
24 cluster_stats_messages_ping_sent:383
25 cluster_stats_messages_pong_sent:373
26 cluster_stats_messages_sent:756
27 cluster_stats_messages_ping_received:368
28 cluster_stats_messages_pong_received:383
29 cluster_stats_messages_meet_received:5
30 cluster_stats_messages_received:756
31 20.0.0.10:6379> cluster nodes #查看节点信息
32 0229fcffb856fac03854aebcc053ff4115a8b248 20.0.0.20:6379@16379 master - 0 1605018468897 2 connected 5461-10922
33 d29fc5dcf1765ff01adc89aae5ec27131d05d311 20.0.0.30:6379@16379 master - 0 1605018466000 3 connected 10923-16383
34 7316d95a643a9ffd439e37d248ff354c69cdea0b 20.0.0.60:6379@16379 slave 0229fcffb856fac03854aebcc053ff4115a8b248 0 1605018467000 6 connected
35 7ae810725eb6ff5d3c8b222dff08bed993f7738f 20.0.0.10:6379@16379 myself,master - 0 1605018465000 1 connected 0-5460
36 f1843f0b57222c396f8c72acbbe5a31bffdfe790 20.0.0.50:6379@16379 slave 7ae810725eb6ff5d3c8b222dff08bed993f7738f 0 1605018467876 5 connected
37 bb00f5e1da389a397580abdeec8bfab15cf2b404 20.0.0.40:6379@16379 slave d29fc5dcf1765ff01adc89aae5ec27131d05d311 0 1605018468000 4 connected
