redis

Redis

Redis安装

wget http://download.redis.io/releases/redis-6.2.4.tar.gz
​
tar -xf redis-6.2.4.tar.gz
​
cd redis-6.2.4
​
make
​
cd src/ && make install
​
mkdir -p /zysoft/redis
​
cd /zysoft/redis && mkdir etc && mkdir bin
​
cp redis-6.2.4/redis.conf  etc/
​
cd redis-6.2.4/src 
​
cp mkreleasehdr.sh redis-benchmark redis-check-aof redis-check-rdb redis-cli redis-server redis-sentinel /zysoft/redis/bin

 

配置文件

# redis进程是否以守护进程的方式运行，yes为是，no为否(不以守护进程的方式运行会占用一个终端)。
daemonize no
# 指定redis进程的PID文件存放位置
pidfile /var/run/redis.pid
# redis进程的端口号
port 6379
#是否开启保护模式，默认开启。要是配置里没有指定bind和密码。开启该参数后，redis只会本地进行访问，拒绝外部访问。要是开启了密码和bind，可以开启。否则最好关闭设置为no。
protected-mode yes
# 绑定的主机地址
bind 127.0.0.1
# 客户端闲置多长时间后关闭连接，默认此参数为0即关闭此功能
timeout 300
# redis日志级别，可用的级别有debug.verbose.notice.warning
loglevel verbose
# log文件输出位置，如果进程以守护进程的方式运行，此处又将输出文件设置为stdout的话，就会将日志信息输出到/dev/null里面去了
logfile stdout
# 设置数据库的数量，默认为0可以使用select <dbid>命令在连接上指定数据库id
databases 16
# 指定在多少时间内刷新次数达到多少的时候会将数据同步到数据文件
save <seconds> <changes>
# 指定存储至本地数据库时是否压缩文件，默认为yes即启用存储
rdbcompression yes
# 指定本地数据库文件名
dbfilename dump.db
# 指定本地数据问就按存放位置
dir ./
# 指定当本机为slave服务时，设置master服务的IP地址及端口，在redis启动的时候他会自动跟master进行数据同步
replicaof <masterip> <masterport>
# 当master设置了密码保护时，slave服务连接master的密码
masterauth <master-password>
# 设置redis连接密码，如果配置了连接密码，客户端在连接redis是需要通过AUTH<password>命令提供密码，默认关闭
requirepass footbared
# 设置同一时间最大客户连接数，默认无限制。redis可以同时连接的客户端数为redis程序可以打开的最大文件描述符，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回 max number of clients reached 错误信息
maxclients 128
# 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key。当此方法处理后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区
maxmemory<bytes>
# 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no。
appendonly no
# 指定跟新日志文件名默认为appendonly.aof
appendfilename appendonly.aof
# 指定更新日志的条件，有三个可选参数 - no：表示等操作系统进行数据缓存同步到磁盘(快)，always：表示每次更新操作后手动调用fsync()将数据写到磁盘(慢，安全)， everysec：表示每秒同步一次(折衷，默认值)；
appendfsync everysec
​

 

Redis基础命令操作

启动
cd /zysoft/redis/bin
./redis-server ../etc/redis.conf
​
停止
./redis-cli -p 端口
127.0.0.1:6380> AUTH <redis-passwod>
OK
127.0.0.1:6380> SHUTDOWN
not connected> exit
​
127.0.0.1:6380> info replication    #查看信息
​
127.0.0.1:6380>  set a 1            #写入数据
127.0.0.1:6380>  get a              #查看数据

 

 

Redis主从配置及数据同步

IP地址	端口号	角色
127.0.0.1	6379	master
127.0.0.1	6380	slave
127.0.0.1	6381	slave

单机模式下，如果Redis宕机了，那服务就会不可用了。所以我们需要搭建主从集群。
​
主数据库可读可写
从数据库只能读（从数据库从主数据库同步数据）
​
但是主从模式存在一个问题就是当主服务断掉后，服务将只可读不可写

 

 

Redis主配置文件

bind：0.0.0.0                #允许所有连接redis服务器
port：6379                   #redis接口
protected-mode：no           #保护默认，开启只能本地连接
daemonize：yes               #设置后台启动
logfile：./redis.log         #日志位置
requirepass：zysoft2022      #设置redis密码
masterauth：zysoft2022       #slave连接master的密码

 

Redis从配置文件

bind：0.0.0.0                #允许所有连接redis服务器
port：6380                   #redis接口
protected-mode：no           #保护默认，开启只能本地连接
daemonize：yes               #设置后台启动
logfile：./redis.log         #日志位置
requirepass：zysoft2022      #设置redis密码
masterauth：zysoft2022       #slave连接master的密码
replicaof 127.0.0.1 6379    #指定当主机为slave服务时,设置master服务器的IP和端口,redis 启动的时候会自动跟 master 进行数据同步

 

由于我们搭建的集群需要自动容灾切换，主数据库可能会变成从数据库，所以三台机器上都需要同时设置 requirepass 和 masterauth 配置项。

主从验证

连接主redis
cd /zysoft/redis/etc
./redis-cli
127.0.0.1:6379> AUTH <redis-passwod>
127.0.0.1:6379>  set a 1
127.0.0.1:6379>  get a
"1"
​
连接从redis
./redis-cli -p 6380
127.0.0.1:6380> AUTH <redis-passwod>
127.0.0.1:6380> get a
"1"

 

Sentinel模式(哨兵模式)

1.哨兵模式详解

Redis Sentinel是Redis的一种高可用性解决方案，由一个或多个Sentinel实例组成。它可以监控任意多个主服务器，以及这些主服务器下的从服务器，并在被监控的主服务器处于下线状态时，自动将下线主服务器的某个从服务器升级为一个新的主服务器，它主要功能如下：

监控：Sentinel会不断的去检查你的主服务器和从服务器是否正常运行
通知：当被监控的某个Redis服务器出现了问题，Sentinel可以通过API向管理员或者其他应用程序发送通知
故障迁移：当主服务器不能正常工作时，Sentinel会自动进行故障迁移，也就是主从切换
统一的配置管理：连接者询问Sentinel取得主从的地址

 

2.哨兵原理

Sentinel使用的算法核心是Raft算法，主要用途就是用于分布式系统，系统容错，以及Leader选举，每个Sentinel都需要定期的执行以下任务：

每个Sentinel会自动发现其他的Sentinel和从服务器，它以每秒钟一次的频率向它所知的主服务器，从服务器以及Sentinel实例发送一个PING命令

如果一个实例距离最后一次有效回复PING命令的时间超过down-after-milliseconds选项所指定的值，那么这个实例会被Sentinel标记为主观下线

如果一个主服务器被标记为主观下线，那么正在监视这个主服务器的所有Sentinel要以每秒一次的频率确认主服务器的确进入了主观下线状态。

如果一个主服务器被标记为主观下线，并且有足够数量的Sentinel在指定时间范围内同意这一判断，那么这个主服务器被标记为客观下线。

在一般情况下，每个Sentinel会以每10秒一次的频率向它已知的所有主服务器和从服务器发送INFO命令。当一个主服务器被Sentinel标记为客观下线时，Sentinel向下线主服务器的所有从服务器发送INFO命令的频率会从十秒一次改为每秒一次

当没有足够数量的Sentinel同意主服务器已经下线，主服务的客观下线状态就会被解除。当主服务器重新向Sentinel的PING命令返回有效恢复时，祝福我的主观下线就会被解除

3.配置文件

# 哨兵sentinel实例运行的端口，默认26379  
port 26379
# 哨兵sentinel的工作目录
dir ./
# 是否开启保护模式，默认开启。
protected-mode:no
# 是否设置为后台启动。
daemonize:yes

# 哨兵sentinel的日志文件
logfile:./sentinel.log

# 哨兵sentinel监控的redis主节点的 
## ip：主机ip地址
## port：哨兵端口号
## master-name：可以自己命名的主节点名字（只能由字母A-z、数字0-9 、这三个字符".-_"组成。）
## quorum：当这些quorum个数sentinel哨兵认为master主节点失联 那么这时 客观上认为主节点失联了  
# sentinel monitor <master-name> <ip> <redis-port> <quorum>  
sentinel monitor mymaster 127.0.0.1 6379 2

# 当在Redis实例中开启了requirepass，所有连接Redis实例的客户端都要提供密码。
# sentinel auth-pass <master-name> <password>  
sentinel auth-pass mymaster 123456  

# 指定主节点应答哨兵sentinel的最大时间间隔，超过这个时间，哨兵主观上认为主节点下线，默认30秒  
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 30000  

# 指定了在发生failover主备切换时，最多可以有多少个slave同时对新的master进行同步。这个数字越小，完成failover所需的时间就越长；反之，但是如果这个数字越大，就意味着越多的slave因为replication而不可用。可以通过将这个值设为1，来保证每次只有一个slave，处于不能处理命令请求的状态。
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1  

# 故障转移的超时时间failover-timeout，默认三分钟，可以用在以下这些方面：
## 1. 同一个sentinel对同一个master两次failover之间的间隔时间。  
## 2. 当一个slave从一个错误的master那里同步数据时开始，直到slave被纠正为从正确的master那里同步数据时结束。  
## 3. 当想要取消一个正在进行的failover时所需要的时间。
## 4.当进行failover时，配置所有slaves指向新的master所需的最大时间。不过，即使过了这个超时，slaves依然会被正确配置为指向master，但是就不按parallel-syncs所配置的规则来同步数据了
# sentinel failover-timeout <master-name> <milliseconds>  
sentinel failover-timeout mymaster 180000

# 当sentinel有任何警告级别的事件发生时（比如说redis实例的主观失效和客观失效等等），将会去调用这个脚本。一个脚本的最大执行时间为60s，如果超过这个时间，脚本将会被一个SIGKILL信号终止，之后重新执行。
# 对于脚本的运行结果有以下规则：  
## 1. 若脚本执行后返回1，那么该脚本稍后将会被再次执行，重复次数目前默认为10。
## 2. 若脚本执行后返回2，或者比2更高的一个返回值，脚本将不会重复执行。  
## 3. 如果脚本在执行过程中由于收到系统中断信号被终止了，则同返回值为1时的行为相同。
# sentinel notification-script <master-name> <script-path>  
sentinel notification-script mymaster /var/redis/notify.sh

# 这个脚本应该是通用的，能被多次调用，不是针对性的。
# sentinel client-reconfig-script <master-name> <script-path>
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh

 

IP地址	端口号	角色
127.0.0.1	26379	sentinel
127.0.0.1	26380	sentinel
127.0.0.1	26381	sentinel

 

哨兵搭建

cd redis-6.2.4
cp sentinel.conf /zysoft/redis/etc

cd /zysoft/redis/etc
vi sentinel.conf

配置文件修改
//端口默认为26379。
port:26379
//关闭保护模式，可以外部访问。
protected-mode:no
//设置为后台启动。
daemonize:yes
//日志文件。
logfile:./sentinel.log
//指定主机IP地址和端口，并且指定当有2台哨兵认为主机挂了，则对主机进行容灾切换。
sentinel monitor mymaster 192.168.231.130 6379 2
//当在Redis实例中开启了requirepass，这里就需要提供密码。
sentinel auth-pass mymaster pwdtest@2019
//这里设置了主机多少秒无响应，则认为挂了。
sentinel down-after-milliseconds mymaster 3000
//主备切换时，最多有多少个slave同时对新的master进行同步，这里设置为默认的1。
sentinel parallel-syncs mymaster 1
//故障转移的超时时间，这里设置为三分钟。
sentinel failover-timeout mymaster 180000

./redis-sentinel ../etc/sentinel.conf			#启动三个哨兵

 

容灾切换

模拟主机宕机，将redis主服务器关闭,等待几分钟
./redis-cli
127.0.0.1:6379> auth <redis-passwd>
127.0.0.1:6379> shutdown

其中一台从redis将会变成主，在这台从变主的redis日志里能清晰的看到哨兵选举它为主的过程

参考文档：https://blog.csdn.net/xch_yang/article/details/104019552?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165948733716782248570081%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=165948733716782248570081&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~pc_rank_34-29-104019552-null-null.142^v39^pc_rank_34_ctr0&utm_term=redis&spm=1018.2226.3001.4187

 

集群模式

优缺点

1.好处
实现扩容
分摊压力
无中心配置相对简单

2.不足
多键操作是不被支持的
多键的Redis事务是不被支持的。lua脚本不被支持
由于集群方案出现较晚，很多公司已经采用了其他的集群方案，而代理或者客户端分片的方案想要迁移至redis cluster，需要整体迁移而不是逐步过渡，复杂度较大。

 

配置文件

#修改配置文件
port 7001  #端口
logfile "./redis_7001.log"      #日志名称
dbfilename dump7001.rdb
cluster-enabled yes #启用集群模式
cluster-config-file nodes-7001.conf
cluster-node-timeout 5000 #超时时间
appendonly yes # 指定持久化方式，开启 AOF 模式
daemonize yes #后台运行
protected-mode no #非保护模式
pidfile  /var/run/redis_7001.pid
bind 172.20.10.7 #127.0.0.1改为本机ip地址,可用ifconfig查看ip

 

错误处理

[ERR] Node 192.168.20.160:6379 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

./redis-cli 
127.0.0.1:6379> AUTH zysoft2022
OK
127.0.0.1:6379> keys *
1) "a"
127.0.0.1:6379> flushdb
OK
127.0.0.1:6379> keys *
(empty array)
127.0.0.1:6379> exit
[root@k8sworker bin]# ./redis-cli -p 6380
127.0.0.1:6380> auth zysoft2022
OK
127.0.0.1:6380> keys *
(empty array)
127.0.0.1:6380> exit

 

启动集群

./redis-cli --cluster create 192.168.20.160:7001 192.168.20.160:7002 192.168.20.160:7003 192.168.20.160:7004 192.168.20.160:7005 192.168.20.160:7006 --cluster-replicas 1
#该选项–cluster-replicas 1意味着我们希望每个创建的主服务器都有一个从服


编写启动脚本
vi redis-cluster-start.sh
#!/bin/bash
cd /redis/bin
./redis-server ../redis-conf/7001/redis.conf
./redis-server ../redis-conf/7002/redis.conf
./redis-server ../redis-conf/7003/redis.conf
./redis-server ../redis-conf/7004/redis.conf
./redis-server ../redis-conf/7005/redis.conf
./redis-server ../redis-conf/7006/redis.conf

chmod +x redis-server.sh

停止脚本
vi redis-cluster-stop.sh
#!/bin/bash
cd /redis/bin
./redis-cli -c -p 7001 shutdown
./redis-cli -c -p 7002 shutdown
./redis-cli -c -p 7003 shutdown
./redis-cli -c -p 7004 shutdown
./redis-cli -c -p 7005 shutdown
./redis-cli -c -p 7006 shutdown

提示：-a访问服务端密码，-c表示集群模式，-h指定ip地址，-p指定端口号

 

基本命令及配置密码

redis-cli -c -p 7001		#表示以集群模式登录，不加以普通模式登录

cluster nodes 				#查看所有节点信息
cluster info				#查看当前节点信息

#设置每个节点的连接密码
config set masterauth <密码>
#设置密码
config set requirepass <密码>
#将配置写到redis.conf中
config rewrite

#配置文件添加密码
masterauth “自己的密码”

requirepass “自己的密码”
缺点：需要重启整个集群才能生效

 

添加环境变量

redis-cli命令位置： /redis/bin/redis-cli

vim /etc/profile
export PATH=$PATH:/redis/bin
source /etc/profile			#文件立即生效