76-JT项目14(Redis分片机制/哨兵机制)
1. Redis分片机制
1.1 分片机制说明
前提说明: redis可以通过修改内存的大小 实现数据的保存.但是内存的资源不易设置的过大,因为很多的时间都浪费在内存的寻址中.
需求: 如果有海量的数据,需要redis存储 问:应该如何处理?
解决方案: 可以采用Redis分片机制 实现内存数据的扩容.
知识点: 采用redis分片 只要的目的就是为了实现内存扩容.从而解决海量数据存储的问题
用户在使用分片机制时,将多台redis当做1台使用.
1.2 Redis分片搭建步骤
1.2.1 分片节点说明
搭建三个结点,端口分别为: 6379/6380/6381
1.2.2 关闭原有的Redis
命令:
关闭命令:redis-cli shutdown
检查关闭状态: ps -ef | grep redis
1.2.3 准备多个配置文件
- 创建shards目录,在redis目录下
mkdir shards
- 复制3份配置文件
- 修改各自的端口号
- 修改端口号:
- 关闭AOF模式
- 修改RDB模式名称
分别修改6380/6381 改为各自对应的端口号.
启动3台redis
[root@localhost shards]# redis-server 6379.conf
[root@localhost shards]# redis-server 6380.conf
[root@localhost shards]# redis-server 6381.conf
- 启动效果:
1.2.4 Redis分片入门案例
在测试类中进行入门分析
package com.jt.test;
//该类表示测试redis分片机制
public class TestRedisShards {
/**
* 说明 : 在linux中有3台redis,需要通过程序进行动态的连接
* 实现数据的存储
*/
@Test
public void test01(){
List<JedisShardInfo> shards = new ArrayList<>();
shards.add(new JedisShardInfo("192.168.126.129",6379));
shards.add(new JedisShardInfo("192.168.126.129",6380));
shards.add(new JedisShardInfo("192.168.126.129",6381));
//分片对象
ShardedJedis shardedJedis = new ShardedJedis(shards);
shardedJedis.set("吃鸡","救救我");
System.out.println(shardedJedis.get("吃鸡"));
}
}
1.3 一致性hash算法
1.3.1 一致性hash说明
一致性哈希算法在1997年由麻省理工学院提出，是一种特殊的哈希算法，目的是解决分布式缓存的问题。 [1] 在移除或者添加一个服务器时，能够尽可能小地改变已存在的服务请求与处理请求服务器之间的映射关系。一致性哈希解决了简单哈希算法在分布式哈希表( Distributed Hash Table，DHT) 中存在的动态伸缩等问题 [2] 。
1.3.2 一致性hash原理
常识:
- 一般的hash由8位16进制数组成的. 共有2^32种可能性!!!
- hash算法对相同的数据进行hash运算时 结果必然相同.
00000000-FFFFFFFF 0-F=(24)8 = 2^32
进制:
1).二进制 取值 : 0-1 规则满2进1
2).八进制 取值 : 0-7 规则满8进1 2^3=8 每三位二进制数就是一个8进制数
3).十六进制 取值 : 0-9 A-F 规则满16进一 2^4=16 每四位二进制数就是一个16进制数
1.3.3 一致性hash 特性
1.3.3.1平衡性
①平衡性是指hash的结果应该平均分配到各个节点，这样从算法上解决了负载均衡问题
说明:引入虚拟节点 实现数据的平衡 但是平衡是相对的.不是绝对的.
1.3.3.2 单调性
②单调性是指在新增或者删减节点时，不影响系统正常运行。
1.3.3.3 分散性
③分散性是指数据应该分散地存放在分布式集群中的各个节点(节点自己可以有备份)，不必每个节点都存储所有的数据 。
鸡蛋不要放到一个篮子里.
1.4 Spring整合redis分片机制
1.4.1 修改redis.properties文件
# 配置单台的redis
#redis.host=192.168.126.129
#redis.port=6379
#配置多台redis
redis.nodes=192.168.126.129:6379,192.168.126.129:6380,192.168.126.129:6381
1.4.2 编辑配置类
package com.jt.config;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.PropertySource;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisShardInfo;
import redis.clients.jedis.ShardedJedis;
import java.util.ArrayList;
import java.util.List;
//表明该类是一个配置类
@Configuration
@PropertySource("classpath:properties/redis.properties")
public class RedisConfig {
@Value("${redis.nodes}")
private String nodes;
/**
* spring 整合多态redis
*/
@Bean
public ShardedJedis shardedJedis(){
//获取结点信息
String[] nodeInfo = nodes.split(",");
List<JedisShardInfo> shards = new ArrayList<>();
//遍历所有的结点
for (String node:nodeInfo) {
//获取host,port
String host = node.split(":")[0];
int port = Integer.parseInt(node.split(":")[1]);
JedisShardInfo info = new JedisShardInfo(host,port);
shards.add(info);
}
//分片对象
return new ShardedJedis(shards);
}
}
1.4.3 分片机制AOP使用
2.Redis哨兵机制
2.1 redis分片机制存在的问题
说明:Redis分片机制可以实现内存数据的扩容.但是如果Redis服务器发生了宕机的现象,则会影响整个分片使用.
问题:Redis分片机制没有实现高可用. 当主机宕机之后.由从机自动的实现故障迁移.用户访问不受任何影响.
2.2 Redis主从搭建
前提条件: 如果要实现redis高可用机制,则必须首先实现主从搭建.
主从关系设定: 6379当做主机-M 6380/6381 从机-S
2.2.1 准备哨兵工作目录
1).关闭分片的Redis配置.
2).准备redis哨兵的配置
在redis目录下,执行以下命令
cp -r shards sentinel
3).删除持久化文件
进入sentinel目录中,删除持久化文件,以.rdb结尾的文件
命令:
rm -f *.rdb
4).准备3台redis服务器即可
重启redis,检查效果:
ps -ef | grep redis
2.2.2 Redis主从配置
1).检查Redis默认条件下的主从关系
进入客户端:``redis-cli -p 6379`
执行命令: info replication
2).实现主从配置
命令:
slaveof 主机IP 主机端口
3).用户操作Redis主机,之后检查从机是否实现数据同步即可.
数据同步正常.
2.2.3 主从配置问题说明
说明:当redis服务器已经配置了主从结构之后.如果将服务器宕机.之后再次重启.则发现从服务器又会变为主机!!!
问题说明: 执行了主从挂载命令 该命令一直保存在内存中.当redis服务器重启之后,该命令失效.如果想要一直保持主从的关系.则必须将主从的结构写入Redis.conf的配置文件中.
2.3 哨兵机制原理说明
原理解析:
- 首先启动redis哨兵,由哨兵监控整个Redis主从状态,主要监控M主机,同时获取其从机信息
- 哨兵开始利用心跳检测机制(PING-PONG)的方式监控主机是否宕机,如果连续3次主机没有响应,则哨兵判断主机为宕机,之后开始选举
- 根据从主机中获取的从机信息,之后利用选举机制算法,挑选新的主机
- 之后将升序的redis修改为当前新主机的从机,并且修改配置文件.
2.4 Redis实现哨兵机制
2.4.1 复制Redis哨兵配置文件
在redis目录下,复制sentinel.conf文件到sentinel目录下
命令: cp sentinel.conf sentinel
2.4.2修改配置文件
命令: 在sentinel目录下 vim sentinel.conf
2.修改哨兵监控配置
因为目前就有一个哨兵,所以当选出1票以后,就表示选举成功
3.修改哨兵选举的时间
当redis主机宕机之后,哨兵多久开始选举.
4.选举超时时间设定
说明:如果当选主机的服务器在规定的时间之内,没有完成切换.则哨兵重新选举.
2.4.3 启动哨兵检查高可用性
命令: redis-sentinel sentinel.conf
测试步骤:
1.将6379主机宕机.
ps -ef | grep redis
kill -9 pid
2.等待10秒之后.检查从机是否当选主机.
redis-cli -p 6380/6381
检查是否已变为主机
3.重启6379服务器.检查是否为当前主机的从.
redis-server -p 6379
查看日志
tail -3 6379.conf
出现:
replicaof ip 端口 //标识谁是主机
4.重启服务之后,检查是否为从.!
在6379的服务器下 执行 info replication 命令
2.5 Spring整合Redis哨兵
2.5.1 入门案例
package com.jt.test;
public class TestSentinel { //主要完成哨兵测试
/**
* 参数说明:
* masterName: 主机名称
* sentinels: 哨兵节点信息.
*/
@Test
public void test01(){
Set<String> sentinels = new HashSet<>();
String node = "192.168.126.129:26379";//哨兵服务器
sentinels.add(node);
JedisSentinelPool sentinelPool =
new JedisSentinelPool("mymaster", sentinels);
Jedis jedis = sentinelPool.getResource(); //获取资源
jedis.set("sentinel", "redis哨兵机制配置成功!!!!");
System.out.println(jedis.get("sentinel"));
}
}
