15、Redis的集群

 写在前面的话:读书破万卷,编码如有神
----------------------------------------------------------------------------------------
----------------------------------------------------------------------------------------
1、复制的问题
由于复制中,每个数据库都是拥有完整的数据,因此复制的总数据存储量,受限于内存最小的数据库节点,如果数据量过大,复制就无能为力了。
2、分片(partitioning)
分片就是将你的数据拆分到多个Redis实例的过程,这样每个redis实例将只包含完整数据的一部分。常见的分片方式:
  • 按照范围分片
  • 哈希分片,比如一致性哈希
3、常见的分片实现
  1. 在客户端进行分片
  2. 通过代理来进行分片,比如:Twemproxy
  3. 查询路由:就是发送查询到一个随机实例,这个实例会保证转发你的查询到正确的节点,Redis集群在客户端的帮助下,实现了查询路由的一种混合形式,请求不是直接从Redis实例转发到另一个,而是客户端收到重定向到正确的节点。
  4. 在服务器端进行分片,Redis采用哈希槽(hash slot)的方式在服务器端进行分片:Redis集群有16384个哈希槽,使用键的CRC16编码对16384取模来计算一个键所属的哈希槽。
4、Redis分片的缺点
  1. 不支持涉及多键的操作,如mget,如果所操作的键都在同一个节点,就正常执行,否则会提示错误
  2. 分片的粒度是键,因此每个键对应的值不要太大
  3. 数据备份会比较麻烦,备份数据时你需要聚合多个实例和主机的持久化文件
  4. 扩容的处理比较麻烦
  5. 故障恢复的处理也比较麻烦,可能需要重新梳理Master和Slave的关系,并调整每个复制集里面的数据
5、Redis集群
由于数据量过大,单个复制集难以承担,因此需要对多个复制集进行集群,形成水平扩展,每个复制集只负责存储整个数据集的一部分,这就是Redis的集群
  1. 在以前版本中,redis的集群是依靠客户端来分片来完成,但是这会有很多缺点,比如维护成本高,需要客户端编码解决;增加、移出节点都比较繁琐等。
  2. Redis3.0新增的一大特性就是支持集群,在不降低性能的情况下,还提供了网络分区后的可访问下和支持对主数据库故障的恢复
  3. 使用集群后,都只能使用默认的0号数据库
  4. 每个Redis集群节点需要两个TCP连接打开,正常的TCP端口用来服务客户端,列如6379,增加10000的端口用作数据端口,必须保证防火墙打开着两个端口。
  5. Redis集群不保证强一致性,这意味着在特定的条件下,Redis集群可能会丢掉一些被系统受到的写入请求命令。
6、集群架构
  1. 所有的Redis节点彼此互联,内部使用二进制协议优化传输速度和带宽
  2. 节点的fail是通过集群中超过半数的节点检测失效时才生效
  3. 客户端与Redis节点直连,不需要中间proxy层。客户端不需要连接集群的所有节点,连接集群中任何一个可用节点即可
  4. 集群把所有的物理节点映射到[0-16383]插槽上,集群负责维护:节点-插槽-值 的关系
7、集群操作的基本命令
(1)cluster info : 获取集群的信息
(2)cluster nodes : 获取集群当前已知的所有节点,以及这些节点的相关信息
(3)cluster meet <ip> <port> : 将ip和port所指定的节点添加到集群中
(4)cluster forget <node_id> : 从集群中移除node_id指定的节点
(5)cluster replicate <node_id> : 将当前节点设置为node_id指定的节点的从节点
(6)cluster saveconfig :将节点的配置文件保存到硬盘里面
(7)cluster addslots <slot> [slot ...] :将一个或者多个槽分配给当前节点
(8)cluster delslots <slot> [slot ...] : 从当前节点移除一个或者多个槽
(9)cluster flushslots : 移除分配给当前节点的所有槽
(10)cluster setslot <slot> NODE <node_id> : 将槽分配给node_id指定的节点,如果槽已经分配给了另一个节点,那么先让另一个节点删除该槽,然后再进行分配。
(11)cluster setslot <slot> migrate <node_id> : 将本节点的槽迁移到指定的节点中
(12)cluster setslot <slot> importing <node_id> : 从指定节点导入槽到本节点
(13)cluster setslot <slot> stable : 取消对槽的导入(importing)或迁移(migrate)
(14)cluster keyslot <key> : 计算键key应该被放置在哪个槽
(15)cluster countkeysinslot <slot> : 返回槽目前包含的键值对数量
(16)cluster getkeysinslot <slot> <count> : 返回count个槽中的键
(17)migrate 目的节点ip 目前节点port 键名 数据库号 超时时间 [copy] [replace] : 迁移某个键值对
 
posted @ 2018-07-25 07:28  火爆泡菜  阅读(508)  评论(0编辑  收藏  举报