链条传动

砥砺前行,不忘初心!

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

在运维 redis 集群的过程当中,经常会发现集群中节点数量和理论数量对不上,尤其是在发生迁移或扩缩容的时候。原因是集群进行节点变动的时候,一些本该从集群中剔除的节点由于种种原因没有完全被剔除掉,进而一直残留在集群中。

那么为什么会出现这种情况呢?这就需要重redis cluster剔除节点的机制说起了。
首先来说说redis cluster剔除节点时所进行的操作,Redis Cluster 采用无中心的集群模式,集群中所有节点通过互相交换消息来维持一致性。当有新节点需要加入集群时,只需要将它与集群中的一个节点建立联系即可,通过集群间节点互相交换消息所有节点都会互相认识。所以当需要剔除节点的时候,需要向所有节点发送 cluster forget 命令。

在这里,细心的同学可能就发现了,向集群所有节点发送cluster forget命令需要一段时间,而在这段时间内已经接收到 cluster forget 命令的节点与没有接收的节点会发生信息交换,进而导致 cluster forget 命令失效。

那么为了应对这个问题 ,Redis也设计了一个黑名单机制。当节点接收到 cluster forget 命令后,不仅会将被踢节点从自身的节点列表中移除,还会将被剔除的节点添加入到自身的黑名单中。当与其它节点进行消息交换的时候,节点会忽略掉黑名单内的节点。所以通过向所有节点发送 cluster forget 命令就能顺利地剔除节点。

但是黑名单内的节点不应该永远存在于黑名单中,那样会导致被踢掉的节点不能再次加入到集群中,同时也可能导致不可预期的内存膨胀问题。所以黑名单是需要有时效性的,Redis 设置的时间为一分钟。

redis cluster 剔除节点机制到这里就说完了,看起来完全没问题是吧,那么怎么还会出现文章开头说的集群中残留失效节点的情况呢?诚然,上述的redis cluster剔除节点的原理已经考虑的比较全面了,关键问题就出在黑名单失效性这里,redis默认设置了1分钟,那么如果在一分钟内没有完成整个集群剔除节点的操作呢?

当剔除节点的时候,在一分钟内没能向所有节点发出 cluster forget 命令,会导致剔除失败,尤其在集群规模较大的时候会经常发生。

解决方案:
1、一次性剔除多个节点时,可以开启多进程针对每个要剔除的节点发送 cluster forget 命令
2、要剔除的节点数量较少时,每次只forget一个节点

 

清理脚本:

#!/bin/bash 

for i in `cat test`
do
  host=`echo $i | awk -F ':' '{print $1}'`
  port=`echo $i | awk -F ':' '{print $2}'`
  # 获取指定单节点的node id。主要用于集群节点过多时,forget多个节点时,花费时间过长,导致已被删除的节点又从其他节点同步过来,导致forget失败
  # del_nodeids=$(redis-cli -h $host -p $port cluster nodes|grep -E 'handshake|fail'| grep '127.0.0.1:6379' | awk '{print $1}')
  del_nodeids=$(redis-cli -h $host -p $port cluster nodes|grep -E 'handshake|fail' | awk '{print $1}')
  if [ -n "$del_nodeids" ];then
    for nodeid in ${del_nodeids[@]}; do
        echo $host $port $nodeid
        redis-cli -h $host -p $port cluster forget $nodeid
    done
  fi
done

 

posted on 2022-05-20 16:20  链条君  阅读(1205)  评论(0编辑  收藏  举报