codis3.2 环境部署
下载codis3.2
https://objects.githubusercontent.com/github-production-release-asset-2e65be/25804514/2ab8d92e-053f-11e8-967e-3c733701c706?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20220316%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20220316T034348Z&X-Amz-Expires=300&X-Amz-Signature=72d710fc55a3c57addea38c24f86658dbc0bd16759f4be27dca8b2b54aa025f8&X-Amz-SignedHeaders=host&actor_id=0&key_id=0&repo_id=25804514&response-content-disposition=attachment%3B%20filename%3Dcodis3.2.2-go1.9.2-linux.tar.gz&response-content-type=application%2Foctet-stream
Codis3.x有如下特点:
最新 release 版本为 codis-3.2,codis-server 基于 redis-3.2.8 支持 slot 同步迁移、异步迁移和并发迁移,对 key 大小无任何限制,迁移性能大幅度提升 相比 2.0:重构了整个集群组件通信方式,codis-proxy 与 zookeeper 实现了解耦,废弃了codis-config 等 元数据存储支持 etcd/zookeeper/filesystem 等,可自行扩展支持新的存储,集群正常运行期间,即便元存储故障也不再影响 codis 集群,大大提升 codis-proxy 稳定性 对 codis-proxy 进行了大量性能优化,通过控制GC频率、减少对象创建、内存预分配、引入 cgo、jemalloc 等,使其吞吐还是延迟,都已达到 codis 项目中最佳 proxy 实现 select 命令,支持多 DB proxy 支持读写分离、优先读同 IP/同 DC 下副本功能 基于 redis-sentinel 实现主备自动切换 实现动态 pipeline 缓存区(减少内存分配以及所引起的 GC 问题) proxy 支持通过 HTTP 请求实时获取 runtime metrics,便于监控、运维 支持通过 influxdb 和 statsd 采集 proxy metrics slot auto rebalance 算法从 2.0 的基于 max memory policy 变更成基于 group 下 slot 数量 提供了更加友好的 dashboard 和 fe 界面,新增了很多按钮、跳转链接、错误状态等,有利于快速发现、处理集群故障 新增 SLOTSSCAN 指令,便于获取集群各个 slot 下的所有 key codis-proxy 与 codis-dashbaord 支持 docker 部署
总体架构
Codis组件介绍
Codis Server:基于 redis-3.2.8 分支开发。增加了额外的数据结构,以支持 slot 有关的操作以及数据迁移指令。具体的修改可以参考文档 redis 的修改。 Codis Proxy:客户端连接的 Redis 代理服务, 实现了 Redis 协议。 除部分命令不支持以外(不支持的命令列表),表现的和原生的 Redis 没有区别(就像 Twemproxy)。 对于同一个业务集群而言,可以同时部署多个 codis-proxy 实例; 不同 codis-proxy 之间由 codis-dashboard 保证状态同步。 Redis sentinel:Redis官方推荐的高可用性(HA)解决方案。它可以实现对Redis的监控、通知、自动故障转移。如果Master不能工作,则会自动启动故障转移进程,将其中的一个Slave提升为Master,其他的Slave重新设置新的Master服务。 Codis Dashboard:集群管理工具,支持 codis-proxy、codis-server 的添加、删除,以及据迁移等操作。在集群状态发生改变时,codis-dashboard 维护集群下所有 codis-proxy 的状态的一致性。 对于同一个业务集群而言,同一个时刻 codis-dashboard 只能有 0个或者1个; 所有对集群的修改都必须通过 codis-dashboard 完成。 Codis Admin:集群管理的命令行工具。 可用于控制 codis-proxy、codis-dashboard 状态以及访问外部存储。 Codis FE:集群管理界面。 多个集群实例共享可以共享同一个前端展示页面; 通过配置文件管理后端codis-dashboard列表,配置文件可自动更新。 Storage:为集群状态提供外部存储。 提供namespace概念,不同集群的会按照不同product name进行组织; 目前仅提供了zookeeper、etcd、filesystem三种实现,但是提供了抽象的 interface 可自行扩展。
服务器资源规划
哨兵模式
安装zookeeper
忽略 ,https://www.cnblogs.com/fengjian2016/p/14618788.html
codis-server 配置
[root@codis-server1 ~]# cat /etc/redis/6379.conf bind 0.0.0.0 protected-mode no port 6379 tcp-backlog 511 timeout 0 tcp-keepalive 300 daemonize yes supervised no pidfile "/var/run/redis_6379.pid" loglevel notice logfile "/data/redis/log/redis_6379.log" databases 16 #always-show-logo yes save 900 1 save 300 10 save 60 10000 stop-writes-on-bgsave-error yes rdbcompression yes rdbchecksum yes dbfilename "dump.rdb" dir "/data/redis/6379" #replica-serve-stale-data yes #replica-read-only yes repl-diskless-sync no repl-diskless-sync-delay 5 repl-disable-tcp-nodelay no #replica-priority 100 #lazyfree-lazy-eviction no #lazyfree-lazy-expire no #lazyfree-lazy-server-del no #replica-lazy-flush no appendonly no appendfilename "appendonly.aof" appendfsync everysec no-appendfsync-on-rewrite no auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb aof-load-truncated yes #aof-use-rdb-preamble yes lua-time-limit 5000 slowlog-log-slower-than 10000 slowlog-max-len 128 latency-monitor-threshold 0 notify-keyspace-events "" hash-max-ziplist-entries 512 hash-max-ziplist-value 64 list-max-ziplist-size -2 list-compress-depth 0 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 hll-sparse-max-bytes 3000 #stream-node-max-bytes 4096 #stream-node-max-entries 100 activerehashing yes #client-output-buffer-limit normal 0 0 0 #client-output-buffer-limit replica 64mb 32mb 60 #client-output-buffer-limit pubsub 32mb 8mb 60 hz 10 #dynamic-hz yes aof-rewrite-incremental-fsync yes #rdb-save-incremental-fsync yes requirepass "123456" masterauth "123456" # Generated by CONFIG REWRITE #slaveof 192.168.96.163 6379
sentinel 配置
[root@codis-server1 ~]# cat /etc/redis/sentinel.conf bind 0.0.0.0 protected-mode no # 是否后台启动 daemonize yes protected-mode no # pid文件路径 pidfile "/var/run/redis-sentinel.pid" # 日志文件路径 logfile "/data/redis/log/sentinel.log" # 定义工作目录 dir "/data/redis/sentinel" sentinel monitor mymaster1 192.168.96.161 6379 1 #设置密码 sentinel auth-pass mymaster1 123456 # 如果mymaster 30秒内没有响应,则认为其主观失效 sentinel down-after-milliseconds mymaster1 30000 # 如果master重新选出来后,其它slave节点能同时并行从新master同步数据的台数有多少个,显然该值越大,所有slave节点完成同步切换的整体速度越快, 但如果此时正好有人在访问这些slave,可能造成读取失败,影响面会更广。最保守的设置为1,同一时间,只能有一台干这件事,这样其它slave还能继续服务,但是所有slave全部完成缓存更新同步的进程将变慢。 sentinel parallel-syncs mymaster1 1 # 该参数指定一个时间段,在该时间段内没有实现故障转移成功,则会再一次发起故障转移的操作,单位毫秒 sentinel failover-timeout mymaster1 180000 sentinel monitor mymaster2 192.168.96.163 6379 1 sentinel auth-pass mymaster2 123456 sentinel down-after-milliseconds mymaster2 30000 sentinel parallel-syncs mymaster2 1 sentinel failover-timeout mymaster2 180000 sentinel monitor mymaster3 192.168.96.165 6379 1 sentinel auth-pass mymaster3 123456 sentinel down-after-milliseconds mymaster3 30000 sentinel parallel-syncs mymaster3 1 sentinel failover-timeout mymaster3 180000
配置go环境
下载go
https://dl.google.com/go/go1.9.2.linux-amd64.tar.gz
在/usr/local/路径下创建go目录,mkdir /usr/local/go,然后执行解压命令
tar -zxvf /home/go/go1.9.2.linux-amd64.tar.gz -C /usr/local/go
创建GO工作目录:mkdir $HOME/godir
配置环境变量,修改/etc/profile,添加如下语句: #GO相关环境变量 export GOROOT=/usr/local/go export GOPATH=$HOME/godir export PATH=$PATH:$GOPATH/bin:$GOROOT/bin
安装Codis-dashboard
作用:集群管理工具,支持 codis-proxy、codis-server 的添加、删除,以及据迁移等操作。在集群状态发生改变时,codis-dashboard 维护集群下所有 codis-proxy 的状态的一致性。
1.对于同一个业务集群而言,同一个时刻 codis-dashboard 只能有 0个或者1个;
2.所有对集群的修改都必须通过 codis-dashboard 完成。
生成配置文件
[root@codis-dashboard tools]# tar -zcvf codis3.2.2-go1.9.2-linux.tar.gz
[root@codis-dashboard tools]# cp codis3.2.2-go1.9.2-linux/codis-dashboard /usr/local/bin/
[root@codis-dashboard tools]# cp codis3.2.2-go1.9.2-linux/codis-admin /usr/local/bin/
[root@codis-dashboard tools]# mkdir /data/codis/config/ -p
[root@codis-dashboard tools]# cd /data/codis/config/
生成配置文件
[root@codis-dashboard config]# /usr/local/bin/codis-dashboard --default-config | tee /data/codis/config/dashboard.conf
[root@codis-dashboard config]#cat /data/codis/config/dashboard.conf
coordinator_name = "zookeeper"
coordinator_addr = "codis-proxy1:2181,codis-proxy2:2181,codis-proxy3:2181"
coordinator_auth = ""
product_name = "codis-superman"
product_auth = "123456"
admin_addr = "0.0.0.0:18080"
migration_method = "semi-async"
migration_parallel_slots = 100
migration_async_maxbulks = 200
migration_async_maxbytes = "32mb"
migration_async_numkeys = 500
migration_timeout = "30s"
sentinel_client_timeout = "10s"
sentinel_quorum = 2
sentinel_parallel_syncs = 1
sentinel_down_after = "30s"
sentinel_failover_timeout = "5m"
sentinel_notification_script = ""
sentinel_client_reconfig_script = ""
启动codis-dashboard
[root@codis-dashboard config]# nohup codis-dashboard --ncpu=1 --config=/data/codis/config/dashboard.conf --log=/data/codis/logs/dashboard.log --log-level=WARN &
#--ncpu=24表示dashboard可以使用的CPU个数
#--config表示dashboard使用的配置文件
关闭codis-dashboard
[root@codis-dashboard ~]# codis-admin --dashboard=192.168.96.170:18080 --shutdown
安装Codis-proxy
作用:客户端连接的 Redis 代理服务, 实现了 Redis 协议。 除部分命令不支持以外(不支持的命令列表),表现的和原生的 Redis 没有区别(就像 Twemproxy)。
1.对于同一个业务集群而言,可以同时部署多个 codis-proxy 实例;
2.不同 codis-proxy 之间由 codis-dashboard 保证状态同步。
[root@codis-proxy1 tools]# cp codis3.2.2-go1.9.2-linux/codis-proxy /usr/local/bin/
[root@codis-proxy1 tools]# mkdir /data/codis/config/ -p
生成配置文件
[root@codis-proxy1 config]# codis-proxy --default-config | tee /data/codis/config/proxy.conf
修改配置文件
# Set Codis Product Name/Auth. product_name = "codis-superman" #设置项目名,与codis-dashboard相同 product_auth = "123456" # 设置登录dashboard的密码(注意:与redis中requirepass一致) # Set auth for client session # 1. product_auth is used for auth validation among codis-dashboard, # codis-proxy and codis-server. # 2. session_auth is different from product_auth, it requires clients # to issue AUTH <PASSWORD> before processing any other commands. session_auth = "superman123456" # codis客户端通过codis-proxy登录密码 # Set bind address for admin(rpc), tcp only. admin_addr = "0.0.0.0:11080" # Set bind address for proxy, proto_type can be "tcp", "tcp4", "tcp6", "unix" or "unixpacket". proto_type = "tcp4" proxy_addr = "0.0.0.0:19000" # Set jodis address & session timeout # 1. jodis_name is short for jodis_coordinator_name, only accept "zookeeper" & "etcd". # 2. jodis_addr is short for jodis_coordinator_addr # 3. jodis_auth is short for jodis_coordinator_auth, for zookeeper/etcd, "user:password" is accepted. # 4. proxy will be registered as node: # if jodis_compatible = true (not suggested): # /zk/codis/db_{PRODUCT_NAME}/proxy-{HASHID} (compatible with Codis2.0) # or else # /jodis/{PRODUCT_NAME}/proxy-{HASHID} jodis_name = "zookeeper" jodis_addr = "codis-proxy1:2181,codis-proxy2:2181,codis-proxy3:2181" jodis_auth = "" jodis_timeout = "20s" jodis_compatible = false # Set session recv buffer size & timeout. session_recv_timeout = "0s" #如果不为0可能导致应用程序出现”write: broken pipe”的问题
启动codis-proxy
nohup codis-proxy --ncpu=1 --config=/data/codis/config/proxy.conf --log=/data/codis/logs/proxy.log --log-level=WARN &
程序codis-proxy启动后,仍然处于waiting状态,虽然侦听了proxy_addr端口,但是不会accept连接请求。只有将codis-proxy加入到集群并完成集群状态的同步,才能将状态改为online。最终才能accept连接请求。
安装Codis-fe
作用:集群管理界面。
1.多个集群实例共享可以共享同一个前端展示页面;
2.通过配置文件管理后端codis-dashboard列表,配置文件可自动更新。
[root@codis-fe config]# cp /data/tools/codis3.2.2-go1.9.2-linux/codis-fe /usr/local/bin/
[root@codis-fe config]# cp /data/tools/codis3.2.2-go1.9.2-linux/codis-admin /usr/local/bin/
生成配置配置文件
[root@codis-fe config]# codis-admin --dashboard-list --zookeeper=codis-proxy1:2181 | tee /data/codis/config/codis-fe.json
查看
[root@codis-fe config]# cat /data/codis/config/codis-fe.json [ { "name": "codis-superman", "dashboard": "codis-dashboard:18080" } ]
拷贝codis-fe 静态文件
[root@codis-fe config]# mv /data/tools/codis3.2.2-go1.9.2-linux/assets/ /data/codis/config/
启动codis-fe
nohup codis-fe --ncpu=1 --log=/data/codis/logs/fe.log --log-level=WARN --dashboard-list=/data/codis/config/codis-fe.json --listen=0.0.0.0:80 &
使用Codis-fe的WEB界面配置集群
添加codis-server
找到Group菜单栏,首先输入group ID,并点击New Group按钮,就可以新建一个group。
然后在下面输入redis-server的地址与端口,以及要加入哪个Group,点击Add Server按钮即可。
每个group加入的第一个server将成为主节点,其他server会作为从节点。为了防止出现单点问题,主从节点建议按照类似下图中的交错方式来分配。
server加入完毕后,点击上面绿色的Replica(s): Enable All按钮,就可以启用所有主从配置。
配置sentinel
初始化slot分配
Codis预置了1024个数据分片(即slot),通过crc32(key) % 1024的规则确定数据应该被放在哪个slot中。每个slot的数据都有且仅有一个codis-group来持有。
集群创建时,所有slot都处于Offline状态。我们可以手动指定哪些slot分配到哪些group上,但如果是第一次安装,最简单的方法就是直接点击下面的“Rebalance All Slots”按钮,等待所有slot从Migrating变成Default状态,Codis就自动将slot分配好了。
性能测试
用自带的redis-benchmark来压测性能,模拟500个并发和100万个请求.注意区分好登录的地址和端口,还有密码
压测codis-proxy的性能
/usr/local/bin/redis-benchmark -h codis-proxy1 -p 19000 -a "superman123456" -c 500 -n 1000000 -q
压测单节点的性能
/usr/local/bin/redis-benchmark -h redis1 -p 6379 -a "123456" -c 500 -n 1000000 -q
redis-benchmark参数解析:
-h ip地址
-p redis端口
-a 认证密码
-c 设定多少个并发连接
-n 总共多少个请求
-q 显示模式:简要模式
测试结果示例:
Codis-admin的使用
1. 查看Proxy的配置、model、状态、slots信息:具体的信息可以运行该命令
# codis-admin --proxy=192.168.96.168:11080 config 查看到proxy.toml的内容,如:proxy、zk、连接数等等 # codis-admin --proxy=192.168.96.168:11080 model 查看注册到ZK的信息:Proxy的地址,进群名称、主机名等等 # codis-admin --proxy=192.168.96.168:11080 stats 查看Proxy是否在线、sentinel信息、ops、qps、内存信息等等 # codis-admin --proxy=192.168.96.168:11080 slots 查看Slots信息:slot在哪个group,后端Redis Server地址
2. 开启关闭Proxy:这里的开启是值进入online状态。按照上面介绍的,开启codis-proxy 启动后,处于 waiting
online 状态的,需要改成online状态进入zk(jodis)
codis-admin [-v] --proxy=ADDR [--auth=AUTH] --start/--shutdown
# codis-admin --proxy=192.168.96.168:11080 --auth=123456 --shutdown 日志里记录关闭Proxy再把信息从zk里删除,最后再退出, 进程退出 API call /api/proxy/shutdown/003acf3b450ebe66f56b8af4cc9c7d2d from 192.168.168:52428 [] admin shutdown proxy shutdown jodis remove node /jodis/codis-testX/proxy-1d24e313bee99f26174110c009714530 proxy is exiting ...
#启动codis-proxy进程
nohup codis-proxy --ncpu=1 --config=/data/codis/config/proxy.conf --log=/data/codis/logs/proxy.log --log-level=WARN
# codis-admin --proxy=192.168.96.168:11080 --auth=123456 --start
日志中 proxy waiting online ... 会变成 proxy is working ...
并且注册到zk的jodis目录里:
API call /api/proxy/start/003acf3b450ebe66f56b8af4cc9c7d2d from 192.168.168:52426 []
jodis create node /jodis/codis-testX/proxy-1d24e313bee99f26174110c009714530
codis-fe 页面再次添加codis-proxy
3. proxy 动态设置日志等级
codis-admin [-v] --proxy=ADDR [--auth=AUTH] --log-level=LEVEL
[root@codis-proxy2 logs]# codis-admin --proxy=192.168.96.168:11080 --auth=123456 --log-level=DEBUG
4. 清除Proxy状态
codis-admin [-v] --proxy=ADDR [--auth=AUTH] --reset-stats
[root@codis-proxy2 logs]# codis-admin --proxy=192.168.96.168:11080 --auth=123456 --reset-stats
清除Proxy的QPS、OPS、Fail、Errors等Commands信息
5. 强制清理Proxy内存
[root@codis-proxy2 logs]# codis-admin --proxy=192.168.96.168:11080 --auth=123456 --forcegc
释放Proxy内存
6. 查看dashboard的配置、model、状态、slots、组和proxy信息:
codis-admin [-v] --dashboard=ADDR [config|model|stats|slots|group|proxy]
# codis-admin --dashboard=192.168.96.170:18080 config 查看dashboard的配置,即dashboard.toml配置的信息
# codis-admin --dashboard=192.168.96.170:18080 model 查看model信息
# codis-admin --dashboard=192.168.96.170:18080 stats 包括slot和group的对应信息,group信息(group后端的server以及server的配置),proxy信息(sentinel信息、server信息、server主信息以及proxy CPU和内存使用情况), slots信息(迁移间隔、迁移状态),sentine信息(配置、状态),主server信息 # codis-admin --dashboard=192.168.96.170:18080 slots slot和group的对应信息 # codis-admin --dashboard=192.168.96.170:18080 group 组信息,组下server的配置信息
# codis-admin --dashboard=192.168.96.170:18080 proxy proxy信息,包括sentinel、server信息以及proxy cpu和内存使用情况,ops、qps等commands信息、连接数(session)等
7. 关闭和重新加载dashboard
codis-admin [-v] --dashboard=ADDR --shutdown/--reload
# codis-admin --dashboard=192.168.96.170:18080 --shutdown 关闭dashboard,清除zk里的topom API call /api/topom/shutdown/4c0ca749efb5aad2b20b8d84b1bb6905 from 192.168.96.170:42772 [] admin exit on error # codis-admin --dashboard=192.168.96.170:18080 --reload 修改dashboard之后,重新加载配置 API call /api/topom/reload/4c0ca749efb5aad2b20b8d84b1bb6905 from 192.168.96.170:42778 []
8. dashboard动态设置日志等级
codis-admin [-v] --dashboard=ADDR --log-level=LEVEL
# codis-admin --dashboard=192.168.96.170:18080 --log-level=info API call /api/topom/loglevel/4c0ca749efb5aad2b20b8d84b1bb6905/INFO from 192.168.163.132:42780 [] set loglevel to INFO
9. proxy加入到dashboard,并online
# codis-admin --dashboard=192.168.96.170:18080 --create-proxy --addr=192.168.96.172:11080 proxy加入到dashboard中 [WARN] [0xc4202d17a0] API call /api/topom/proxy/create/4c0ca749efb5aad2b20b8d84b1bb6905/192.168.96.172:11080 from 192.168.96.170:42824 [] [WARN] create proxy-[1d24e313bee99f26174110c009714530] ...
10. proxy online初始化1024个槽,codis-admin [-v] --dashboard=ADDR --online-proxy --addr=ADDR
# codis-admin --dashboard=192.168.96.170:18080 --online-proxy --addr=192.168.96.168:11080 #proxy online [WARN] [0xc4200be790] API call /api/proxy/start/f6eadfec468df5b262af66e292a27699 from 192.16896.168:57976 [] [WARN] [0xc4200be790] API call /api/proxy/sentinels/f6eadfec468df5b262af66e292a27699 from 192.168.96.168:57976 [] [WARN] [0xc4200be790] set sentinels = []
11. 查看proxy 列表,codis-admin [-v] --dashboard=ADDR --list-proxy
[root@codis-dashboard codis]# codis-admin --dashboard=192.168.96.170:18080 --list-proxy
12. 移除proxy,codis-admin [-v] --dashboard=ADDR --remove-proxy (--addr=ADDR|--token=TOKEN|--pid=ID) [--force]
[root@codis-dashboard codis]# codis-admin --dashboard=192.168.96.170:18080 --remove-proxy --addr=192.168.96.168:11081 --force
14 .获取proxy的信息:管理、代理端口。
[root@codis-dashboard codis]# codis-admin --dashboard=192.168.96.170:18080 --proxy-status [ ] proxy-1 [T] 7f7c5703f6557b97c3aa904594646d48 [A] codis-proxy1:11080 [P] codis-proxy1:19000 [ ] proxy-3 [T] 953a653e459b825eb3aa1bb886544b29 [A] codis-proxy3:11080 [P] codis-proxy3:19000 [ ] proxy-4 [T] 4001cfd3877b79fb2a3e688aad58b8d1 [A] codis-proxy2:11080 [P] codis-proxy2:19000
15. 查看group列表。codis-admin [-v] --dashboard=ADDR --list-group
[root@codis-dashboard codis]# codis-admin --dashboard=192.168.96.170:18080 --list-group
16. 创建group。codis-admin [-v] --dashboard=ADDR --create-group --gid=ID
[root@codis-dashboard codis]# codis-admin --dashboard=192.168.96.170:18080 --create-group --gid=12
17. 移除group。codis-admin [-v] --dashboard=ADDR --remove-group --gid=ID
[root@codis-dashboard codis]# codis-admin --dashboard=192.168.96.170:18080 --remove-group --gid=12
18. group里添加server。codis-admin [-v] --dashboard=ADDR --group-add --gid=ID --addr=ADDR [--datacenter=DATACENTER]
group1里添加一个redis-server [root@codis-dashboard codis]# codis-admin --dashboard=192.168.96.170:18080 --group-add --gid=11 --add=192.168.69.96.164:6379 [root@codis-dashboard codis]# codis-admin --dashboard=192.168.96.170:18080 --group-add --gid=11 --add=192.168.69.96.165:6379 [root@codis-dashboard codis]# codis-admin --dashboard=192.168.96.170:18080 --group-add --gid=11 --add=192.168.69.96.166:6379
19. group里删除server。codis-admin [-v] --dashboard=ADDR --group-del --gid=ID --addr=ADDR [--datacenter=DATACENTER]
[root@codis-dashboard codis]# codis-admin --dashboard=192.168.96.170:18080 --group-del --gid=11 --add=192.168.69.96.164:6379
20.每个group是一个M-S结构的集群,设置每个group的复制关系:codis-admin [-v] --dashboard=ADDR --replica-groups --gid=ID --addr=ADDR (--enable|--disable)
# codis-admin --dashboard=192.168.96.170:18080 --replica-groups --gid=13 --addr=192.168.96.164:6379 --enable # codis-admin --dashboard=192.168.96.170:18080 --replica-groups --gid=13 --addr=192.168.96.164:6379 --enable
21. 把组里面的第2个server做为从,形成主从关系:codis-admin [-v] --dashboard=ADDR --sync-action --create --addr=ADDR
# codis-admin --dashboard=192.168.96.170:18080 --sync-action --create --addr=192.168.96.164:6379
22. 查看group状态:codis-admin [-v] --dashboard=ADDR --group-status
#查看主从复制关系
[root@codis-dashboard logs]# codis-admin --dashboard=192.168.96.170:18080 --group-status [ ] group-11 [0] 192.168.96.163:6379 ==> NO:ONE [ ] group-11 [1] 192.168.96.162:6379 ==> 192.168.96.163:6379:up [ ] group-11 [2] 192.168.96.161:6379 ==> 192.168.96.163:6379:up
23. 提升组里的一个从作为主:codis-admin [-v] --dashboard=ADDR --promote-server --gid=ID --addr=ADDR
# codis-admin --dashboard=192.168.96.170:18080 --promote-server --gid=13 --addr=192.168.96.133:6379 让组13的服务器作为一个从库 # codis-admin --dashboard=192.168.96.170:18080 --group-status [ ] group-11 [0] 192.168.96.131:6379 ==> NO:ONE [ ] group-11 [1] 192.168.96.131:6379 ==> 192.168.96.131:6379:up [ ] group-12 [0] 192.168.96.132:6379 ==> NO:ONE [ ] group-12 [1] 192.168.96.132:6379 ==> 192.168.96.132:6379:up [ ] group-13 [0] 192.168.96.133:6379 ==> NO:ONE [X] group-13 [1] 192.168.96.133:6379 ==> NO:ONE [WARN] group-[13] resync to prepared 提升了之后,老主需要手动执行,执行命令和21一样: --sync-action --create
24.分配slot(单个slot),codis-admin [-v] --dashboard=ADDR --slot-action --create --sid=ID --gid=ID
# codis-admin --dashboard=192.168.96.170:18080 --slot-action --create --sid=0 --gid=11 分配slot0 到group11中 [WARN] [0xc4202d17a0] API call /api/topom/slots/action/create/4c0ca749efb5aad2b20b8d84b1bb6905/0/11 from 192.168.96.170:43524 [] [WARN] update slot-[0]: pending -> preparing ->prepared ->migrating -> finished
25. 移除slot(单个slot),codis-admin [-v] --dashboard=ADDR --slot-action --remove --sid=ID
codis-admin --dashboard=192.168.96.170:18080 --slot-action --remove --sid=1
26. . 迁移某一段范围的slots到指定的group,codis-admin [-v] --dashboard=ADDR --slot-action --create-range --beg=ID --end=ID --gid=ID
# codis-admin --dashboard=192.168.96.170:18080 --slot-action --create-range --beg=5 --end=100 --gid=11
27. 停止slots迁移:codis-admin [-v] --dashboard=ADDR --slot-action --disabled=VALUE
codis-admin --dashboard=192.168.96.170:18080 --slot-action --disabled=1
28. 开启slots迁移:codis-admin [-v] --dashboard=ADDR --slot-action --disabled=VALUE
codis-admin --dashboard=192.168.96.170:18080 --slot-action --disabled=0
29. 平均分配slots,各个Group平均分配1024个slots。
codis-admin --dashboard=192.168.96.170:18080 --rebalance --confirm
30. slots迁移的时间间隔
codis-admin --dashboard=192.168.96.170:18080 --slot-action --interval=1000
31. 添加sentinel,保证高可用。codis-admin [-v] --dashboard=ADDR --sentinel-add --addr=ADDR
# codis-admin --dashboard=192.168.96.170:18080 --sentinel-add --addr=192.168.96.161:26379 # codis-admin --dashboard=192.168.96.170:18080 --sentinel-add --addr=192.168.96.162:26379 # codis-admin --dashboard=192.168.96.170:18080 --sentinel-add --addr=192.168.96.163:26379
32. 删除sentinel,codis-admin [-v] --dashboard=ADDR --sentinel-del --addr=ADDR [--force]
# codis-admin --dashboard=192.168.96.170:18080 --sentinel-del --addr=192.168.96.161:26379
33. 重新同步,codis-admin [-v] --dashboard=ADDR --sentinel-resync
# codis-admin --dashboard=192.168.96.170:18080 --sentinel-resync
34. 从ZooKeeper或则其他外部存储里里获取dashboard信息
# codis-admin --dashboard-list --zookeeper=1192.168.96.169:2181
35. 从ZooKeeper或则外部存储里获取集群的信息
# codis-admin --config-dump --product=codis-superman --zookeeper=192.168.96.169:2181
codis 扩容 codis-server节点
1.关闭第一个 redis-sentinel 节点
[root@codis-server1 ~]# redis-cli -p 26379 127.0.0.1:26379> shutdown not connected> exit vim /etc/redis/sentinel.conf 末尾添加: sentinel monitor mymaster3 192.168.96.165 6379 1 sentinel auth-pass mymaster3 123456 sentinel down-after-milliseconds mymaster3 30000 sentinel parallel-syncs mymaster3 1 sentinel failover-timeout mymaster3 180000
启动sentinel
[root@codis-server1 ~]# redis-sentinel /etc/redis/sentinel.conf
2 .关闭第二个redis-sentinel 节点, 操作如上
3 .关闭第三个redis-sentinel 节点, 操作如上
4. 查看sentinel 第三组master加入情况
5. codis-fe页面 新建group,并且把codis-server 加入到组中
6. codis-fe 页面 迁移slot, 把0~1023 平均分到三组
slot 351 - 750 分配到group12
slot 751 - 1023 分配到group13
slot 迁移完成
参考:https://blog.csdn.net/nazeniwaresakini/article/details/104220249
https://blog.csdn.net/screamPY/article/details/103136027
报错解决
{ "Cause": "ERR unknown command 'SLOTSINFO'", "Stack": [ { "Name": "github.com/CodisLabs/codis/pkg/utils/redis.(*Client).Do", "File": "/home/travis/gopath/src/github.com/CodisLabs/codis/pkg/utils/redis/client.go", "Line": 58 }, { "Name": "github.com/CodisLabs/codis/pkg/utils/redis.(*Client).SlotsInfo", "File": "/home/travis/gopath/src/github.com/CodisLabs/codis/pkg/utils/redis/client.go", "Line": 250 }, { "Name": "github.com/CodisLabs/codis/pkg/topom.(*apiServer).GroupAddServer", "File": "/home/travis/gopath/src/github.com/CodisLabs/codis/pkg/topom/topom_api.go", "Line": 375 }, { "Name": "github.com/CodisLabs/codis/pkg/topom.(*apiServer).GroupAddServer-fm", "File": "/home/travis/gopath/src/github.com/CodisLabs/codis/pkg/topom/topom_api.go", "Line": 91 } ] }
codis-server 是打过 patch 的 redis。为了支持 slot 迁移以及异步迁移。而你用的是官方的 redis,所以不支持。
codis-dashboard 以及 codis-server 强制关机后, lock
sentinel_client_reconfig_script = "" 2022/03/18 16:02:30 zkclient.go:23: [INFO] zookeeper - Connected to 192.168.96.168:2181 2022/03/18 16:02:30 zkclient.go:23: [INFO] zookeeper - Authenticated: id=144116480260964354, timeout=60000 2022/03/18 16:02:30 zkclient.go:23: [INFO] zookeeper - Re-submitting `0` credentials after reconnect 2022/03/18 16:02:30 topom.go:189: [ERROR] store: acquire lock of codis-superman failed [error]: zk: node already exists 6 /home/travis/gopath/src/github.com/CodisLabs/codis/pkg/models/zk/zkclient.go:247 github.com/CodisLabs/codis/pkg/models/zk.(*Client).create 5 /home/travis/gopath/src/github.com/CodisLabs/codis/pkg/models/zk/zkclient.go:196 github.com/CodisLabs/codis/pkg/models/zk.(*Client).Create.func1 4 /home/travis/gopath/src/github.com/CodisLabs/codis/pkg/models/zk/zkclient.go:129 github.com/CodisLabs/codis/pkg/models/zk.(*Client).shell 3 /home/travis/gopath/src/github.com/CodisLabs/codis/pkg/models/zk/zkclient.go:195 github.com/CodisLabs/codis/pkg/models/zk.(*Client).Create 2 /home/travis/gopath/src/github.com/CodisLabs/codis/pkg/models/store.go:119 github.com/CodisLabs/codis/pkg/models.(*Store).Acquire 1 /home/travis/gopath/src/github.com/CodisLabs/codis/pkg/topom/topom.go:188 github.com/CodisLabs/codis/pkg/topom.(*Topom).Start 0 /home/travis/gopath/src/github.com/CodisLabs/codis/cmd/dashboard/main.go:169 main.main
解决办法
codis-admin --remove-lock --product=codis-superman --zookeeper=192.168.96.168:2181
初始化slot 给 Group11, 出现报错
codis-proxy 进程退出, 重启多次codis-proxy 才能完成.