总体架构
192.168.199.223（zookeeper、codis-proxy、codis-dashborad:18080、codis-fe:18090、codis-server）
192.168.199.224（zookeeper、codis-server）
192.168.199.254（zookeeper、codis-proxy、codis-server）
一，zookeeper
作用：用于存放数据路由表。
描述：zookeeper简称zk。在生产环境中，zk部署越多，其可靠性越高。由于zk集群是以宕机个数过半才会让整个集群宕机，因此，奇数个zk更佳。
部署：按照1.2中的部署规划，将在如下几台机器上部署该程序。
序号 IP 主机名 部署程序
01 192.168.199.223 test zookeeper:2181
02 192.168.199.224 jason_1 zookeeper:2181
03 192.168.199.254 jason_2 zookeeper:2181
1.修改hosts文件
#该文件三台主机保持一致
[root@test ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.199.223 node1 192.168.199.224 node2 192.168.199.254 node3
2.Java环境（请查看 https://www.cnblogs.com/xiaoyou2018/p/9945272.html）
3.zookeeper
wget http://ftp.wayne.edu/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz
解压
tar -zxvf zookeeper-3.4.13.tar.gz -C /usr/local/zookeeper/
mv zookeeper-3.4.13 zookeeper
[root@jason tools]# cd /usr/local/zookeeper/conf [root@jason tools]# cp zoo_sample.cfg zoo.cfg
[root@jason conf]# cat zoo.cfg maxClientCnxns=50 tickTime=2000 initLimit=10 syncLimit=5 dataDir=/data/zookeeper ###dataLogDir=/data/zookeeper/log clientPort=2181 server.1=node1:2888:3888 server.2=node2:2888:3888 server.3=node3:2888:3888
[root@jason tools]#mkdir -p /data
说明：server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。
第三步：其他处理
创建第二步中的dataDir目录，并设置当前zk的结点ID。[注：在192.168.199.223、224、254上ID值各不相同]
echo 1 > /data/zookeeper/myid (在223上)
echo 2 > /data/zookeeper/myid （在224上）
echo 13> /data/zookeeper/myid (在254上)
依次启动各个服务器的zookeeper服务 (要全部zookeeper角色的服务器都依次启动，不然查看status会报错) [root@test ~]# cd /usr/local/zookeeper/bin/ [root@test bin]# ./zkServer.sh start ZooKeeper JMX enabled by default Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg Starting zookeeper ... STARTED
查看角色状态
[root@test bin]# ./zkServer.sh status
192.168.199.223
192.168.199.224
启动失败 查看 https://blog.csdn.net/weiyongle1996/article/details/73733228
./zkServer.sh start-foreground
安装go环境
wget https://dl.google.com/go/go1.11.2.linux-amd64.tar.gz
tar -zxvf go1.11.2.linux-amd64.tar.gz -C /usr/local/
配置环境变量（/etc/profile 添加）
export JAVA_HOME=/usr/local/java/jdk1.8.0_191 JRE_HOME=${JAVA_HOME}/jre CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib PATH=${JAVA_HOME}/bin:$PATH export GOROOT=/usr/local/go export GOPATH=/usr/local/codis export PATH=$PATH:/usr/local/go/bin #JAVA_HOME=/usr/local/jdk #CLASS_PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib #export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.6 export PATH=$PATH:$GOROOT/bin:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin
[root@jason go]# source /etc/profile
[root@jason go]# go version go version go1.11.2 linux/amd64
下载编译codis
mkdir -p $GOPATH/src/github.com/CodisLabs cd $_ && git clone https://github.com/CodisLabs/codis.git -b release3.2 cd $GOPATH/src/github.com/CodisLabs/codis make
再次介绍一下codis的各个组件，以明确在集群中应该如何启动
Codis Server：基于 redis-3.2.8 分支开发。增加了额外的数据结构，以支持 slot 有关的操作以及数据迁移指令。具体的修改可以参考文档 redis 的修改。在集群中充当redis实例。
Codis Proxy：客户端连接的 Redis 代理服务, 实现了 Redis 协议。 除部分命令不支持以外(不支持的命令列表)，表现的和原生的 Redis 没有区别（就像 Twemproxy）。对于同一个业务集群而言，可以同时部署多个 codis-proxy 实例；不同 codis-proxy 之间由 codis-dashboard 保证状态同步。
Codis Dashboard：集群管理工具，支持 codis-proxy、codis-server 的添加、删除，以及据迁移等操作。在集群状态发生改变时，codis-dashboard 维护集群下所有 codis-proxy 的状态的一致性。
Codis FE：集群管理界面
在node1启动FE和Dashboard用来管理集群；
node1和node3启动codis-proxy；
node1,node2,node3启动codis-server
首先启动Dashboard，关联zookeeper集群，将dashboard信息保存在zookeeper集群中，FE通过读取zookeeper中保存的dashboard信息来连接需要被管理的集群。
#启动dashboard，将coordinator修改为zookeeper模式，自定义product_name和auth
[root@test bin]# cd $GOPATH/src/github.com/CodisLabs/codis [root@test codis]# cd config/ [root@test config]# cat dashboard.toml ################################################## # # # Codis-Dashboard # # # ################################################## # Set Coordinator, only accept "zookeeper" & "etcd" & "filesystem". # for zookeeper/etcd, coorinator_auth accept "user:password" # Quick Start #coordinator_name = "filesystem" #coordinator_addr = "/tmp/codis" coordinator_name = "zookeeper" coordinator_addr = "node1:2181,node2:2181,node3:2181" #coordinator_auth = "" # Set Codis Product Name/Auth. product_name = "codis-demo" product_auth = "123456" # Set bind address for admin(rpc), tcp only. admin_addr = "0.0.0.0:18080" # Set arguments for data migration (only accept 'sync' & 'semi-async'). migration_method = "semi-async" migration_parallel_slots = 100 migration_async_maxbulks = 200 migration_async_maxbytes = "32mb" migration_async_numkeys = 500 migration_timeout = "30s" # Set configs for redis sentinel. sentinel_client_timeout = "10s" sentinel_quorum = 2 sentinel_parallel_syncs = 1 sentinel_down_after = "30s" sentinel_failover_timeout = "5m" sentinel_notification_script = "" sentinel_client_reconfig_script = ""
启动dashboard
cd $GOPATH/src/github.com/CodisLabs/codis/admin [root@test admin]# ./codis-dashboard-admin.sh start
启动FE
cd $GOPATH/src/github.com/CodisLabs/codis
[root@test bin]# nohup ./bin/codis-fe --ncpu=1 --log=/usr/local/codis/src/github.com/CodisLabs/codis/log/fe.log --log-level=WARN --zookeeper=node1:2181 --listen=0.0.0.0:9090 &
[1] 3634 [root@test bin]# nohup: ignoring input and appending output to ‘nohup.out’
启东失败可以查看日志
登录监听的9090端口查看FE管理界面，接下来集群操作可在FE中完成
http://192.168.199.223:9090
启动两个codis-proxy,
分别修改node1和node3的proxy.toml配置文件
[root@test config]# cat proxy.toml |grep -Ev '^$|^#' product_name = "codis-demo" product_auth = "123456" session_auth = "56789" admin_addr = "0.0.0.0:11080" proxy_addr = "0.0.0.0:19000" jodis_name = "zookeeper" jodis_addr = "192.168.199.223:2181,192.168.199.224:2181,192.168.199.254:2181" jodis_timeout = "20s" session_recv_timeout = "0s"
product_name = "chatroom" # 设置项目名
product_auth = "123456" # 设置登录dashboard的密码（注意：与redis中requirepass一致）
session_auth = "56789" # Redis客户端的登录密码（注意：与redis中requirepass不一致）
# Set bind address for admin(rpc), tcp only.
admin_addr = "0.0.0.0:11080"
# Set bind address for proxy, proto_type can be “tcp”,”tcp4”, “tcp6”, “unix”
or “unixpacket”.
proto_type = “tcp4”
proxy_addr = "0.0.0.0:19000" #绑定端口（Redis客户端连接此端口）
# 外部存储
jodis_name = "zookeeper" # 外部存储类型
jodis_addr = “192.168.199.223:2181,192.168.199.224:2181,192.168.199.254:2181” # 外部存储列表
jodis_timeout = “20s”
#会话设置
session_recv_timeout = “0s” #如果不为０可能导致应用程序出现”write: broken pipe”的问题
启动proxy
./admin/codis-proxy-admin.sh start
#因为node1上同时存在proxy和dashboard，启动proxy后，proxy会自动连接127.0.0.1的dashboard，node3的proxy需要在FE中添加到dashboard。使用admin_addr配置参数连接。启动proxy后，尽快执行new proxy操作，默认30秒超时，超时后退出proxy进程。
报错的话可以查看日志
cd $GOPATH/src/github.com/CodisLabs/codis/log [root@jason log]# ls codis-proxy.log.2018-12-28 codis-proxy.log.2018-12-29 codis-proxy.log.2019-01-02 codis-proxy.out
redis(三台主机一样)
[root@test codis]# cd $GOPATH/src/github.com/CodisLabs/codis/config cp -r redis.conf redis-6379.conf cp -r redis.conf redis-6380.conf
6379主配置、6380从配置
cat redis-6379.conf daemonize yes pidfile /usr/loca/codis/proc/redis-6379.pid port 6379 timeout 86400 tcp-keepalive 60 loglevel notice logfile /usr/local/codis/log/redis-6379.log databases 16 save “” save 900 1 save 300 10 save 60 10000 stop-writes-on-bgsave-error no rdbcompression yes dbfilename dump-6379.rdb dir /usr/local/codis/data/redis_data_6379 masterauth "123456" slave-serve-stale-data yes repl-disable-tcp-nodelay no slave-priority 100 requirepass "123456" maxmemory 10gb maxmemory-policy allkeys-lru appendonly no appendfsync everysec no-appendfsync-on-rewrite yes auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb lua-time-limit 5000 slowlog-log-slower-than 10000 slowlog-max-len 128 hash-max-ziplist-entries 512 hash-max-ziplist-value 64 list-max-ziplist-entries 512 list-max-ziplist-value 64 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 client-output-buffer-limit normal 0 0 0 client-output-buffer-limit slave 0 0 0 client-output-buffer-limit pubsub 0 0 0 hz 10 aof-rewrite-incremental-fsync yes repl-backlog-size 33554432
cat redis-6380.conf daemonize yes pidfile "/usr/loca/codis/proc/redis-6380.pid" port 6380 timeout 86400 tcp-keepalive 60 loglevel notice logfile "/usr/local/codis/log/redis-6380.log" databases 16 save 900 1 save 300 10 save 60 10000 stop-writes-on-bgsave-error no rdbcompression yes dbfilename "dump-6380.rdb" dir "/usr/local/codis/data/redis_data_6380" masterauth "123456" slave-serve-stale-data yes repl-disable-tcp-nodelay no slave-priority 100 requirepass "123456" maxmemory 10gb maxmemory-policy allkeys-lru appendonly no appendfsync everysec no-appendfsync-on-rewrite yes auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb lua-time-limit 5000 slowlog-log-slower-than 10000 slowlog-max-len 128 hash-max-ziplist-entries 512 hash-max-ziplist-value 64 list-max-ziplist-entries 512 list-max-ziplist-value 64 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 client-output-buffer-limit normal 0 0 0 client-output-buffer-limit slave 0 0 0 client-output-buffer-limit pubsub 0 0 0 hz 10 aof-rewrite-incremental-fsync yes repl-backlog-size 32mb
创建目录
mkdir -p /usr/local/codis/{data,log}
mkdir -p /usr/local/codis/data/{redis_data_6379,redis_data_6380}
启动redis
cd $GOPATH/src/github.com/CodisLabs/codis ./bin/codis-server ./config/redis-6379.conf ./bin/codis-server ./config/redis-6380.conf
Redis-sentinel
三台主机一样
cd $GOPATH/src/github.com/CodisLabs/codis/config [root@jason config]# cat sentinel.conf bind 0.0.0.0 protected-mode no port 26379 dir "/usr/local/codis/data"
启动 sentinel
[root@test codis]# ./bin/redis-sentinel ./config/sentinel.conf
用codis-proxy代理-压力测试
上面我们已经配置好了2个codis-proxy，接下来使用它们其一对部署的集群进行压力测试
在其中一台codis-server上使用redis-benchmark命令进行测试。命令如下：
cd /usr/loca/codis
./bin/redis-benchmark -h 192.168.199.223 -p 19000 -q -n 1000000 -c 20 -d 100k
命令行执行结果：
[root@localhost codis]# ./bin/redis-benchmark -h 10.0.10.44 -p 19000 -q -n 1000000 -c 20 -d 100k
PING_INLINE: 21769.42 requests per second
PING_BULK: 18310.32 requests per second
SET: 17011.14 requests per second
GET: 18086.45 requests per second
INCR: 17886.21 requests per second
LPUSH: 17146.48 requests per second
RPUSH: 17003.91 requests per second
LPOP: 17160.31 requests per second
RPOP: 17233.65 requests per second
SADD: 19542.32
参考：
https://www.cnblogs.com/xuanzhi201111/p/4425194.html
https://www.jianshu.com/p/6994cef7c675
https://blog.csdn.net/qifengzou/article/details/72902503
http://blog.51cto.com/xiumin/1954795
https://wuyanteng.github.io/2017/11/28/Codis3.2%E9%9B%86%E7%BE%A4%E9%83%A8%E7%BD%B2/
