codis安装手册
codis交流群 240361424 感谢群里各位群友的热情分享及特殊问题的解疑
一、 java安装
l centOS 自带的openJDK需要卸载
1、head -n 1 /etc/issue 查看linux系统版本
2、java -version 查看linux java版本，若显示的openJDK须卸载
3、rpm -qa | grep java 查看信息
tzdata-java-2014g-1.el6.noarch
java-1.6.0-openjdk-1.6.0.0-11.1.13.4.el6.x86_64
java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64
4、卸载openJDK
yum -y remove java java-1.6.0-openjdk-1.6.0.0-11.1.13.4.el6.x86_64
yum -y remove java java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64
5、java –version
-bash: java: command not found 说明卸载成功
l 安装： mkdir /usr/java
cd /usr/java
上传文件 jdk-7u79-linux-x64.rpm
chmod +x jdk-7u79-linux-x64.rpm
rpm -ivh jdk-7u79-linux-x64.rpm
l 配置环境
vim /etc/profile
#set java environment
JAVA_HOME=/usr/java/jdk1.7.0_79
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
l 检查
java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)
！出现上述则安装成功
还可以使用javac 或者 java 命令 来检查
l 清除安装包
rm -rf jdk-7u79-linux-x64.rpm
二、 Zookeeper安装
l 创建目录 mkdir /usr/local/upload 进入该目录
l 下载 wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
l 安装 tar -xzf zookeeper-3.4.6.tar.gz -C /usr/local/
三、 go安装
l 下载： wget https://storage.googleapis.com/golang/go1.4.1.linux-amd64.tar.gz
l 解压： tar -zxvf go1.4.1.linux-amd64.tar.gz
mv go /usr/local/
cd /usr/local/go/src/
l 相关依赖包环境安装：
yum groupinstall "Development Tools"
yum install -y git
l 编译go：
/usr/local/go/src/all.bash
l 设置环境变量：
vim /etc/profile
#set go enviroment
export GOROOT=/usr/local/go
export GOBIN=$GOROOT/bin
export PATH=$PATH:$GOBIN
export GOPATH=$GOROOT/bin
source /etc/profile
l 检测go是否可以正常使用：
编辑文件命令：vim hello.go
文件内容：
package main
import "fmt"
func main(){
fmt.Printf("hello,world\n")
}
测试go
命令：go run hello.go
输出：hello,world
四、 codis安装
l 官方文档：https://github.com/CodisLabs/codis/blob/master/doc/tutorial_zh.md
l 下载codis代码：
go get -u -d github.com/CodisLabs/codis
l 编译codis：
cd /usr/local/go/bin/src/github.com/CodisLabs/codis
执行make命令，编译
执行make gotest 测试
执行成功后，会生成bin目录：assets codis-config codis-proxy codis-server
五、 codis部署
（一）、部署zookeeper(可部署1个，建议部署多台[奇数]提供集群服务,须安装JDK)
1、cd /usr/local/zookeeper-3.4.6/conf
2、vim zoo.cfg
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/data/zookeeper/data
#dataLogDir=/data/zookeeper/logs
clientPort=2181
server.1=zookeeper-1:2888:3888
server.2=zookeeper-2:2888:3888
server.3=zookeeper-3:2888:3888
3、配置host 注意下面ip是zk的实际ip地址
vim /ect/hosts
ip zookeeper-1
ip zookeeper-2
ip zookeeper-3
4、vim /data/zookeeper/data/myid
在此文件内编辑自己对应的serverID. serverID见上述红色标记的数字
5、sh /usr/local/zookeeper-3.4.6/bin/zkServer.sh start
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
./zkCli.sh -server ip:2181 能正确访问 则说明zk部署成功
zk启动成功(依次将zk集群启动)
（二）、部署codis-server(部署多台形成集群)
1、mkdir /usr/local/codis
2、mkdir /usr/local/codis/conf
3、mkdir /usr/local/codis/log
4、cp /usr/local/go/bin/src/github.com/CodisLabs/codis/bin/codis-server /usr/local/codis/
5、cp /usr/local/go/bin/src/github.com/CodisLabs/codis/test/redis.temp /usr/local/codis/conf/redis_6379.conf
6、vim /usr/local/codis/conf/redis_6379.conf
主redis配置设置：
requirepass pwd codis-server密码 若使用密码，则不支持codis-ha插件
masterauth pwd codis-server 从同步主密码(建议主redis也配置此项，codis-ha会自
动做主从切换，避免届时补充此项)
#save 900 1
#save 300 10
#save 60 10000 这里是为了关闭主redis的rdb
rdbcompression no 一个CRC64的校验就被放在了文件末尾，当存储或者加载rbd文件
的时候会 有一个10%左右的性能下降
appendonly no 关闭AOF持久化策略
从redis配置设置：
requirepass pwd codis-server密码(建议从redis也配置此项，codis-ha会自动做主从切
换，避免届时补充此项)
masterauth pwd codis-server 从同步主密码
save 900 1
save 300 10
save 60 10000 这里是为了关闭主redis的rdb 从redis开放rdb数据持久策略
rdbchecksum yes
dbfilename dump.rdb 快照的文件名
dir /var/lib/redis 存放快照的目录
appendonly yes 开放aof持久化策略
appendfsync everysec 每秒钟强制写入磁盘一次，在性能和持久化方面做了很好的折中，
是受推荐的方式
no-appendfsync-on-rewrite yes 设置为yes表示rewrite期间对新写操作不fsync,暂时存在内存中,等
rewrite完成后再写入，建议yes
auto-aof-rewrite-percentage 100 当前AOF文件大小是上次日志重写得到AOF文件大小的二倍时，自
动启动新的日志重写过程
auto-aof-rewrite-min-size 64mb 当前AOF文件启动新的日志重写过程的最小值，避免刚刚启动Reids
时由于文件尺寸较小导致频繁的重写
7、mkdir /var/lib/redis
8、cd /usr/local/codis
9、nohup ./codis-server ./conf/redis_6379.conf > ./log/codis_server_6379.log 2>&1 &
10、通过redis-cli
redis-cli -h IP -p PORT 访问codis-server
CONFIG GET requirepass
(error) NOAUTH Authentication required.
auth pwd
OK
CONFIG GET requirepass
1) "requirepass"
2) "pwd"
按照上述命令执行，得到如上现象，则说明codis-server启动成功，并且密码设置成功
（三）、部署codis-config(只需部署一台)
1、mkdir /usr/local/codis
2、mkdir /usr/local/codis/conf
3、mkdir /usr/local/codis/log
4、cp /usr/local/go/bin/src/github.com/CodisLabs/codis/bin/codis-config /usr/local/codis/
5、cp /usr/local/go/bin/src/github.com/CodisLabs/codis/config.ini /usr/local/codis/conf/
6、cp -r /usr/local/go/bin/src/github.com/CodisLabs/codis/bin/assets /usr/local/codis
7、vim /etc/hosts
ip zookeeper-1
ip zookeeper-2
ip zookeeper-3
8、vim /usr/local/codis/conf/config.ini
设置zk=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181
设置dashboard_addr=ip:18087
9、nohup ./codis-config -c ./conf/config.ini dashboard > ./log/codis_config.log 2>&1 &
10、./codis-config -c ./conf/config.ini slot init （这个命令执行时，codis-proxy必须全部在未启动状态）
{
"msg": "OK",
"ret": 0
}
看到上述消息，则说明执行slot init成功
（四）、部署codis-proxy(可部署一台，建议部署多台)
1、mkdir /usr/local/codis
2、mkdir /usr/local/codis/conf
3、mkdir /usr/local/codis/log
4、cp /usr/local/go/bin/src/github.com/CodisLabs/codis/bin/codis-proxy /usr/local/codis/
5、cp /usr/local/go/bin/src/github.com/CodisLabs/codis/config.ini /usr/local/codis/conf/
6、vim /etc/hosts
ip zookeeper-1
ip zookeeper-2
ip zookeeper-3
7、vim /usr/local/codis/conf/config.ini
设置zk=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181
设置 dashboard_addr=ip:18087
设置 password=pwd 若使用密码，则不支持codis-ha插件。3.0以上版本支持密码
设置proxy_id=proxy_1
8、nohup ./codis-proxy -c ./conf/config.ini -L ./log/proxy.log --cpu=8 --addr=本proxy服务ip:19000 --http-addr=本proxy服务ip:11000 > codis_proxy_1.log 2>&1 &
六、 codis-HA插件(codis官方提供的从redis自动升级为主redis的插件，须先安装go)
codis-ha不支持auth，若使用codis-ha插件，请去掉密码设置
l 下载 cd /usr/local
go get github.com/ngaut/codis-ha
cd /usr/local/go/bin/src/github.com/ngaut/
cp -r codis-ha /usr/local
cd /usr/local/codis-ha
go build
l 创建脚本vim start_codis_ha.sh
l 内容 codis-ha --codis-config=codis-configIP:prort --log-level=“info” --productName=test &> ./logs/codis-ha.log &
创建日志目录：mkdir logs
给sh文件赋予权限：chmod +x start_codis_ha.sh
l 启动 sh start_codis_ha.sh
七、 codis扩容(数据迁移)
l 部署好codis-server
l Server Groops à +New Server Group 下图输入分组编号
l 选择新增的组，点击 +Add Ner Redis Instance 输入新增codis-server ip:port
l 上述操作添加完主从后，点击 ”Migrate Status” à Migrate Slot(S)
输入给扩容组分配的slot，第三项不能填写-1；
关于扩容分slot选择建议：将现在key最多的组内的slot分配给新的组。
八、 codis-server回收
l 先把要回收的codis-server的slot移动到仍在继续使用的组中
l 然后删除从redis，直至仅剩主redis
l 最后删除组
九、 安全性设置密码变更
1、修改codis-proxy的config.ini 中的password
2、通过web或者指令下线codis-proxy，重新上线codis-proxy
3、修改codis-server的安全性设置(若采用这种不重启redis-server的方式修改密码，请将修改的密码 同时修改进redis-server配置文件中，以防忘记)
1) redis-cli -h ip -p port(下述命令都是在redis客户端执行)
2) CONFIG SET requirepass password
3) CONFIG GET requirepass
提示：(error) NOAUTH Authentication required 则配置修改成功
4) auth password
5) CONFIG GET requirepass à 1) "requirepass" 2) " password "
6) redis-cli -a password -h ip -p port
7) CONFIG GET masterauth password
4、上述操作完后，重启dashboard
十、 常见问题
1)、Dashboard启动后，关闭，再启动，需要先到zookeeper里面删除：
/zk/codis/db_test/dashboard
2)、codis-config(dashboard)、codis-proxy需要以nohup方式启动
3)、zookeeper要求JAVA的环境才能运行，且jdk版本要求6.0以上(含6.0)
4)、codis-ha或者手动把一个slave提升为主之后，原有的主从关系就没有了，需要手动去把新提升主redis的数据同步到各个从redis中，然设置主从关系。
设置主从关系方式：
①web界面操作，删除原来master redis信息，重启挂掉的redis，将这个redis添加进组；
②指令操作方式
codis-config server list
codis-config server add <group_id> <redis_addr> <role>
codis-config server remove <group_id> <redis_addr>
codis-config server promote <group_id> <redis_addr>
codis-config server add-group <group_id>
codis-config server remove-group <group_id>
建议使用web界面操作，操作简单
5)、下线任一个proxy后且仍存在提供服务的proxy，codis仍是可以正常使用的，但是重新上线的proxy若出现一个配置不正常的proxy，则整个codis不可用。
6)、codis的1024个slot必须要分配完，才能对外提供服务，否则无法将添加的proxy改为online；
7)、solts迁移错误问题，
登录zk取消迁移任务
1.zkCli.sh –server ip：port
2.rmr /zk/codis/db_test/migrate_tasks
3.create /zk/codis/db_test/migrate_tasks “migrate”
4.rmr /zk/codis/db_test/fence
5.rmr /zk/codis/db_test/dashboard
6.rmr /zk/codis/db_test/proxy
7. ./codis-config -c ./conf/config.ini slot init
8)、部署完成后，若codis里的主从通过codis-ha进行自动切换后，须通过zkCli 进入zk，使用命令 “CONFIG SET key value” 对主从redis按照“五à（二）à6”的要求进行修改。
9)、主从codis-server，若对codis-server设置密码，requirepass和masterauth未设置相同的密码，codis无法自动完成主从数据同步。
十一、 Codis应用场景
海量的key，value值小于1M的缓存场景。
① 数据根据key，分布在 1024 个 slot 中，分布算法：crc32(key) % 1024；
② 数据迁移是由 codis-config 发起的，在 codis-config 看来，数据迁移的最小单位是 slot
③ 数据迁移时，选取slots的key-value 传输目标codis-server，完成后，删除本地key-value。这个操作是原子操作
十二、 Codis使用优化事项
1.关闭group master 的rdb和aof，提高master性能，开放slave的rdb和aof，确保数据不丢失；
