Redis持久化存储（一）
Redis介绍
Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。
Redis 与其他 key - value 缓存产品有以下三个特点：
Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。
Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。
Redis支持数据的备份，即master-slave模式的数据备份。
Redis 优势
性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。
丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
原子 – Redis的所有操作都是原子性的，同时Redis还支持对几个操作全并后的原子性执行。
丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。
Redis与其他key-value存储有什么不同？
Redis有着更为复杂的数据结构并且提供对他们的原子性操作，这是一个不同于其他数据库的进化路径。Redis的数据类型都是基于基本数据结构的同时对程序员透明，无需进行额外的抽象。
Redis运行在内存中但是可以持久化到磁盘，所以在对不同数据集进行高速读写时需要权衡内存，应为数据量不能大于硬件内存。在内存数据库方面的 另一个优点是， 相比在磁盘上相同的复杂的数据结构，在内存中操作起来非常简单，这样Redis可以做很多内部复杂性很强的事情。 同时，在磁盘格式方面他们是紧凑的以追加的方式产生的，因为他们并不需要进行随机访问。
Remote Dictionary Server（Redis）是一个基于 key-value 键值对的持久化数据库存储系统。redis 和 Memcached 缓存服务很像，但它支持存储的 value 类型相对更多，包括 string (字符串)、list (链表)、set (集合)、zset (sorted set --有序集合)和 hash（哈希类型）。这些数据类型都 支持 push/pop、add/remove 及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis 支持各种不同方式的排序。与 memcached 一样，为了保证效率，数据都是缓存在内存中。区别的是 redis 会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了 master-slave (主从)同步。
redis 的出现，再一定程度上弥补了 Memcached 这类 key-value 内存换乘服务的不足，在部分场合可以对关系数据库起到很好的补充作用。redis 提供了 Python，Ruby，Erlang，PHP 客户端，使用方便。官方文档： https://redis.io/documentation
Redis 在新浪微博中的应用
http://www.cnblogs.com/me115/p/3482783.html
Redis 安装和使用实例
环境： [root@redis /]# uname -r 2.6.32-504.el6.x86_64 [root@redis /]# ifconfig eth0|awk -F '[ :]+' 'NR==2{print $4}' 192.168.179.161 [root@redis /]# cat /etc/redhat-release CentOS release 6.6 (Final) [root@redis /]# /etc/init.d/iptables status iptables：未运行防火墙。 [root@redis /]# getenforce Permissive #3.0版本源码安装也一样 wget -q http://download.redis.io/releases/redis-2.8.9.tar.gz tar xf redis-2.8.9.tar.gz cd redis-2.8.9 #less README make MALLOC=jemalloc make PREFIX=/application/redis-2.8.9 install ln -s /application/redis-2.8.9/ /application/redis tree /application/redis /application/redis `-- bin |-- redis-benchmark # Redis性能测试工具，测试Redis在系统及你的配置下的读写性能。 |-- redis-check-aof # 更新日志检查。 |-- redis-check-dump # 用于本地数据库检查。 |-- redis-cli # Redis命令行操作工具。也可以telnet根据其纯文本协议操作 `-- redis-server # Redis服务器的daemon启动程序。 1 directory, 5 files 配置环境变量 [root@redis01 redis-2.8.9]# echo 'export PATH=/application/redis/bin/:$PATH' >>/etc/profile [root@redis01 redis-2.8.9]# [root@redis01 redis-2.8.9]# tail -1 /etc/profile export PATH=/application/redis/bin/:$PATH [root@redis01 redis-2.8.9]# . /etc/profile [root@redis01 redis-2.8.9]# which redis-server /application/redis/bin/redis-server 拷贝生成配置文件 [root@redis01 redis-2.8.9]# mkdir /application/redis/conf [root@redis01 redis-2.8.9]# pwd [root@redis01 redis-2.8.9]# cp redis.conf /application/redis/conf/ 启动redis redis-server /application/redis/conf/redis.conf & [20222] 29 Nov 20:43:48.571 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect. [20222] 29 Nov 20:43:48.571 * The server is now ready to accept connections on port 6379 检查端口 lsof -i :6379 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME redis-ser 20222 root 4u IPv6 1523437 0t0 TCP *:6379 (LISTEN) redis-ser 20222 root 5u IPv4 1523439 0t0 TCP *:6379 (LISTEN) 去掉上面的警告信息 sysctl vm.overcommit_memory=1 echo 'vm.overcommit_memory=1' >>/etc/sysctl.conf sysctl -p 关闭redis操作的命令 redis-cli shutdown save
常见操作
[root@redis01 redis-2.8.9]# redis-cli 127.0.0.1:6379> set id 001 #插入数据：设置一个key-value对 OK 127.0.0.1:6379> get id #查询数据：取出key所对应的value "001" 127.0.0.1:6379> del id #删除键值 (integer) 1 127.0.0.1:6379> get id #查询数据 (nil) 127.0.0.1:6379> exists id #验证是否存在，1代表存在，0代表不存在 (integer) 0 127.0.0.1:6379> set user001 oldboy OK 127.0.0.1:6379> set user002 zsq OK 127.0.0.1:6379> set user003 test OK 127.0.0.1:6379> get user001 "oldboy" 127.0.0.1:6379> keys * #取出所有 1) "user003" 2) "user002" 3) "user001" select可以切换库从0到15 ，在第一个库创建的内容其它库是不可见的 127.0.0.1:6379> select 1 OK 127.0.0.1:6379[1]> keys * (empty list or set) 127.0.0.1:6379[1]> set name oldboy OK 127.0.0.1:6379[1]> get name "oldboy" 127.0.0.1:6379[1]> select 0 OK 127.0.0.1:6379> keys * 1) "user003" 2) "user002" 3) "user001" 127.0.0.1:6379> select 16 (error) ERR invalid DB index 127.0.0.1:6379[16]> select 15 OK
其它连接方式
redis-cli -h 192.168.179.162 -p 6379 非交互式 [root@redis01 redis-2.8.9]# redis-cli -h 192.168.179.162 -p 6379 set k v OK [root@redis01 redis-2.8.9]# redis-cli -h 192.168.179.162 -p 6379 get k "v" telnet 加IP 加端口也可以 [root@redis01 redis-2.8.9]# telnet 192.168.179.162 6379 Trying 192.168.179.162... Connected to 192.168.179.162. Escape character is '^]'. set a b +OK get a $1 B nc的方式 [root@redis01 redis-2.8.9]# echo "set no004 zsq"|nc 127.0.0.1 6379 +OK [root@redis01 redis-2.8.9]# echo "get no004 "|nc 127.0.0.1 6379 $3 zsq
redis的帮助
redis-cli --help 192.168.179.162:6379> help redis-cli 2.8.9 Type: "help @<group>" to get a list of commands in <group> "help <command>" for help on <command> "help <tab>" to get a list of possible help topics "quit" to exit
redis的安全账户密码及授权权限
vim /application/redis/conf/redis.conf 335 # Warning: since Redis is pretty fast an outside user can try up to 336 # 150k passwords per second against a good box. This means that you should 337 # use a very strong password otherwise it will be very easy to break.、 339行设置密码 339 requirepass zsq 重启生效 redis-cli shutdown redis-server /application/redis/conf/redis.conf & [root@redis01 redis-2.8.9]# redis-cli 127.0.0.1:6379> set k v (error) NOAUTH Authentication required. #提示权限不够 127.0.0.1:6379> auth zsq #用auth加密码 OK 127.0.0.1:6379> set k v OK 非交互式 –a指定密码 [root@redis01 redis-2.8.9]# redis-cli -a zsq 127.0.0.1:6379> set k2 v2 OK 127.0.0.1:6379> get k2 "v2" 停止redis redis-cli -a zsq shutdown 可以屏蔽跟改名 # It is possible to change the name of dangerous commands in a shared # environment. For instance the CONFIG command may be renamed into something # hard to guess so that it will still be available for internal-use tools # but not available for general clients. # # Example: # # rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52 # # It is also possible to completely kill a command by renaming it into # an empty string: # rename-command set "" #比如屏蔽这个set [root@redis01 redis-2.8.9]# redis-cli shutdown (error) NOAUTH Authentication required.#关闭都没权限 [root@redis01 redis-2.8.9]# redis-cli -a zsq shutdown #指定密码关闭 [root@redis01 redis-2.8.9]# redis-server /application/redis/conf/redis.conf & #启动 [root@redis01 redis-2.8.9]# redis-cli 127.0.0.1:6379> set k v #执行set (error) ERR unknown command 'set' #提示找不到这个命令 127.0.0.1:6379>
在php环境中安装redis的客户端扩展
# 1、下载安装 wget https://github.com/phpredis/phpredis/archive/master.zip unzip phpredis-master.zip cd phpredis-master /application/php/bin/phpize ./configure --with-php-config=/application/php/bin/php-config make make install cd/application/php-5.6.8/lib/php/extensions/no-debug-non-zts-20131226/ ls memcache.so opcache.a opcache.so redis.so # 2、修改php.ini设置，重启php 在php.ini追加一条记录 echo "extension = redis.so" >> /application/php/lib/php.ini #重启 php-fpm killall php-fpm /application/php/sbin/php-fpm #网页测试
php程序实战操作redis服务
必须要有php环境 cat /application/php/bin/php 1.php <?php $redis = new Redis(); $redis ->connect('192.168.179.162',6379); $redis ->auth('zsq'); $redis ->set('name','zsq'); $var = $redis ->get('name'); echo "$var\n"; ?>
Python操作Redis
pip install redis or sudo easy_install redis or sudo python setup.py install 详见： https://github.com/WoLpH/redis-py https://pypi.python.org/pypi/redis https://redislabs.com/python-redis
逐条解读redis服务的配置文件
[root@redis01 redis-2.8.9]# grep -vE "#|^$" /application/redis/conf/redis.conf daemonize no #在后台运行 pidfile /var/run/redis.pid #pid file port 6379 #默认端口 tcp-backlog 511 #tcp的队列 # bind 192.168.1.100 10.0.0.1 #默认监听所有，如果有外网的环境需要监听内网的 # bind 127.0.0.1 timeout 0 #客户端的超时，0表示不超时 tcp-keepalive 0 #tcp的会话保持 loglevel notice #日志级别 logfile "" #可以把日志记到log文件，不输出到屏幕 # syslog-facility local0 #日志设备，日志集中收集可以把注释去掉 databases 16 #设置数据库的数量，类似mysql的数据库 save 900 1 save 300 10 save 60 10000 #以上三项是快照 stop-writes-on-bgsave-error yes #如果bgsave出错是否停止写 rdbcompression yes #在dump的时候要不要压缩，压缩会消耗cpu rdbchecksum yes #rdb的检查 dbfilename dump.rdb #dump的磁盘文件 dir ./ #控制上边选项的路径的，当前路径 slave-serve-stale-data yes #主从同步 slave-read-only yes repl-disable-tcp-nodelay no slave-priority 100 requirepass zsq #安全选项，授权密码 appendonly no appendfilename "appendonly.aof" appendfsync everysec no-appendfsync-on-rewrite no auto-aof-rewrite-percentage 100 #自动保持rewrite auto-aof-rewrite-min-size 64mb lua-time-limit 5000 #lua脚本实现更多生产场景 slowlog-log-slower-than 10000 slowlog-max-len 128 notify-keyspace-events "" hash-max-ziplist-entries 512 #hash优化参数 hash-max-ziplist-value 64 list-max-ziplist-entries 512 list-max-ziplist-value 64 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 hll-sparse-max-bytes 3000 activerehashing yes client-output-buffer-limit normal 0 0 0 client-output-buffer-limit slave 256mb 64mb 60 client-output-buffer-limit pubsub 32mb 8mb 60 hz 10 aof-rewrite-incremental-fsync yes
参数说明
redis.conf 配置项说明如下： 1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程 daemonize no 2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定 pidfile /var/run/redis.pid 3. 指定Redis监听端口，默认端口为6379，作者在自己的一篇博文中解释了为什么选用6379作为默认端口，因为6379在手机按键上MERZ对应的号码，而MERZ取自意大利歌女Alessia Merz的名字 port 6379 4. 绑定的主机地址 bind 127.0.0.1 5.当 客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能 timeout 300 6. 指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose loglevel verbose 7. 日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null logfile stdout 8. 设置数据库的数量，默认数据库为0，可以使用SELECT <dbid>命令在连接上指定数据库id databases 16 9. 指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合 save <seconds> <changes> Redis默认配置文件中提供了三个条件： save 900 1 save 300 10 save 60 10000 分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。 10. 指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大 rdbcompression yes 11. 指定本地数据库文件名，默认值为dump.rdb dbfilename dump.rdb 12. 指定本地数据库存放目录 dir ./ 13. 设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步 slaveof <masterip> <masterport> 14. 当master服务设置了密码保护时，slav服务连接master的密码 masterauth <master-password> 15. 设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH <password>命令提供密码，默认关闭 requirepass foobared 16. 设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息 maxclients 128 17. 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区 maxmemory <bytes> 18. 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no appendonly no 19. 指定更新日志文件名，默认为appendonly.aof appendfilename appendonly.aof 20. 指定更新日志条件，共有3个可选值： no：表示等操作系统进行数据缓存同步到磁盘（快） always：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全） everysec：表示每秒同步一次（折衷，默认值） appendfsync everysec 21. 指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制） vm-enabled no 22. 虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享 vm-swap-file /tmp/redis.swap 23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0 vm-max-memory 0 24. Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的 数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不 确定，就使用默认值 vm-page-size 32 25. 设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存。 vm-pages 134217728 26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4 vm-max-threads 4 27. 设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启 glueoutputbuf yes 28. 指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法 hash-max-zipmap-entries 64 hash-max-zipmap-value 512 29. 指定是否激活重置哈希，默认为开启（后面在介绍Redis的哈希算法时具体介绍） activerehashing yes 30. 指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件 include /path/to/local.conf
Redis 数据类型
Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset(sorted set：有序集合)。
String（字符串）
string是redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value。
string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。
string类型是Redis最基本的数据类型，一个键最大能存储512MB。
[root@redis01 redis-2.8.9]# redis-cli 127.0.0.1:6379> set name "redis.net.cn" OK 127.0.0.1:6379> get name "redis.net.cn"
在以上实例中我们使用了 Redis 的 SET 和 GET 命令。键为 name，对应的值为redis.net.cn。
注意：一个键最大能存储512MB。
Hash（哈希）
Redis hash 是一个键值对集合。
Redis hash是一个string类型的field和value的映射表，hash特别适合用于存储对象。
实例
redis 127.0.0.1:6379> HMSET user:1 username redis.net.cn password redis.net.cn points 200 OK redis 127.0.0.1:6379> HGETALL user:1 1) "username" 2) "redis.net.cn" 3) "password" 4) "redis.net.cn" 5) "points" 6) "200" redis 127.0.0.1:6379>
List（列表）
Redis 列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素导列表的头部（左边）或者尾部（右边）。
127.0.0.1:6379> lpush students liubing (integer) 1 127.0.0.1:6379> lpush students zhangjie zsq (integer) 3 127.0.0.1:6379> lpush students siqing (integer) 4 127.0.0.1:6379> llen students (integer) 4 127.0.0.1:6379> lrange students 0 3 1) "siqing" 2) "zsq" 3) "zhangjie" 4) "liubing"
列表最多可存储 232 - 1 元素 (4294967295, 每个列表可存储40多亿)。
Set（集合）
Redis的Set是string类型的无序集合。
集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是O(1)。
sadd 命令
添加一个string元素到,key对应的set集合中，成功返回1,如果元素以及在集合中返回0,key对应的set不存在返回错误。
sadd key member 实例 redis 127.0.0.1:6379> sadd redis.net.cn redis (integer) 1 redis 127.0.0.1:6379> sadd redis.net.cn mongodb (integer) 1 redis 127.0.0.1:6379> sadd redis.net.cn rabitmq (integer) 1 redis 127.0.0.1:6379> sadd redis.net.cn rabitmq (integer) 0 redis 127.0.0.1:6379> smembers redis.net.cn 1) "rabitmq" 2) "mongodb" 3) "redis"
注意：以上实例中 rabitmq 添加了两次，但根据集合内元素的唯一性，第二次插入的元素将被忽略。
集合中最大的成员数为 232 - 1 (4294967295, 每个集合可存储40多亿个成员)。
zset(sorted set：有序集合)
Redis zset 和 set 一样也是string类型元素的集合,且不允许重复的成员。
不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。
zset的成员是唯一的,但分数(score)却可以重复。
zadd 命令
添加元素到集合，元素在集合中存在则更新对应score
zadd key score member
实例
redis 127.0.0.1:6379> zadd redis.net.cn 0 redis (integer) 1 redis 127.0.0.1:6379> zadd redis.net.cn 0 mongodb (integer) 1 redis 127.0.0.1:6379> zadd redis.net.cn 0 rabitmq (integer) 1 redis 127.0.0.1:6379> zadd redis.net.cn 0 rabitmq (integer) 0 redis 127.0.0.1:6379> ZRANGEBYSCORE redis.net.cn 0 1000 1) "redis" 2) "mongodb" 3) "rabitmq"
