Python并发编程-redis-3.0.5 源码安装
1、简介
Remote Dictionary Server（Redis）是一个基于 key-value 键值对的持久化数据库存储系统。redis 和 Memcached 缓存服务很像，但它支持存储的 value 类型相对更多，包括 string (字符串)、list (链表)、set (集合)、zset (sorted set --有序集合)和 hash（哈希类型）。这些数据类型都支持 push/pop、add/remove 及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis 支持各种不同方式的排序。与 memcached 一样，为了保证效率，数据都是缓存在内存中。区别的是 redis 会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了 master-slave (主从)同步。
redis 的出现，再一定程度上弥补了 Memcached 这类 key-value 内存换乘服务的不足，在部分场合可以对关系数据库起到很好的补充作用。redis 提供了 Python，Ruby，Erlang，PHP 客户端，使用方便。
官方文档：http://www.redis.io/documentation
2、Redis 安装和使用实例
1、源码安装
1 # 源码安装 2 wget http://download.redis.io/releases/redis-3.0.5.tar.gz 3 tar zxf redis-3.0.5.tar.gz 4 cd redis-3.0.5 5 #less README 6 make MALLOC=jemalloc 7 make PREFIX=/application/redis-3.0.5 install -->指定安装路径 8 echo $? 9 ln -s /application/redis-3.0.5/ /application/redis
2、redis 安装目录及各文件作用
1 [root@localhost redis-3.0.5]# tree /application/redis 2 /application/redis 3 `-- bin 4 |-- redis-benchmark # Redis性能测试工具，测试Redis在系统及你的配置下的读写性能。 5 |-- redis-check-aof # 更新日志检查。 6 |-- redis-check-dump # 用于本地数据库检查。 7 |-- redis-cli # Redis命令行操作工具。也可以telnet根据其纯文本协议操作 8 |-- redis-sentinel -> redis-server 9 `-- redis-server # Redis服务器的daemon启动程序。 10 directory, 6 files
3、配置并启动 redis 服务
1 # 1、 配置环境变量 2 # 编辑vim /etc/profile添加一行 3 vim /etc/profile 4 export PATH=/application/redis/bin/:$PATH 5 tail -1 /etc/profile -->检查 6 source /etc/profile -->生效 7 或 8 echo export PATH=/application/redis/bin/:$PATH >> /etc/profile 9 tail -1 /etc/profile 10 source /etc/profile 11 12 13 # 2、 拷贝配置文件 14 [root@localhost redis-3.0.5]# pwd 15 /home/oldSuo/tools/redis-3.0.5 -->解压目录 16 [root@localhost redis-3.0.5]# mkdir /application/redis/conf 17 [root@localhost redis-3.0.5]# cp redis.conf /application/redis/conf/ 18 19 cd /home/oldSuo/tools/redis-3.0.5 20 mkdir /application/redis/conf 21 cp redis.conf /application/redis/conf/ 22 23 24 # 3、 启动redis 25 redis-server /application/redis/conf/redis.conf & 26 lsof -i :6379 27 28 [root@localhost redis-3.0.5]# lsof -i :6379 29 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME 30 redis-ser 5876 root 4u IPv6 793678202 0t0 TCP *:6379 (LISTEN) 31 redis-ser 5876 root 5u IPv4 793678204 0t0 TCP *:6379 (LISTEN) 32 33 34 # 4、 关闭redis 35 redis-cli shutdown 36 lsof -i :6379 -->检查端口 37 38 39 #5、 启动常见报错 40 报错：WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect. 41 解决： [root@localhost redis-3.0.5]# killall redis-server 42 [root@localhost redis-3.0.5]# sysctl vm.overcommit_memory=1 43 vm.overcommit_memory = 1 44 永久生效：[root@localhost conf]# vim /etc/sysctl.conf 45 添加一行vm.overcommit_memory = 1
4、客户端连接命令及命令测试
1 [root@localhost conf]# redis-cli --help 2 [root@localhost conf]# redis-cli -h 192.168.200.95 3 4 [root@localhost conf]# redis-cli 5 127.0.0.1:6379> help 6 redis-cli 3.0.5 7 Type: "help @<group>" to get a list of commands in <group> 8 "help <command>" for help on <command> 9 "help <tab>" to get a list of possible help topics 10 "quit" to exit 11 127.0.0.1:6379> help get 12 13 GET key 14 summary: Get the value of a key 15 since: 1.0.0 16 group: string 17 18 127.0.0.1:6379> help set 19 20 SET key value [EX seconds] [PX milliseconds] [NX|XX] 21 summary: Set the string value of a key 22 since: 1.0.0 23 group: string 24 25 127.0.0.1:6379> set 007 oldSuo 26 OK 27 127.0.0.1:6379> get 007 28 "oldSuo" 29 127.0.0.1:6379> 30 31 或者 32 [root@localhost conf]# redis-cli -h 192.168.200.95 -p 6379 set no005 suoning 33 OK 34 [root@localhost conf]# redis-cli -h 192.168.200.95 -p 6379 get no005 35 "suoning" 36 37 删除并检查 38 [root@localhost conf]# redis-cli del no005 39 (integer) 1 40 [root@localhost conf]# redis-cli get no005 41 (nil)
5、redis 的 php 客户端拓展安装
1 # 1、下载安装 2 wget https://github.com/phpredis/phpredis/archive/master.zip 3 4 unzip phpredis-master.zip 5 cd phpredis-master 6 /application/php/bin/phpize 7 ./configure --with-php-config=/application/php/bin/php-config 8 make 9 make install 10 11 [root@localhost phpredis-master]# make install 12 Installing shared extensions: /application/php-5.6.8/lib/php/extensions/no-debug-non-zts-20131226/ 13 [root@localhost phpredis-master]# cd /application/php-5.6.8/lib/php/extensions/no-debug-non-zts-20131226/ 14 [root@localhost no-debug-non-zts-20131226]# ls 15 memcache.so opcache.a opcache.so redis.so 16 [root@localhost no-debug-non-zts-20131226]# 17 18 19 # 2、修改php.ini设置，重启php 20 在php.ini追加一条记录 21 echo "extension = redis.so" >> /application/php/lib/php.ini 22 23 #重启 php-fpm 24 killall php-fpm 25 /application/php/sbin/php-fpm 26 27 #网页测试 28 ......
6、redis 主从同步
1 # 1、修改从库redis.conf配置文件 2 #配置从库redis.conf配置文件(先装redis) 3 #添加一行，主库IP地址及端口 4 vim /application/redis/conf/redis.conf 5 # slaveof <masterip> <masterport> 6 slaveof 192.168.200.95 6379 7 8 9 # 2、重启从库redis服务 10 pkill redis 11 redis-server /application/redis/conf/redis.conf & 12 13 #启动提示 14 7815:S 23 Nov 19:48:52.059 # Server started, Redis version 3.0.5 15 7815:S 23 Nov 19:48:52.060 * The server is now ready to accept connections on port 6379 16 7815:S 23 Nov 19:48:53.060 * Connecting to MASTER 192.168.200.95:6379 -->跟主库建立连接 17 7815:S 23 Nov 19:48:53.060 * MASTER <-> SLAVE sync started -->主从同步已经开始 18 7815:S 23 Nov 19:48:53.062 * Non blocking connect for SYNC fired the event. 19 7815:S 23 Nov 19:48:53.074 * Master replied to PING, replication can continue... -->主从ping可以继续 20 7815:S 23 Nov 19:48:53.075 * Partial resynchronization not possible (no cached master) 21 7815:S 23 Nov 19:48:53.087 * Full resync from master: 24b26f7abc62830a7ff97516c960ba7fc0992da9:1 22 7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: receiving 32 bytes from master -->接收到字节数 23 7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: Flushing old data 24 7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: Loading DB in memory 25 7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: Finished with success -->成功 26 27 28 # 3、测试主从同步 29 # 主库：写数据 30 [root@localhost redis]# redis-cli 31 127.0.0.1:6379> set test1 oldsuo 32 OK 33 34 # 从库： 35 [root@localhost conf]# redis-cli -h localhost -p 6379 monitor -->开启实时监控 36 OK 37 1448280033.096372 [0 192.168.200.95:6379] "PING" 38 1448280043.125830 [0 192.168.200.95:6379] "PING" 39 1448280053.154134 [0 192.168.200.95:6379] "PING" 40 1448280070.858808 [0 192.168.200.95:6379] "SELECT" "0" 41 1448280070.858828 [0 192.168.200.95:6379] "set" "test1" "oldsuo" -->主库添加数据，从库同步 42 43 [root@localhost redis]# redis-cli -h 192.168.200.92 get test1 44 "oldsuo" -->从库同步成功
7、redis 负载均衡
1 至于 redis 的负载均衡，方案有很多： 2 LVS、keepalived、Twemproxy 3 小编有时间再补上吧...
8、redis 持久化
1 Redis持久化方式有两种： 2 3 （1）RDB 4 5 对内存中数据库状态进行快照 6 7 （2）AOF 8 9 把每条写命令都写入文件，类似mysql的binlog日志 10 11 RDB 12 13 将Redis在内存中的数据库状态保存到磁盘里面，RDB文件是一个经过压缩的二进制文件，通过该文件可以还原生成RDB文件时的数据库状态 14 15 RDB的生成方式： 16 17 （1）执行命令手动生成 18 19 有两个Redis命令可以用于生成RDB文件，一个是SAVE，另一个是BGSAVE 20 21 SAVE命令会阻塞Redis服务器进程，直到RDB文件创建完毕为止，在服务器进程阻塞期间，服务器不能处理任何命令请求 22 23 BGSAVE命令会派生出一个子进程，然后由子进程负责创建RDB文件，服务器进程（父进程）继续处理命令请求，创建RDB文件结束之前，客户端发送的BGSAVE和SAVE命令会被服务器拒绝 24 25 （2）通过配置自动生成 26 27 可以设置服务器配置的save选项，让服务器每隔一段时间自动执行一次BGSAVE命令 28 29 可以通过save选项设置多个保存条件，但只要其中任意一个条件被满足，服务器就会执行BGSAVE命令 30 31 例如： 32 33 save 900 1 34 save 300 10 35 save 60 10000 36 37 那么只要满足以下三个条件中的任意一个，BGSAVE命令就会被执行 38 39 服务器在900秒之内，对数据库进行了至少1次修改 40 服务器在300秒之内，对数据库进行了至少10次修改 41 服务器在60秒之内，对数据库进行了至少10000次修改 42 43 AOF 44 45 AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态的 46 47 AOF文件刷新的方式，有三种 48 49 （1）appendfsync always - 每提交一个修改命令都调用fsync刷新到AOF文件，非常非常慢，但也非常安全 50 51 （2）appendfsync everysec - 每秒钟都调用fsync刷新到AOF文件，很快，但可能会丢失一秒以内的数据 52 53 （3）appendfsync no - 依靠OS进行刷新，redis不主动刷新AOF，这样最快，但安全性就差 54 55 默认并推荐每秒刷新，这样在速度和安全上都做到了兼顾 56 57 数据恢复 58 59 RDB方式 60 61 RDB文件的载入工作是在服务器启动时自动执行的，没有专门用于载入RDB文件的命令，只要Redis服务器在启动时检测到RDB文件存在，它就会自动载入RDB文件，服务器在载入RDB文件期间，会一直处于阻塞状态，直到载入工作完成为止 62 63 AOF方式 64 65 服务器在启动时，通过载入和执行AOF文件中保存的命令来还原服务器关闭之前的数据库状态，具体过程： 66 67 （1）载入AOF文件 68 69 （2）创建模拟客户端 70 71 （3）从AOF文件中读取一条命令 72 73 （4）使用模拟客户端执行命令 74 75 （5）循环读取并执行命令，直到全部完成 76 77 如果同时启用了RDB和AOF方式，AOF优先，启动时只加载AOF文件恢复数据
二、Python 操作 Redis
python 安装 redis 模块：
1 $ sudo pip install redis 2 or 3 $ sudo easy_install redis 4 or 5 $ sudo python setup.py install 6 7 详见：https://github.com/WoLpH/redis-py 8 https://pypi.python.org/pypi/redis 9 https://redislabs.com/python-redis
