Redis学习

非关系型数据库分类:

 

分类

典型代表

典型应用场景

数据类型

优点

缺点

键值

(key-value)

Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB

内容缓存,主要用于处理大量数据的高访问负载,也用于一些日志系统等等。

Key 指向 Value 的键值对,通常用hash table来实现

查找速度快

数据无结构化,通常只被当作字符串或者二进制数据

列存储数据库

Cassandra, HBase, Riak

分布式的文件系统

以列簇式存储,将同一列数据存在一起

查找速度快,可扩展性强,更容易进行分布式扩展

功能相对局限

文档型数据库

CouchDB, MongoDB

Web应用(与Key-Value类似,Value是结构化的,不同的是数据库能够了解Value的内容)

Key-Value对应的键值对,Value为结构化数据

数据结构要求不严格,表结构可变,不需要像关系型数据库一样需要预先定义表结构

查询性能不高,而且缺乏统一的查询语法。

图形(Graph)数据库

Neo4J, InfoGrid, Infinite Graph

社交网络,推荐系统等。专注于构建关系图谱

图结构

利用图结构相关算法。比如最短路径寻址,N度关系查找等

很多时候需要对整个图做计算才能得出需要的信息,而且这种结构不太好做分布式的集群方案。

Redis是一款开源的、高性能的键-值存储(key-value store)。它常被称作是一款数据结构服务器(data structure server)。

Redis的键值可以包括字符串(strings)类型,同时它还包括哈希(hashes)、列表(lists)、集合(sets)和 有序集合(sorted sets)等数据类型。 对于这些数据类型,你可以执行原子操作。例如:对字符串进行附加操作(append);递增哈希中的值;向列表中增加元素;计算集合的交集、并集与差集等。

为了获得优异的性能,Redis采用了内存中(in-memory)数据集(dataset)的方式。同时,Redis支持数据的持久化,你可以每隔一段时间将数据集转存到磁盘上(snapshot),或者在日志尾部追加每一条操作命令(append only file,aof)。

Redis同样支持主从复制(master-slave replication),并且具有非常快速的非阻塞首次同步( non-blocking first synchronization)、网络断开自动重连等功能。同时Redis还具有其它一些特性,其中包括简单的事物支持、发布订阅 ( pub/sub)、管道(pipeline)和虚拟内存(vm)等 。
Redis具有丰富的客户端,支持现阶段流行的大多数编程语言。


 Redis安装:

下载最新稳定版 redis( http://redis.io/download )

tar zxvf redis-2.2.11 解压缩

cd src 进入src目录
make 编译Redis
make test 可以测试一下(本步可省略)
make install 安装,默认安装目录是 /usr/local/bin,生成如图5个二进制文件,可以将其拷到新建目录下,例如: /usr/local/redis/bin

cp 源码/src/redis.conf /usr/local/redis/etc 配置文件复制
cd /usr/local/redis
./bin/redis-server ./etc/redis.conf 启动Redis服务
此时redis已经运行,但要获得好的性能,还需要对配置文件进行合理的配置


Redis配置:

1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程
    daemonize no
2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定
    pidfile /var/run/redis.pid
3. 指定Redis监听端口,默认端口为6379,作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为6379在手机按键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字
    port 6379
4. 绑定的主机地址
    bind 127.0.0.1
5.当 客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能
    timeout 300
6. 指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose
    loglevel verbose

7. 日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/null
    logfile stdout
8. 设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id
    databases 16
9. 指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合
    save <seconds> <changes>
    Redis默认配置文件中提供了三个条件:
    save 900 1
    save 300 10
    save 60 10000
    分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。
10. 指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大
    rdbcompression yes

11. 指定本地数据库文件名,默认值为dump.rdb
    dbfilename dump.rdb
12. 指定本地数据库存放目录
    dir ./
13. 设置当本机为slav服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步
    slaveof <masterip> <masterport>
14. 当master服务设置了密码保护时,slav服务连接master的密码
    masterauth <master-password>
15. 设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默认关闭
    requirepass foobared
16. 设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回max number of clients reached错误信息
    maxclients 128

17. 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区
    maxmemory <bytes>
18. 指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为no
    appendonly no
19. 指定更新日志文件名,默认为appendonly.aof
     appendfilename appendonly.aof
20. 指定更新日志条件,共有3个可选值:     no:表示等操作系统进行数据缓存同步到磁盘(快)     always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全)     everysec:表示每秒同步一次(折衷,默认值)
    appendfsync everysec

21. 指定是否启用虚拟内存机制,默认值为no,简单的介绍一下,VM机制将数据分页存放,由Redis将访问量较少的页即冷数据swap到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis的VM机制)
     vm-enabled no
22. 虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享
     vm-swap-file /tmp/redis.swap
23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0
     vm-max-memory 0
24. Redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共享,vm-page-size是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page大小最好设置为32或者64bytes;如果存储很大大对象,则可以使用更大的page,如果不 确定,就使用默认值
     vm-page-size 32
25. 设置swap文件中的page数量,由于页表(一种表示页面空闲或使用的bitmap)是在放在内存中的,,在磁盘上每8个pages将消耗1byte的内存。
     vm-pages 134217728

26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟。默认值为4
     vm-max-threads 4
27. 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启
    glueoutputbuf yes
28. 指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法
    hash-max-zipmap-entries 64
    hash-max-zipmap-value 512
29. 指定是否激活重置哈希,默认为开启
    activerehashing yes
30. 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件
    include /path/to/local.conf


Redis的数据类型:

Keys 
非二进制安全的字符类型( not binary-safe strings )


Values
Strings 
Lists 
Sets 
Sorted sets 
Hash

Key:

 redis本质上一个key-value 数据库,所以我们首先来看看他的key.首先key也是字符串类型,由于key不是binary safe的字符串,所以像“my key”和“mykey\n”这样包含空格和换行的key是不允许的。

我们在使用的时候可以自己定义一个Key的格式。例如 object-type:id:field 
Key不要太长。占内存,查询慢。
Key不要太短。u:1000:pwd 不如 user:1000:password 可读性好

 

key的相关命令:

exits key 测试指定key是否存在,返回1表示存在,0不存在

del key1 key2 ....keyN  删除给定key,返回删除key的数目,0表示给定key都不存在

type key 返回给定key的value类型。返回 none 表示不存在,key有string字符类型,list 链表类型 set 无序集合类型等...

keys pattern 返回匹配指定模式的所有key(支持*,?,[abc ]的方式),下面给个例子

 

randomkey 返回从当前数据库中随机选择的一个key,如果当前数据库是空的,返回空串 
rename oldkey newkey 原子的重命名一个key,如果newkey存在,将会被覆盖,返回1表示成功,0失败。失败可能是oldkey不存在或者和newkey相同
renamenx oldkey newkey 同上,但是如果newkey存在返回失败
dbsize 返回当前数据库的key数量
expire key seconds 为key指定过期时间,单位是秒。返回1成功,0表示key已经设置过过期时间或者不存在
ttl key 返回设置了过期时间的key的剩余过期秒数, -1表示key不存在或者没有设置过过期时间
select db-index 通过索引选择数据库,默认连接的数据库所有是0,默认数据库数是16个。返回1表示成功,0失败
move key db-index  将key从当前数据库移动到指定数据库。返回1成功。0 如果key不存在,或者已经在指定数据库中
flushdb 删除当前数据库中所有key,此方法不会失败。慎用
flushall 删除所有数据库中的所有key,此方法不会失败。更加慎用

 

String类型:

 string是redis最基本的类型,而且string类型是二进制安全的。

redis的string可以包含任何数据。包括jpg图片或者序列化的对象。
最大上限是1G字节。 
如果只用string类型,redis就可以被看作加上持久化特性的memcached

String相关命令:

 set key value 设置key对应的值为string类型的value,返回1表示成功,0失败

setnx key value 同上,如果key已经存在,返回0 。nx 是not exist的意思
get key 获取key对应的string值,如果key不存在返回nil
getset key value 设置key的值,并返回key的旧值。如果key不存在返回nil
mget key1 key2 ... keyN 一次获取多个key的值,如果对应key不存在,则对应返回nil。下面是个实验, nonexisting不存在,对应返回nil

mset key1 value1 ... keyN valueN 一次设置多个key的值,成功返回1表示所有的值都设置了,失败返回0表示没有任何值被设置
msetnx key1 value1 ... keyN valueN 同上,但是不会覆盖已经存在的key
incr key 对key的值做加加操作,并返回新的值。注意incr一个不是int的value会返回错误,incr一个不存在的key,则设置key为1
decr key 同上,但是做的是减减操作,decr一个不存在key,则设置key为-1
incrby key integer 同incr,加指定值 ,key不存在时候会设置key,并认为原来的value是 0
decrby key integer 同decr,减指定值。decrby完全是为了可读性,我们完全可以通过incrby一个负值来实现同样效果,反之一样。

append key value  给指定key的字符串值追加value,返回新字符串值的长度。下面给个例子

substr key start end 返回截取过的key的字符串值,注意并不修改key的值。下标是从0开始的。

 

List类型:

redis的list类型其实就是一个每个子元素都是string类型的双向链表。我们可以通过push,pop操作从链表的头部或者尾部添加删除元素。这使得list既可以用作栈,也可以用作队列。

list的pop操作还有阻塞版本的。当我们[lr]pop一个list对象是,如果list是空,或者不存在,会立即返回nil。但是阻塞版本的b[lr]pop可以则可以阻塞,当然可以加超时时间,超时后也会返回nil。为什么要阻塞版本的pop呢,主要是为了避免轮询。举个简单的例子如果我们用list来实现一个工作队列。执行任务的thread可以调用阻塞版本的pop去获取任务这样就可以避免轮询去检查是否有任务存在。当任务来时候工作线程可以立即返回,也可以避免轮询带来的延迟。

List的相关命令:

lpush key string 在key对应list的头部添加字符串元素,返回1表示成功,0表示key存在且不是list类型
rpush key string 同上,在尾部添加
llen key 返回key对应list的长度,key不存在返回0,如果key对应类型不是list返回错误
lrange key start end 返回指定区间内的元素,下标从0开始,负值表示从后面计算,-1表示倒数第一个元素 ,key不存在返回空列表
ltrim key start end  截取list,保留指定区间内元素,成功返回1,key不存在返回错误
lset key index value 设置list中指定下标的元素值,成功返回1,key或者下标不存在返回错误
lrem key count value 从key对应list中删除count个和value相同的元素。count为0时候删除全部
lpop key 从list的头部删除元素,并返回删除元素。如果key对应list不存在或者是空返回nil,如果key对应值不是list返回错误

rpop 同上,但是从尾部删除
blpop key1...keyN timeout 从左到右扫描返回对第一个非空list进行lpop操作并返回,比如blpop list1 list2 list3 0 ,如果list不存在,list2,list3都是非空则对list2做lpop并返回从list2中删除的元素。如果所有的list都是空或不存在,则会阻塞timeout秒,timeout为0表示一直阻塞。 当阻塞时,如果有client对key1...keyN中的任意key进行push操作,则第一在这个key上被阻塞的client会立即返回。如果超时发生,则返回nil。
brpop 同blpop,一个是从头部删除一个是从尾部删除
rpoplpush srckey destkey 从srckey对应list的尾部移除元素并添加到destkey对应list的头部,最后返回被移除的元素值,整个操作是原子的.如果srckey是空 或者不存在返回nil

 

Set类型:

redis的set是string类型的无序集合。
set元素最大可以包含(2的32次方-1)个元素。
set的是通过hash table实现的,hash table会随着添加或者删除自动的调整大小
关于set集合类型除了基本的添加删除操作,其他有用的操作还包含集合的取并集(union),交集(intersection),差集(difference)。通过这些操作可以很容易的实现sns中的好友推荐和blog的tag功能。

Set的相关命令:

sadd key member 添加一个string元素到,key对应的set集合中,成功返回1,如果元素以及在集合中返回0,key对应的set不存在返回错误
srem key member 从key对应set中移除给定元素,成功返回1,如果member在集合中不存在或者key不存在返回0,如果key对应的不是set类型的值返回错误
spop key 删除并返回key对应set中随机的一个元素,如果set是空或者key不存在返回nil
srandmember key 同spop,随机取set中的一个元素,但是不删除元素
smove srckey dstkey member 从srckey对应set中移除member并添加到dstkey对应set中,整个操作是原子的。成功返回1,如果member在srckey中不存在返回0,如果key不是set类型返回错误
scard key 返回set的元素个数,如果set是空或者key不存在返回0
sismember key member 判断member是否在set中,存在返回1,0表示不存在或者key不存在
sinter key1 key2...keyN 返回所有给定key的交集
sinterstore dstkey key1...keyN 同sinter,但是会同时将交集存到dstkey下

sunion key1 key2...keyN 返回所有给定key的并集
sunionstore dstkey key1...keyN 同sunion,并同时保存并集到dstkey下
sdiff key1 key2...keyN 返回所有给定key的差集
sdiffstore dstkey key1...keyN 同sdiff,并同时保存差集到dstkey下
smembers key 返回key对应set的所有元素,结果是无序的

 

Sorted Set类型:

和set一样sorted set也是string类型元素的集合,不同的是每个元素都会关联一个double类型的score。sorted set的实现是skip list和hash table的混合体。当元素被添加到集合中时,一个元素到score的映射被添加到hash table中,另一个score到元素的映射被添加到skip list 并按照score排序,所以就可以有序的获取集合中的元素。

Sorted Set的相关命令:

zadd key score member 添加元素到集合,元素在集合中存在则更新对应score

zrem key member 删除指定元素,1表示成功,如果元素不存在返回0
zincrby key incr member 增加对应member的score值,然后移动元素并保持skip list有序。返回更新后的score值
zrank key member 返回指定元素在集合中的排名(下标,非score),集合中元素是按score从小到大排序的
zrevrank key member 同上,但是集合中元素是按score从大到小排序
zrange key start end 类似lrange操作从集合中取指定区间的元素。返回的是有序结果
zrevrange key start end 同上,返回结果是按score逆序的
zrangebyscore key min max 返回集合中score在给定区间的元素
zcount key min max 返回集合中score在给定区间的数量
zcard key 返回集合中元素个数
zscore key element  返回给定元素对应的score
zremrangebyrank key min max 删除集合中排名在给定区间的元素
zremrangebyscore key min max 删除集合中score在给定区间的元素

 

Hash类型:

redis hash是一个string类型的field和value的映射表。
hash特别适合用于存储对象。相较于将对象的每个字段存成单个string类型。将一个对象存储在hash类型中会占用更少的内存,并且可以更方便的存取整个对象。

Hash的相关命令:

 hset key field value 设置hash field为指定值,如果key不存在,则先创建

hget key field  获取指定的hash field
hmget key filed1....fieldN 获取全部指定的hash filed
hmset key filed1 value1 ... filedN valueN 同时设置hash的多个field
hincrby key field integer


 

Redis功能:

持久化:

redis是一个支持持久化的内存数据库,也就是说redis需要经常将内存中的数据同步到磁盘来保证持久化,这是相对memcache来说的一个大的优势。redis支持两种持久化方式,一种是 Snapshotting(快照)也是默认方式,另一种是Append-only file(缩写aof)的方式。 
Snapshotting        
快照是默认的持久化方式。这种方式将内存中数据以快照的方式写入到二进制文件中,默认的文件名为dump.rdb。可以配置自动做快照持久 化的方式。我们可以配置redis在n秒内如果超过m个key被修改就自动做快照,下面是默认的快照保存配置
save 900 1  #900秒内如果超过1个key被修改,则发起快照保存
save 300 10 #300秒内容如超过10个key被修改,则发起快照保存

Append-only file     

aof 比快照方式有更好的持久化性,是由于在使用aof持久化方式时,redis会将每一个收到的写命令都通过write函数追加到文件中(默认是 appendonly.aof)。当redis重启时会通过重新执行文件中保存的写命令来在内存中重建整个数据库的内容。当然由于os会在内核中缓存 write做的修改,所以可能不是立即写到磁盘上。这样aof方式的持久化也还是有可能会丢失部分修改。不过我们可以通过配置文件告诉redis我们想要 通过fsync函数强制os写入到磁盘的时机。

有三种方式如下(默认是:每秒fsync一次)

appendonly yes                //启用aof持久化方式

# appendfsync always      //每次收到写命令就立即强制写入磁盘,最慢的,但是保证完全的持久化,不推荐使用

appendfsync everysec      //每秒钟强制写入磁盘一次,在性能和持久化方面做了很好的折中,推荐

# appendfsync no          //完全依赖os,性能最好,持久化没保证

 

主从复制:

主从复制允许多个slave server拥有和master server相同的数据库副本。下面是关于redis主从复制的一些特点
1.master可以有多个slave
2.除了多个slave连到相同的master外,slave也可以连接其他slave形成图状结构
3.主从复制不会阻塞master。也就是说当一个或多个slave与master进行初次同步数据时,master可以继续处理client发来的请求。相反slave在初次同步数据时则会阻塞,不能处理client的请求。
4.主从复制可以用来提高系统的可伸缩性(我们可以用多个slave 专门用于client的读请求,比如sort操作可以使用slave来处理),也可以用来做简单的数据冗余。
5.可以在master禁用数据持久化,只需要注释掉master 配置文件中的所有save配置,然后只在slave上配置数据持久化。

 

事务:

redis对事务的支持目前还比较简单。redis只能保证一个client发起的事务中的命令可以连续的执行,而中间不会插入其他client的命令。 
Multi 事物开始
Exec 执行事务
Discard 放弃事物
Watch 监听key
Unwatch 放弃所有key的监听
watch 命令会监视给定的key,当exec时候如果监视的key从调用watch后发生过变化,则整个事务会失败。注意watch的key是对整个连接有效的,和事务一样,如果连接断开,监视和事务都会被自动清除。

1.Redis介绍

Redis:  remote dictionary service

Redis 特点

一、Redis数据库完全在内存中,使用磁盘仅用于持久性。

二、相比许多键值数据存储,Redis拥有一套较为丰富的数据类型。

三、Redis可以将数据复制到任意数量的从服务器。

Redis 优势

1、异常快速:Redis的速度非常快,每秒能执行约11万集合,每秒约81000+条记录。

2、支持丰富的数据类型:Redis支持Redis支持五种数据类型:string(字符串),hash(哈希),list(列表),set(集合)及zset(sorted set:有序集合)。这使得它非常容易解决各种各样的问题,因为我们知道哪些问题是可以处理通过它的数据类型更好。

3、操作都是原子性:所有Redis操作是原子的,这保证了如果两个客户端同时访问的Redis服务器将获得更新后的值。

4、多功能实用工具:Redis是一个多实用的工具,可以在多个用例如缓存,消息,队列使用(Redis原生支持发布/订阅),任何短暂的数据,应用程序,如Web应用程序会话,网页命中计数等。

-----

2.redis 单机版安装

教程使用redis3.0版本。3.0版本主要增加了redis集群功能。

安装的前提条件:

需要安装gcc:yum install gcc-c++ -y  

1、下载redis的源码包。   https://redis.io/download 

2、把源码包上传到linux服务器

3、解压源码包

tar -zxvf redis-3.0.0.tar.gz

在/root/myapps/redis-3.0.0/中执行下面的语句 cd redis -3.0.0

4、make或者make MALLOC=libc(强制使用libc的内容来编译)

5、make install PREFIX=/usr/local/redis  将redis安装到/usr/local/redis目录中

安装完成之后,可以在/usr/local/redis/bin目录下看到

redis-benchmark       redis性能测试工具

redis-check-aof       AOF文件修复工具

redis-check-rdb       RDB文件检查工具

redis-cli              Redis命令行客户端

redis-sentinel        Redis软连接指向redis-server

redis-server           Redis服务器

-------------------

3. 启动Redis的两种方式

3.1 前置启动

/usr/local/redis/bin/redis-server

在redis的安装目录的bin目录,./redis-server

默认是前端启动模式,端口是6379

ctrl+c停止前端模式的redis

3.2 后置启动(守护进程)

   从redis的源码目录中复制redis.conf到redis的安装目录。/usr/local/redis/bin    cp redis.conf  /usr/local/redis/bin

        安装vim    yum install -y vim

   修改配置文件  vim redis.conf

  命令模式下搜索  /daemonize  改成yes    

  

       [root@bogon bin]# ./redis-server redis.conf

        ps aux | grep redis 查看是否有有一个进程,它的名字包含了redis这个字符串

  ./redis-cli shutdown关闭redis服务器

  指定IP地址和端口号的关闭redis服务器命令

  ./redis-cli -h 192.168.75.133 -p 1234 shutdown

  ./redis-cli -h 192.168.10.11 -p 6379 shutdown

  ./redis-cli空格-h 空格192.168.75.133(IP地址)空格 -p 空格1234(端口号)空格 shutdown

  kill -9 <redis进程编号> 可以关闭服务器进程

  

4. Redis 配置文件介绍(Redis.conf)

4.1 端口号

port 6379

6379在是手机按键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字。MERZ长期以来被Redis作者antirez及其朋友当作愚蠢的代名词。后来Redis作者在开发Redis时就选用了这个端口。

4.2 数据库数量

databases 16

这里的数据库类似于MySQL的数据库,在一个MySQL的实例中可以有多个数据库,不同的应用使用不同的数据库,同样在一个redis实例中也可以有多个数据库。

可以使用 select <数据库ID>来选择使用哪个数据库。数据库0 <= ID <= datebases - 1

4.3 持久化方式

4.3.1 rdb

Redis的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)

快照是默认的持久化方式。这种方式是就是将内存中数据以快照的方式写入到二进制文件中,默认的文件名为dump.rdb。可以通过配置设置自动做快照持久化的方式。我们可以配置redis在n秒内如果超过m个key被修改就自动做快照,下面是默认的快照保存配置

save 900 1  #900秒内如果超过1个key被修改,则发起快照保存

save 300 10  #300秒内容如超过10个key被修改,则发起快照保存

save 60 10000

4.3.2 aof

也可以把每一次数据变化都写入到一个append only file(aof)里面(这称为“全持久化模式”)。

aof 比快照方式有更好的持久化性,是由于在使用aof持久化方式时,redis会将每一个收到的写命令都通过write函数追加到文件中(默认是 appendonly.aof)。当redis重启时会通过重新执行文件中保存的写命令来在内存中重建整个数据库的内容。当然由于os会在内核中缓存 write做的修改,所以可能不是立即写到磁盘上。这样aof方式的持久化也还是有可能会丢失部分修改。不过我们可以通过配置文件告诉redis我们想要通过fsync函数强制os写入到磁盘的时机。有三种方式如下(默认是:每秒fsync一次)

appendonly yes              //启用aof持久化方式

# appendfsync always      //每次收到写命令就立即强制写入磁盘,最慢的,但是保证完全的持久化,不推荐使用

appendfsync everysec     //每秒钟强制写入磁盘一次,在性能和持久化方面做了很好的折中,推荐

# appendfsync no    //完全依赖os,性能最好,持久化没保证

4.4 密码验证

Redis默认配置是不需要密码认证的,可以启用Redis的认证密码,增加Redis服务器的安全性。

1、在redis.conf下找到:

取消注释,foobared修改为要使用的密码。

2、重启redis服务器

# ./redis-cli shutdown     停止

# ./redis-server redis.conf  启动

3、客户端使用密码登录:

./redis-cli -a 123456

# ./redis-cli -h 127.0.0.1 -p 6379 -a myPassword

或者

# ./redis-cli -h 127.0.0.1 -p 6379

127.0.0.1:6379> auth myPassword

OK

4、如果Redis服务器,使用了集群。除了在master中配置密码外,也需要在slave中进行相应配置。在slave的配置文件中找到如下行,去掉注释并修改与master相同的密码即可: 

 

5. Redis 常见用命令

ping  测试redis是否链接

echo hello  测试redis是否链接

select 0   select 15  选择数据库(0-15)

quit 退出连接

dbsize 返回当前数据库中的key的数目

5.1 Key 相关

set key1 100

get key1

del key1

keys * 查看数据库中所有的键

exists key1 表示存在key1

expire key1 20  指定键的过期时间 20s,对哈希类型不起作用!

keys k*  查找所有以k开头的键

ttl key   获取键到期的剩余时间,单位是秒   expire key2 10 //设置过期时间10s   persist key2 //去除key2的过期时间    ttl key2  //查看key2的剩余时间

5.2 Strings - 字符串

Redis的字符串是字节序列。在Redis中字符串是二进制安全的,这意味着他们有一个已知的长度,是没有任何特殊字符终止决定的,所以可以存储任何东西,最大长度可达512兆

SET key value  设置指定 key 的值  set a 10

GET key  获取指定 key 的值  get a

MGET key1 [key2..]   获取所有(一个或多个)给定 key 的值 mget a b

SETEX key seconds value    (expire)   将值 value 关联到 key ,并将 key 的过期时间设为 seconds (以秒为单位)。 set world 10 “new world”          get world

MSET key value [key value ...]  同时设置一个或多个 key-value 对。mset a a1 b b1 c c1

INCR key   原子操作   将 key 中储存的数字值增一

127.0.0.1:6379> set num 0

OK

127.0.0.1:6379> incr num

(integer) 1

127.0.0.1:6379> incr num

(integer) 2

127.0.0.1:6379> incr num

(integer) 3

INCRBY key increment(整型)  将 key 所储存的值加上给定的增量值(increment) incrby num 2

INCRBYFLOAT key increment   将 key 所储存的值加上给定的浮点增量值(increment)

DECR key(整型数字) 将 key 中储存的数字值减一

DECRBY key decrement(整型数字) key 所储存的值减去给定的减量值(decrement)

APPEND key value   如果 key 已经存在并且是一个字符串, APPEND 命令将 value 追加到 key 原来的值的末尾

127.0.0.1:6379> get a

"b"

127.0.0.1:6379> append a 1234

(integer) 5

127.0.0.1:6379> get a

"b1234"

127.0.0.1:6379>

5.3 Hashes - 哈希值

Redis的哈希键值对的集合。 Redis的哈希值是字符串字段和字符串值之间的映射,所以它们被用来表示对象

 

每个哈希可存储多达2³² - 1个 字段-值对(超过40+亿)。

 

HMSET key field1 value1 [field2 value2 ]    同时将多个 field-value (域-值)对设置到哈希表 key 中   hmset user01 userId 1 username zhangsan password 123456 desc "one good man"

insert into tb_user (userId,username, password, desc) values (1, zhangsan, 123456 “one good man”);

HGET key field  获取存储在哈希表中指定字段的值  hget user01 username

Select username from tb_user where user_id=1;

HGETALL key  获取在哈希表中指定 key 的所有字段和值   hgetall user01

Select * from tb_user where user_id=1;

HINCRBY key field increment   为哈希表 key 中的指定字段的整数值加上增量 increment   hincrby user01 userId 3

HKEYS key  获取哈希表中指定key的所有字段    hkeys user01

HMGET key field1 [field2]  获取所有给定字段的值   hmget user01 userId username

select userId, username from tb_user where userkey=xxx

HDEL key field1 [field2]    删除一个或多个哈希表字段  hdel user01 username password

HSET key field value  将哈希表 key 中的字段 field 的值设为 value 。如果哈希表中有这个字段,则设置该字段的值,如果没有,则在哈希表中添加一个字段  hset user01 desc "this is zhangsan"

Update tb_user set a = avalue, b=bvalue where userID=xxx

HVALS key 获取哈希表中所有值  hvals user01

Select * from tb_user where user_id = xxx

注意:hash没有设置过期时间的命令

 命令参考:http://doc.redisfans.com/

7.redis集群

 

7.1 搭建伪集群即可入

  搭建集群需要使用到官方提供的ruby脚本。

  需要安装ruby的环境。

   安装ruby

  yum -y install ruby -y

  yum -y install rubygems -y

  redis集群管理工具redis-trib.rb,此文件在redis源码的src目录中

  cp redis-trib.rb /usr/local/redis/

  脚本需要的ruby包:下载地址:https://rubygems.org/gems/redis/versions/3.0.0  下载 redis-3.0.0.gem  上传服务器

  安装ruby的包 gem install redis-3.0.0.gem

 

集群的搭建

 

第一步:创建6个redis实例,端口号从7001~7006,实际上就是复制单机版(已安装的!)六份到/usr/local/redis/redisCluster目录中。

  mkdir redisCluster

  cp bin -r redisCluster/redis1

  cd redis1  

  rm -f dump.rdb

  cp redis1/ redis2 -r

  cp redis1/ redis3 -r 等

 

第二步:修改redis的配置文件

  1、修改端口号

   vim redis1/redis.conf     

   /port    i 7001   :wq

  vim redis2/redis.conf       

   /port    i 7002  :wq 等 。。。 

  2、打开cluster-enable前面的注释。

     vim redis1/redis.conf     

         /cluster   i  删掉#注释

   vim redis2/redis.conf     

         /cluster-    i  删掉#注释 等 。。。

  3、设置redis绑定的IP地址:

    ifconfig

   vim redis1/redis.conf      /bind   i

        全部都新增 bind 192.168.10.100 

第三步:把创建集群的ruby脚本redis-trib.rb复制到/usr/local/redis/redis-cluster目录下。

    mv redis-trib.rb redisCluster/

    一定得删除每个redis中的dump.rdb文件!  

第四步:启动6个redis实例    写启动脚本 权限 chmod +x start-redises.sh

     vim start-redisCluster.sh   多行复制粘贴 2yy p

#!/bin/bash
cd /usr/local/redis/redisCluster/redis1
./redis-server redis.conf
cd /usr/local/redis/redisCluster/redis2
./redis-server redis.conf

关闭脚本

#!/bin/bash
/usr/local/redis/bin/redis-cli -h 192.168.10.100 -p 7001 shutdown/usr/local/redis/bin/redis-cli -h 192.168.10.100 -p 7002 shutdown /usr/local/redis/bin/redis-cli -h 192.168.10.100 -p 7003 shutdown /usr/local/redis/bin/redis-cli -h 192.168.10.100 -p 7004 shutdown /usr/local/redis/bin/redis-cli -h 192.168.10.100 -p 7005 shutdown 
/usr/local/redis/bin/redis-cli -h 192.168.10.100 -p 7006 shutdown


 给start-redisCluster.sh 执行权限  

  查看权限  ll  

    chmod +x start-redisCluster.sh

    验证  ll  

 启动redis集群  ./start-redisCluster.sh

 查看redis进程 ps aux | grep redis

 

第五步:创建集群  三主三从

./redis-trib.rb create --replicas 1 192.168.10.100:7001 192.168.10.100:7002 192.168.10.100:7003 192.168.10.100:7004 192.168.10.100:7005 192.168.10.100:7006

 记得如果哪个redis有密码(redis.conf)记得删除 否则无法连接

集群搭建成功!

测试

redis1/redis-cli -p 7001 -h 192.168.10.100

exit

redis1/redis-cli -p 7001 -h 192.168.10.100 -c  以集群登录

客户端连接 防火墙要放开   vim /etc/sysconfig/iptables    复制粘贴 yy p  删除一行  dd    service iptables restart

8. 集群原理

  1 slot 槽

  redis-cluster把所有的物理节点(redis的master服务器)映射到[0-16383]slot上,cluster 负责维护node<->slot<->value

Redis 集群中内置了 16384 个哈希槽(hash slot),当需要在 Redis 集群中放置一个 key-value 时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点

  redis容错:(主从容错)

  集群一定是奇数台redis主机,偶数台无法做投票选举。

(1)选举过程是集群中所有master参与,如果半数以上master节点与故障节点通信超时 (cluster-node-timeout),认为该节点故障,自动触发故障转移操作.

(2):什么时候整个集群不可用(cluster_state:fail)?

    a:如果集群任意master挂掉,且当前master没有slave,集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完整时进入fail状态.

    b:如果集群超过半数以上master挂掉,无论是否有slave,集群进入fail状态.

posted @ 2019-03-13 22:36  konglingbin  阅读(368)  评论(0编辑  收藏  举报