缓存数据库

缓存数据库

NoSQL(NoSQL = Not Only SQL)，意即泛指非关系型数据库，（关系型数据库(RMDB)mysql，sqlite，oracle，即存在强烈的数据关系），是对不同于传统的关系型数据库的数据库管理系统的统称。NoSQL用于超大规模数据的存储。（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。

SNS 指社交网络 social network society

NoSQL数据库的四大类别

1. 键值（Key-Value）存储数据

   这一类数据库主要会使用到哟个哈希表，这个表中有一个特定的键和一个指针指向特定的数据。Key/values模型对于IT系统来叔的优势在于简单、一部书。但是如果DBA只对部分值进行查询或更新的时候，Key/values的方法效率低

2. 列存储数据：大数据用的多

   这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在，但是它们的特点是指向了多个列。这些列是由列组来安排的

3. 文档型数据库

   文档型数据库的灵感是来自于Lotus Note办公软件的，而且它同第一种键值存储相类似。该类型的数据模型是版本化的文档，半结构化的文档以特定的格式存储。文档型数据库可以看成是键值数据库的升级版，允许之间嵌套键值。而且文档型数据库比键值型数据库的查询效率更高

4. 图形（Graph）数据库

   图形结构的数据库同其他行列以及刚性结构的SQL数据库不同，它是使用灵活的图形模型，并且能够扩展到多个服务器上。NoSQL数据库没有标准的查询语言(SQL)，因此进行数据库查询需要制定数据模型。许多NoSQL数据库都有REST式的数据接口或者查询API。

总结：NoSQL数据库在以下的这几种情况下比较适用：1、数据模型比较简单；2、需要灵活性更强的IT系统；3、对数据库性能要求较高；4、不需要高度的数据一致性；5、对于给定key，比较容易映射复杂值的环境。

Redis缓存数据库：把数据存在内存中

redis的作用就是共享内存数据，而且redis比字典强大很多

Linux操作系统有七个终端，单原则上可以开启无限个终端，只要系统够强。

Redis下载与安装

1.下载压缩文件：wget -c http://download.redis.io/releases/redis-4.0.6.tar.gz
2.解压压缩包：tar -zxvf redis-4.0.6.tar.gz
3.安装到固定的文件夹中：make PREFIX=/opt/redis409 install

redis的基本使用命令

redis的启动命令 redis-server

查看是否启动redis命令，查看端口6379是否被redis-server使用：ps -ef |grep redis

进入客户端操作命令：redis-cli 退出命令：shutdown

Redis API使用

redis-py 的API的使用可以分类为：

• 连接方式
• 连接池
• 操作
  • String操作
  • Hash操作
  • Set操作
  • Sort Set 操作
• 管道
• 发布订阅

redis的操作

help + 操作命令可以查看使用方式

1.String 字符操作：

redis中的String在内存中按照一个name对应一个value来存储。

name          value
n1   -------> v1
n2   -------> v2
n3   -------> v3

进入数据库：redis-cli

设置name：set name eric # name为键 ，eric是值

获取name值：get name

修改name值：set name jing #直接在值的位置写要修改的值就OK了

获取所有的键：keys *

set（name，value，ex=None，px=None，nx=Flase，xx=False）参数设置：

​ ex，过期时间（秒）

​ px，过期时间（毫秒）

​ nx，如果设置为True，则只有name不存在，当前set操作才执行

​ xx，如果设置为True，则只有name存在时，当前set操作才执行

setnx（name，value）：设置值，只有name不存在时，执行设置操作（添加）

setex(name, value, time)：过期时间（数字秒 或 timedelta对象）

psetex(name,time_ms,value)：

mset（*args，**kwargs）批量设置值：批量设置值

​ mset（'k1' : 'v1', 'k2' : 'v2'）或rget（{ 'k1' : 'v1' , 'k2' : 'v2' }）

get(name):获取值

mget（keys，*args）：批量获取值

getset（name,value）参数：没有就设置，有就获取（设置新值并获取原来的值）

getrange（key,start,end）参数：执行切片操作

setrange（key,offset,value）参数：修改字符串内容，从指定字符串索引开始向后替换（新值太长时，则向后添加）

setbit（name, offset, value）：对name对应值的二进制表示的位进行操作

getbit (name，offset）：获取name对应的值的二进制表示中的某位的值 （0或1）

bitcount(key, start=None, end=None)：# 获取name对应的值的二进制表示中 1 的个数

strlen(name)：返回name对应值的字节长度（一个汉字3个字节）

incr(self, name, amount=1)：自增 name对应的值，当name不存在时，则创建name＝amount，否则，则自增。

incrbyfloat(self, name, amount=1.0)：自增 name对应的值，当name不存在时，则创建name＝amount，否则，则自增。（浮点型）

decr(self, name, amount=1)：# 自减 name对应的值，当name不存在时，则创建name＝amount，否则，则自减。

append(key, value)：在redis name对应的值后面追加内容

2.Hash 哈希操作

hash表现形式上有些像python中的dict，可以存储一组相关联性较强的数据，redis中Hash在内存中的存储形式

name              hash
n1   -----------> k1->v1
                  k2->v2
                  k3->v3
n2   -----------> k9->v99
                  kx->vx

hset(name, key, value)：# name对应的hash中设置一个键值对（不存在，则创建；否则，修改）

hmset (name, mapping)：# 在name对应的hash中批量设置键值对

hget (name, key): # 在name对应的hash中获取根据key获取value

hmget(name, keys, *args)：# 在name对应的hash中获取多个key的值

hkeys (name)：# 获取name对应的hash中所有的key的值

hgetall(name)：#获取name对应hash的所有键值

hlen(name)：# 获取name对应的hash中键值对的个数

hvals(name)：# 获取name对应的hash中所有的value的值

hexists(name, key)：# 检查name对应的hash是否存在当前传入的key

hdel(name,*keys)：# 将name对应的hash中指定key的键值对删除

hincrby(name, key, amount=1)：# 自增name对应的hash中的指定key的值，不存在则创建key=amount

hincrbyfloat(name, key, amount=1.0)：# 自增name对应的hash中的指定key的值，不存在则创建key=amount

hscan(name, cursor=0, match=None, count=None)：增量式迭代获取，对于数据大的数据非常有用，hscan可以实现分片的获取数据，并非一次性将数据全部获取完，从而放置内存被撑爆

hscan_iter(name, match=None, count=None)：# 利用yield封装hscan创建生成器，实现分批去redis中获取数据

3.list 列表操作

List操作，redis中的List在在内存中按照一个name对应一个List来存储。

name        list
n1   -----> [v1,v2,...]
n2   -----> [v2,v33,...]

lpush(name,values)：# 在name对应的list中添加元素，每个新的元素都添加到列表的最左边

lpushx(name,value)：# 在name对应的list中添加元素，只有name已经存在时，值添加到列表的最左边

rpushx(name, value)：# 表示从右向左操作

llen(name)：# name对应的list元素的个数

linsert(name, where, refvalue, value))：# 在name对应的列表的某一个值前或后插入一个新值

r.lset(name, index, value)：# 对name对应的list中的某一个索引位置重新赋值

r.lrem(name, value, num)：# 在name对应的list中删除指定的值

lpop(name)：# 在name对应的列表的左侧获取第一个元素并在列表中移除，返回值则是第一个元素

lindex(name, index)：在name对应的列表中根据索引获取列表元素

lrange(name, start, end)：# 在name对应的列表分片获取数据

ltrim(name, start, end)：# 在name对应的列表中移除没有在start-end索引之间的值

rpoplpush(src, dst)：# 从一个列表取出最右边的元素，同时将其添加至另一个列表的最左边

blpop(keys, timeout)：# 将多个列表排列，按照从左到右去pop对应列表的元素

brpoplpush(src, dst, timeout=0)：# 从一个列表的右侧移除一个元素并将其添加到另一个列表的左侧

4.set集合操作

Set操作，Set集合就是不允许重复的列表

sadd(name,values)：# name对应的集合中添加元素

scard(name)：# 获取name对应的集合中元素个数

sdiff(keys, *args)：# 在第一个name对应的集合中且不在其他name对应的集合的元素集合

sdiffstore(dest, keys, *args)：# 获取第一个name对应的集合中且不在其他name对应的集合，再将其新加入到dest对应的集合中

sinter(keys, *args)：# 获取多一个name对应集合的并集

sinterstore(dest, keys, *args)：# 获取多一个name对应集合的并集，再讲其加入到dest对应的集合中

sismember(name, value)：# 检查value是否是name对应的集合的成员

smembers(name)：# 获取name对应的集合的所有成员

smove(src, dst, value)：# 将某个成员从一个集合中移动到另外一个集合

spop(name)：# 从集合的右侧（尾部）移除一个成员，并将其返回

srandmember(name, numbers)：# 从name对应的集合中随机获取 numbers 个元素

srem(name, values)：# 在name对应的集合中删除某些值

sunion(keys, *args)：# 获取多一个name对应的集合的并集

sunionstore(dest,keys, *args)：# 获取多一个name对应的集合的并集，并将结果保存到dest对应的集合中

sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)
# 同字符串的操作，用于增量迭代分批获取元素，避免内存消耗太大

5.zset集合操作

有序集合，在集合的基础上，为每元素排序；元素的排序需要根据另外一个值来进行比较，所以，对于有序集合，每一个元素有两个值，即：值和分数，分数专门用来做排序。

zadd(name, *args, **kwargs)：# 在name对应的有序集合中添加元素

zcard(name)：# 获取name对应的有序集合元素的数量

zcount(name, min, max)：# 获取name对应的有序集合中分数 在 [min,max] 之间的个数

zincrby(name, value, amount)：# 自增name对应的有序集合的 name 对应的分数

r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)：# 按照索引范围获取name对应的有序集合的元素

zrank(name, value)：# 获取某个值在 name对应的有序集合中的排行（从 0 开始）

zrem(name, values)：# 删除name对应的有序集合中值是values的成员

zremrangebyrank(name, min, max)：# 根据排行范围删除

zremrangebyscore(name, min, max)：# 根据分数范围删除

zscore(name, value)：# 获取name对应有序集合中 value 对应的分数

zinterstore(dest, keys, aggregate=None)：# 获取两个有序集合的交集，如果遇到相同值不同分数，则按照aggregate进行操作

zunionstore(dest, keys, aggregate=None)：# 获取两个有序集合的并集，如果遇到相同值不同分数，则按照aggregate进行操作

zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)
# 同字符串相似，相较于字符串新增score_cast_func，用来对分数进行操作

其他常用操作

delete(*names)：# 根据删除redis中的任意数据类型

exists(name)：# 检测redis的name是否存在

keys(pattern='*')：# 根据模型获取redis的name

expire(name ,time)：# 为某个redis的某个name设置超时时间

rename(src, dst)：# 对redis的name重命名为

move(name, db))：# 将redis的某个值移动到指定的db下

randomkey()：# 随机获取一个redis的name（不删除）

type(name)：# 获取name对应值的类型

scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)
# 同字符串操作，用于增量迭代获取key

连接方式

1、操作模式

redis-py提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令，并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py。

import redis
r = redis.Redis(host='10.211.55.4', port=6379)
r.set('foo', 'Bar')
print r.get('foo')

2、连接池

redis-py使用connection pool来管理对一个redis server的所有连接，避免每次建立、释放连接的开销。默认，每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池，然后作为参数Redis，这样就可以实现多个Redis实例共享一个连接池。

发布订阅

频道创建（订阅）：publish（name，value）

订阅（创建）消息发布：subscribe

频道：channel 自定义频道的名字 创建频道：publish channel

支持正则频道：psubscribe *zhibo

数据持久化

为了防止redis数据丢失，进行数据持久化，把数据写入到一个文件中

RDB持久化

1. 基于内存的数据快照
2. 定期执行数据快照
3. 手动触发数据快照