NoSQL-redis相关

一、NoSQL简介

1.1、对于NoSQL并没有一个明确的范围和定义，但是他们都普遍存在下面一些共同特征：
①、不需要预定义模式：不需要事先定义数据模式，预定义表结构。数据中的每条记录都可能有不同的属性和格式。当插入数据时，并不需要预先定义它们的模式。
②、无共享架构：相对于将所有数据存储的存储区域网络中的全共享架构。NoSQL往往将数据划分后存储在各个本地服务器上。因为从本地磁盘读取数据的性能往往好于通过网络传输读取数据的性能，从而提高了系统的性能。
③、弹性可扩展：可以在系统运行的时候，动态增加或者删除结点。不需要停机维护，数据可以自动迁移。
④、分区：相对于将数据存放于同一个节点，NoSQL数据库需要将数据进行分区，将记录分散在多个节点上面。并且通常分区的同时还要做复制。这样既提高了并行性能，又能保证没有单点失效的问题。
⑤、异步复制：和RAID存储系统不同的是，NoSQL中的复制，往往是基于日志的异步复制。这样，数据就可以尽快地写入一个节点，而不会被网络传输引起迟延。缺点是并不总是能保证一致性，这样的方式在出现故障的时候，可能会丢失少量的数据。
⑥、BASE：相对于事务严格的ACID特性，NoSQL数据库保证的是BASE特性。BASE是最终一致性和软事务。
NoSQL数据库并没有一个统一的架构，两种NoSQL数据库之间的不同，甚至远远超过两种关系型数据库的不同。可以说，NoSQL各有所长，成功的NoSQL必然特别适用于某些场合或者某些应用，在这些场合中会远远胜过关系型数据库和其他的NoSQL

1.2、减缓数据库服务器压力的常用方法

①、优化程序，减少连接数，尽量使用连接池；

②、考虑使用消息队列；

③、使用缓存（只在读操作的时候）

 

二、Python操作redis

2.1、redis的概念

redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。
Redis提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便。

2.2、安装、连接redis

Redis一般都是安装在linux系统中，具体安装步骤如下：

# cd /usr/local/src
# wget http://download.redis.io/releases/redis-3.0.1.tar.gz
# tar xzf redis-3.0.1.tar.gz
# cd redis-3.0.1
# make
# src/redis-server &
或者在他的配置文件中把demon 改成yes

连接redis服务器，必须知道redis服务器的ip地址和redis的端口，默认端口为6379

# -*- coding:utf-8 -*-
# @Time    : 2017/9/17 19:19
import redis
r = redis.Redis(host="192.168.48.128", port=6379)
r.set("shang", "I love you!")
print(r.get("shang"))

2.3、redis连接池

redis-py使用connection pool来管理对一个redis server的所有连接，避免每次建立、释放连接的开销。默认，每个Redis实例都会维护一个自己的连接。可以直接建立一个连接池，然后作为Redis参数，这样就可以实现多个Redis实例共享一个连接池

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import redis
pool = redis.ConnectionPool(host="192.168.48.128")
r = redis.Redis(connection_pool=pool)
r.set("name", "lingxiangxiang")
print(r.get("name"))

 2.4、redis的数据类型及操作

①、String操作：
set(name, value, ex=None, px=None, nx=False, xx=False)
     ex，过期时间（秒）
     px，过期时间（毫秒）
     nx，如果设置为True，则只有name不存在时，当前set操作才执行,同setnx(name, value)
     xx，如果设置为True，则只有name存在时，当前set操作才执行'''
get(name) ：获取值
mset(name1=“ling”)：批量设置值,()为dict类型
mget(‘name1’, ‘name2’)：批量获取key的值，()为tuple类型
append(name, value)：添加

②、List操作：
Redis中存储list类型的数据是在内存中，一个name对应一个list
lpush(name, value)   #往左插入
r.lpush("list_name",2)
r.lpush("list_name",3,4,5)#保存在列表中的顺序为5，4，3，2
rpush(name, value)   #往右插入
llen(name)
# name对应的list元素的个数
# linsert(name,where,refvalue,value)
# name   代表的是list对应的key值
# where     AFTER   BEFORE
# refvalue    list中的某个元素

r.lset(name,index,value)：对name对应的list中的某一个索引位置重新赋值。
# 参数：
    # name，redis的name
    # index，list的索引位置
# value，要设置的值
r.lrem(name,value,num):在name对应的list中删除指定的值
# 参数：
    # name，redis的name
    # value，要删除的值
    # num，  num=0，删除列表中所有的指定值；
           # num=2,从前到后，删除2个；
           # num=-2,从后向前，删除2个
lpop(name)    在name对应的列表的左侧获取第一个元素并在列表中移除，返回值删除那个元素的值
扩展： rpop(name)表示从右向左操作
lindex(name,index)：在name对应的列表中根据索引取列表元素
lrange(name,start,end)：在name对应的列表分片获取数据

③、Set操作：
Set 是不重复的list
sadd(name, values)
r.sadd("set_name","aa","bb")
smembers(name)
#获取name对应的集合的所有成员
scard(name)
#获取name对应的集合中的元素个数
sismember(name, value)
#检查value是否是name对应的集合内的元素
spop(name)
#从集合的右侧移除一个元素，并将其返回
srem(name, value)  删除集合中的某个元素
r.srem("set_name", "aa")
sunion(keys, *args)
#获取多个name对应的集合的并集
r.sunion("set_name","set_name1","set_name2")
r.sinter(“set_name1”, “set_name2”)  交集

④、Hash操作：
Redis在内存中存储hash类型是以name对应一个字典形式存储的
hset(name,key,value)：name对应的hash中设置一个键值对(不存在，则创建；否则，修改)
#参数：
    #name:redis的name
    #key:key1对应的hash中的key
    #value:value1对应的hash中的value
hget(name,key)：在name对应的hash中获取根据key获取value
hmset(name,mapping)：在name对应的hash中批量设置键值对
#参数：
     #name：redis的name
     #mapping：字典，如{'k1':'v1','k2','v2'}
hmget(name,keys,*args)：在name对应的hash中获取多个key的值
#参数：
    #name：redis对应的name
    #keys：要获取key的集合，如：['k1','k2','k3']
    #*args：要获取的key,如：k1,k2,k3
print(r.hmget('test','k1','k2'))   #获取多个值

hgetall(name)：获取name对应hash的所有键值
hlen(name)：获取name对应的hash中键值的个数
hkeys(name)：获取name对应的hash中所有的key的值
hvals(name)：获取name对应的hash中所有的value的值
hexists(name,key)：检查name对应的hash是否存在当前传入的key
hdel(name,*keys)：将name对应的hash中指定key的键值对删除

⑤、其他操作

delete(*names)：根据name删除redis中的任意数据类型
exists(name)：检测redis的name是否存在
keys(pattern='*')：根据* ？等通配符匹配获取redis的name
expire(name ,time)：为某个name设置过期时间
rename(src, dst)：重命名
move(name, db))：将redis的某个值移动到指定的db下
type(name)： 获取name对应值的类型
flushall：删除所有的key
select 5：选择第5个库，默认有16个库，从0开始