Python操作redis、memcache和ORM框架_Day13
一、memcache
Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。
启动:memcached
-
d
-
m
10
-
u root
-
l
10.211
.
55.4
-
p
12000
-
c
256
-
P
/
tmp
/
memcached.pid
参数说明:
-
d 是启动一个守护进程
-
m 是分配给Memcache使用的内存数量,单位是MB
-
u 是运行Memcache的用户
-
l 是监听的服务器IP地址
-
p 是设置Memcache监听的端口,最好是
1024
以上的端口
-
c 选项是最大运行的并发连接数,默认是
1024
,按照你服务器的负载量来设定
-
P 是设置保存Memcache的pid文件
存储命令:
set
/
add
/
replace
/
append
/
prepend
/
cas
获取命令: get
/
gets
python操作Memcached
安装python-memcached模块
1 import memcache 2 3 mc = memcache.Client(['10.211.55.4:12000'], debug=True) 4 mc.set("foo", "bar") 5 ret = mc.get('foo') 6 print (ret)
Memcached天生支持和集群,其原理是在内存维护一个主机列表,且集群中主机的权重值和主机在列表中重复出现的次数成正比。
add 添加一条键值对
replace 修改某个key的值,如果key不存在,则异常
set和set_multi设置一个键值对
delete删除指定的一个键值对
delete_multi删除指定的多个键值对
get 获取一个键值对
get_multi 获取多个键值对
append 修改指定key的值,在该值后面追加内容
prepend 修改指定key的值,在该值前面插入内容
decr 自减,将memcache中的某一个值减少N(默认为1)
incr 自增,将memcache中的某一个值增加N(默认为1)
gets和cas同时出现,相当于事务,防止修改错误。
二、redis基本使用
启动服务
src/redis-server
启动客户端
src/redis-cli
操作模式
1 import redis 2 3 r = redis.Redis(host='192.168.10.12',port=6379) 4 r.set('foo','Bar') 5 print(r.get('foo'))
连接池
redis-py使用connection pool来管理对一个redis server的所有连接,避免每次建立、释放连接的开销。默认,每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池,然后作为参数Redis,这样就可以实现多个Redis实例共享一个连接池。
1 import redis 2 3 pool = redis.ConnectionPool(host='10.211.55.4', port=6379) 4 5 r = redis.Redis(connection_pool=pool) 6 r.set('foo', 'Bar') 7 print r.get('foo')
操作
set(name,value,ex=None,px=None,nx=False,xx=False)
参数:
ex,过期时间(s) px,过期时间(ms)
nx,如果设置为True,则只有name不存在时,当前set操作才执行
xx,如果设置为True,则只有name存在时,岗前set操作才执行
hash操作
hset(name,key,value)
name对应hash中设置一个键值对(不存在,则创建,否则修改)
list操作
一个name对应一个list
Ipush(name,values) 在name对应的list中添加元素,每个新的元素都添加到列表的最左边
rpush(name,values)表示从右向左操作
llen(name) name对应的list元素的个数
linsert(name,where,refvalue,value) 在name对应的列表的某一个值前或后插入一个新值
r.lrem(name,value,num) 在name对应的list中删除指定的值
lindex(name,index) 在name对应的列表中根据索引获取列表元素
set操作
sadd(name,values) name对应的集合中添加元素
scard(name) 获取name对应的集合中元素个数
sdiff(keys,*args) 在第一个name对应的集合中且不在其他name对应的集合的元素集合
sinter(keys,*args) 获取多一个name对应集合的并集
sismember(name,value) 检查value是否是name对应的集合的成员
smembers(name) 获取name对应的集合的所有成员
smove(src,dst,value) 将某个成员从一个集合移动到另一个集合
spop(name) 从集合的右侧(尾部)移除一个成员,并将其返回
srem(name,values) 在name对应的集合中删除某些值
sunion(keys,*args) 获取多一个name对应的集合的并集
有序集合
有序集合,在集合的基础上,为每元素排序;元素的排序需要根据另外一个值来进行比较,所以,对于有序集合,每一个元素有两个值,即:值和分数,分数专门用来做排序。
zadd(name,*args,**kwargs) 在name对应的有序集合中添加元素
zcard(name) 获取name对应的有序集合元素的数量
zcount(name,min,max) 获取name对应的有序集合中分数在[min,max]之间的个数
zincrby(name,value,amount) 自增name对应的有序集合的name对应的分数
zrank(name,value) 获取某个值在name对应的有序集合中的排行(从0开始)
zrem(name,values) 删除name对应的有序集合中值是values的成员
zremrangebyrangk(name,min,max) 根据排行范围删除
zscore(name,value) 获取name对应的有序集合中value对应的分数
其他操作
delete(*names) 根据删除redis中的任意数据类型
exists(name) 检测redis的name是否存在
expire(name,time) 为某个redis的某个name设置超时时间
rename(src,dst) 对redis的name重命名
move(name,db) 将redis的某个值移动到指定的db下
randomkey() 随机获取一个redis的name(不删除)
type(name) 获取name对应值的类型
管道
redis-py默认在执行每次请求都会创建(连接池申请连接)和断开(归还连接池)一次连接操作,如果想要在一次请求中指定多个命令,则可以使用pipline实现一次请求指定多个命令,并且默认情况下一次pipline 是原子性操作。
1 import redis 2 3 pool = redis.ConnectionPool(host='10.211.55.4', port=6379) 4 5 r = redis.Redis(connection_pool=pool) 6 7 # pipe = r.pipeline(transaction=False) 8 pipe = r.pipeline(transaction=True) 9 10 pipe.set('name', 'alex') 11 pipe.set('role', 'sb') 12 13 pipe.execute()
发布订阅
订阅者
1 from monitor.RedisHelper import RedisHelper 2 3 obj = RedisHelper() 4 redis_sub = obj.subscribe() 5 6 while True: 7 msg= redis_sub.parse_response() 8 print msg
发布者
1 from monitor.RedisHelper import RedisHelper 2 3 obj = RedisHelper() 4 obj.public('hello')
三、ORM框架之SQLAchemy
SQLAlchemy是Python编程语言下的一款ORM框架,该框架建立在数据库API之上,使用关系对象映射进行数据库操作,简言之便是:将对象转换成SQL,然后使用数据API执行SQL并获取执行结果。
1.创建表
1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 from sqlalchemy.ext.declarative import declarative_base 4 from sqlalchemy import Column, Integer, String, ForeignKey, UniqueConstraint, Index 5 from sqlalchemy.orm import sessionmaker, relationship 6 from sqlalchemy import create_engine 7 8 engine = create_engine("mysql+pymysql://root:123@127.0.0.1:3306/t1", max_overflow=5) 9 10 Base = declarative_base() 11 12 # 创建单表 13 class Users(Base): 14 __tablename__ = 'users' 15 id = Column(Integer, primary_key=True) 16 name = Column(String(32)) 17 extra = Column(String(16)) 18 19 __table_args__ = ( 20 UniqueConstraint('id', 'name', name='uix_id_name'), 21 Index('ix_id_name', 'name', 'extra'), 22 )
def init_db():
Base.metadata.create_all(engine)
一对多
#!/usr/bin/env python # -*- coding:utf-8 -*- # Author:Liumj from sqlalchemy.ext.declarative import declarative_base from sqlalchemy import Column,Integer,String,ForeignKey,UniqueConstraint,Index from sqlalchemy.orm import sessionmaker,relationship from sqlalchemy import create_engine engine = create_engine("mysql+pymysql://root:123@127.0.0.1/users",max_overflow=5) Base = declarative_base() class Favor(Base): __tablename__ = 'favor' nid = Column(Integer,primary_key=True) caption = Column(String(50),default='red',unique=True) class Person(Base): __tablename__ = 'person' nid = Column(Integer,primary_key=True) name = Column(String(32),index=True,nullable=True) favor_id = Column(Integer,ForeignKey("favor.nid")) def init_db(): Base.metadata.create_all(engine)
init_db()
多对多代码:
1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 # Author:Liumj 4 from sqlalchemy.ext.declarative import declarative_base 5 from sqlalchemy import Column,Integer,String,ForeignKey,UniqueConstraint,Index 6 from sqlalchemy.orm import sessionmaker,relationship 7 from sqlalchemy import create_engine 8 engine = create_engine("mysql+pymysql://root:123@127.0.0.1/users",max_overflow=5) 9 Base = declarative_base() 10 class Group(Base): 11 __tablename__ = 'group' 12 id = Column(Integer, primary_key=True) 13 name = Column(String(64), unique=True, nullable=False) 14 port = Column(Integer, default=22) 15 16 class Server(Base): 17 __tablename__ = 'server' 18 id = Column(Integer, primary_key=True, autoincrement=True) 19 hostname = Column(String(64), unique=True, nullable=False) 20 21 class ServerToGroup(Base): 22 __tablename__ = 'servertogroup' 23 nid = Column(Integer, primary_key=True, autoincrement=True) 24 server_id = Column(Integer, ForeignKey('server.id')) 25 group_id = Column(Integer, ForeignKey('group.id')) 26 27 def init_db(): 28 Base.metadata.create_all(engine)
29 init_db()
2.操作表
增
1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 # Author:Liumj 4 from sqlalchemy.ext.declarative import declarative_base 5 from sqlalchemy import Column,Integer,String,ForeignKey,UniqueConstraint,Index 6 from sqlalchemy.orm import sessionmaker,relationship 7 from sqlalchemy import create_engine 8 Base = declarative_base() 9 class Users(Base): 10 __tablename__ = 'us' 11 id = Column(Integer, primary_key=True) 12 name = Column(String(32)) 13 extra = Column(String(16)) 14 engine = create_engine("mysql+pymysql://root:123@127.0.0.1:3306/users?charset=utf8", max_overflow=5) 15 Session = sessionmaker(bind=engine) 16 session = Session() 17 #obj1 = Users(id=1,name='root',extra='...') 18 #session.add(obj1) 19 session.add_all([ 20 Users(name="alex1", extra='sb'), 21 Users(name="alex2", extra='sb'), 22 ]) 23 session.commit()
删
1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 # Author:Liumj 4 from sqlalchemy.ext.declarative import declarative_base 5 from sqlalchemy import Column,Integer,String,ForeignKey,UniqueConstraint,Index 6 from sqlalchemy.orm import sessionmaker,relationship 7 from sqlalchemy import create_engine 8 engine = create_engine("mysql+pymysql://root:123@127.0.0.1:3306/users?charset=utf8", max_overflow=5) 9 Base = declarative_base() 10 class Users(Base): 11 __tablename__ = 'us' 12 id = Column(Integer, primary_key=True) 13 name = Column(String(32)) 14 extra = Column(String(16)) 15 Session = sessionmaker(bind=engine) 16 session = Session() 17 session.query(Users).filter(Users.id > 1).delete() 18 session.commit()
改
1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 # Author:Liumj 4 from sqlalchemy.ext.declarative import declarative_base 5 from sqlalchemy import Column,Integer,String,ForeignKey,UniqueConstraint,Index 6 from sqlalchemy.orm import sessionmaker,relationship 7 from sqlalchemy import create_engine 8 engine = create_engine("mysql+pymysql://root:123@127.0.0.1:3306/users?charset=utf8", max_overflow=5) 9 Base = declarative_base() 10 class Users(Base): 11 __tablename__ = 'us' 12 id = Column(Integer, primary_key=True) 13 name = Column(String(32)) 14 extra = Column(String(16)) 15 Session = sessionmaker(bind=engine) 16 session = Session() 17 18 session.query(Users).filter(Users.id > 1).update({"name" : "099"}) 19 session.query(Users).filter(Users.id > 1).update({Users.name: Users.name + "099"}, synchronize_session=False) 20 session.commit()
查
1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 # Author:Liumj 4 from sqlalchemy.ext.declarative import declarative_base 5 from sqlalchemy import Column,Integer,String,ForeignKey,UniqueConstraint,Index 6 from sqlalchemy.orm import sessionmaker,relationship 7 from sqlalchemy import create_engine 8 engine = create_engine("mysql+pymysql://root:123@127.0.0.1:3306/user?charset=utf8", max_overflow=5) 9 Base = declarative_base() 10 class Users(Base): 11 __tablename__ = 'us' 12 id = Column(Integer, primary_key=True) 13 name = Column(String(32)) 14 extra = Column(String(16)) 15 Session = sessionmaker(bind=engine) 16 session = Session() 17 ret = session.query(Users).all() 18 ret = session.query(Users.name, Users.extra).all() 19 ret = session.query(Users).filter_by(name='alex').all() 20 ret = session.query(Users).filter_by(name='alex').first() 21 session.commit() 22 print(ret)
查
1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 # Author:Liumj 4 from sqlalchemy.ext.declarative import declarative_base 5 from sqlalchemy import Column,Integer,String,ForeignKey,UniqueConstraint,Index 6 from sqlalchemy.orm import sessionmaker,relationship 7 from sqlalchemy import create_engine 8 engine = create_engine("mysql+pymysql://root:123@127.0.0.1:3306/users?charset=utf8", max_overflow=5) 9 Base = declarative_base() 10 class Users(Base): 11 __tablename__ = 'us' 12 id = Column(Integer, primary_key=True) 13 name = Column(String(32)) 14 extra = Column(String(16)) 15 Session = sessionmaker(bind=engine) 16 session = Session() 17 ret = session.query(Users).all() 18 ret1 = session.query(Users.name, Users.extra).all() 19 ret2 = session.query(Users).filter_by(name='alex').all() 20 ret3 = session.query(Users).filter_by(name='alex').first() 21 v = session.query(Users).filter_by(id=2).all() 22 v1 = session.query(Users.id,Users.name) 23 print(v) 24 print(v1) 25 print(ret) 26 print(ret1) 27 print(ret2) 28 print(ret3)
其他
1 # 条件 2 ret = session.query(Users).filter_by(name='alex').all() 3 ret = session.query(Users).filter(Users.id > 1, Users.name == 'eric').all() 4 ret = session.query(Users).filter(Users.id.between(1, 3), Users.name == 'eric').all() 5 ret = session.query(Users).filter(Users.id.in_([1,3,4])).all() 6 ret = session.query(Users).filter(~Users.id.in_([1,3,4])).all() 7 ret = session.query(Users).filter(Users.id.in_(session.query(Users.id).filter_by(name='eric'))).all() 8 from sqlalchemy import and_, or_ 9 ret = session.query(Users).filter(and_(Users.id > 3, Users.name == 'eric')).all() 10 ret = session.query(Users).filter(or_(Users.id < 2, Users.name == 'eric')).all() 11 ret = session.query(Users).filter( 12 or_( 13 Users.id < 2, 14 and_(Users.name == 'eric', Users.id > 3), 15 Users.extra != "" 16 )).all() 17 18 19 # 通配符 20 ret = session.query(Users).filter(Users.name.like('e%')).all() 21 ret = session.query(Users).filter(~Users.name.like('e%')).all() 22 23 # 限制 24 ret = session.query(Users)[1:2] 25 26 # 排序 27 ret = session.query(Users).order_by(Users.name.desc()).all() 28 ret = session.query(Users).order_by(Users.name.desc(), Users.id.asc()).all() 29 30 # 分组 31 from sqlalchemy.sql import func 32 33 ret = session.query(Users).group_by(Users.extra).all() 34 ret = session.query( 35 func.max(Users.id), 36 func.sum(Users.id), 37 func.min(Users.id)).group_by(Users.name).all() 38 39 ret = session.query( 40 func.max(Users.id), 41 func.sum(Users.id), 42 func.min(Users.id)).group_by(Users.name).having(func.min(Users.id) >2).all() 43 44 # 连表 45 46 ret = session.query(Users, Favor).filter(Users.id == Favor.nid).all() 47 48 ret = session.query(Person).join(Favor).all() 49 50 ret = session.query(Person).join(Favor, isouter=True).all() 51 52 53 # 组合 54 q1 = session.query(Users.name).filter(Users.id > 2) 55 q2 = session.query(Favor.caption).filter(Favor.nid < 2) 56 ret = q1.union(q2).all() 57 58 q1 = session.query(Users.name).filter(Users.id > 2) 59 q2 = session.query(Favor.caption).filter(Favor.nid < 2) 60 ret = q1.union_all(q2).all()