python 数据库操作之pymysql模块 和sqlalchemy模块
pymysql
pymsql是Python中操作MySQL的模块,其使用方法和MySQLdb几乎相同。
1、下载安装
pip3 install pymysql
2、操作数据库
(1)、执行sql
#!/usr/bin/env python # -*- coding:utf-8 -*- import pymysql # 创建连接 conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1') # 创建游标 cursor = conn.cursor() # 执行SQL,并返回收影响行数 effect_row = cursor.execute("update hosts set host = '1.1.1.2'") # 执行SQL,并返回受影响行数 #effect_row = cursor.execute("update hosts set host = '1.1.1.2' where nid > %s", (1,)) # 执行SQL,并返回受影响行数 #effect_row = cursor.executemany("insert into hosts(host,color_id)values(%s,%s)", [("1.1.1.11",1),("1.1.1.11",2)]) # 提交,不然无法保存新建或者修改的数据 conn.commit() # 关闭游标 cursor.close() # 关闭连接 conn.close()
(2)、获取新创建数据自增ID
#!/usr/bin/env python # -*- coding:utf-8 -*- import pymysql conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1') cursor = conn.cursor() cursor.executemany("insert into hosts(host,color_id)values(%s,%s)", [("1.1.1.11",1),("1.1.1.11",2)]) conn.commit() cursor.close() conn.close() # 获取最新自增ID new_id = cursor.lastrowid
(3)、获取查询数据
#!/usr/bin/env python # -*- coding:utf-8 -*- import pymysql conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1') cursor = conn.cursor() cursor.execute("select * from hosts") # 获取第一行数据 row_1 = cursor.fetchone() # 获取前n行数据 # row_2 = cursor.fetchmany(3) # 获取所有数据 # row_3 = cursor.fetchall() conn.commit() cursor.close() conn.close()
注:在fetch数据时按照顺序进行,可以使用cursor.scroll(num,mode)来移动游标位置,如:
- cursor.scroll(1,mode='relative') # 相对当前位置移动
- cursor.scroll(2,mode='absolute') # 相对绝对位置移动
(4)、fetch数据类型
关于默认获取的数据是元祖类型,如果想要或者字典类型的数据,即:
#!/usr/bin/env python # -*- coding:utf-8 -*- import pymysql conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1') # 游标设置为字典类型 cursor = conn.cursor(cursor=pymysql.cursors.DictCursor) r = cursor.execute("call p1()") result = cursor.fetchone() conn.commit() cursor.close() conn.close()
sqlalchemy简介
SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射(ORM)工具,使用MIT许可证发行。
SQLAlchemy“采用简单的Python语言,为高效和高性能的数据库访问设计,实现了完整的企业级持久模型”。SQLAlchemy的理念是,SQL数据库的量级和性能重要于对象集合;而对象集合的抽象又重要于表和行。因此,SQLAlchmey采用了类似于Java里Hibernate的数据映射模型,而不是其他ORM框架采用的Active Record模型。不过,Elixir和declarative等可选插件可以让用户使用声明语法。
SQLAlchemy与数据库关系图如下:
sqlalchemy基本操作
一、安装sqlalchemy
- 本文采用的是mysql案例,所以需要一台有安装mysql数据库的机器
- 使用python的pip3安装 pip3 install sqlalchemy
安装完后查看版本信息
import sqlalchemy sqlalchemy.__version__
二、连接数据库
在sqlalchemy中,session用于创建程序与数据库之间的会话。所有对象的载入和保存都需要通过session对象。
from sqlalchemy import create_engine from sqlalchemy.orm import sessionmaker # 链接数据库采用pymysq模块做映射,后面参数是最大连接数5 ENGINE=create_engine("mysql+pymysql://root@127.0.0.1:3306/digchouti?charset=utf8", max_overflow=5) Session = sessionmaker(bind=engine) session = Session()
三、创建映射(创建表)
一个映射对应着一个Python类,用来表示一个表的结构。下面创建一个person表,包括id和name两个字段。也就是说创建表就是用python的的类来实现
import sqlalchemy from sqlalchemy import create_engine from sqlalchemy.ext.declarative import declarative_base from sqlalchemy import Column, Integer, String from sqlalchemy.orm import sessionmaker ENGINE=create_engine("mysql+pymysql://root@127.0.0.1:3306/digchouti?charset=utf8", max_overflow=5) #生成一个SQLORM基类,创建表必须继承他,别问我啥意思就是这么规定的 Base = declarative_base() class Person(Base): __tablename__ = 'userinfo' id = Column(Integer, primary_key=True) name = Column(String(32)) def __repr__(self): return "<Person(name='%s')>" % self.name
此代码是创建了一个名字叫userinfo的表,表里有两列,一列是id,一列是name。
四、添加数据
当然我们创建了表,肯定也要添加数据,代码如下:
#创建一个person对象 person = Person(name='康') #添加person对象,但是仍然没有提交到数据库 session.add(person) #提交数据库 session.commit()
当然还能添加多条数据:
session.add_all([ Person(name='康'), Person(name='aylin') ]) session.commit()
五、查找数据
在sqlalchemy模块中,查找数据给提供了query()的方法 下面我就把能用到的给列举一下:
#获取所有数据 session.query(Person).all() #获取name=‘张岩林’的那行数据 session.query(Person).filter(Person.name=='康').one() #获取返回数据的第一行 session.query(Person).first() #查找id大于1的所有数据 session.query(Person.name).filter(Person.id>1).all() #limit索引取出第一二行数据 session.query(Person).all()[1:3] #order by,按照id从大到小排列 session.query(Person).ordre_by(Person.id) #equal/like/in query = session.query(Person) query.filter(Person.id==1).all() query.filter(Person.id!=1).all() query.filter(Person.name.like('%ay%')).all() query.filter(Person.id.in_([1,2,3])).all() query.filter(~Person.id.in_([1,2,3])).all() query.filter(Person.name==None).all() #and or from sqlalchemy import and_ from sqlalchemy import or_ query.filter(and_(Person.id==1, Person.name=='康')).all() query.filter(Person.id==1, Person.name=='康').all() query.filter(Person.id==1).filter(Person.name=='康').all() query.filter(or_(Person.id==1, Person.id==2)).all() # count计算个数 session.query(Person).count() # 修改update session.query(Person).filter(id > 2).update({'name' : '康'})
# 通配符 ret = session.query(Users).filter(Users.name.like('e%')).all() ret = session.query(Users).filter(~Users.name.like('e%')).all() # 限制 ret = session.query(Users)[1:2] # 排序 ret = session.query(Users).order_by(Users.name.desc()).all() ret = session.query(Users).order_by(Users.name.desc(), Users.id.asc()).all() # 分组 from sqlalchemy.sql import func ret = session.query(Users).group_by(Users.extra).all() ret = session.query( func.max(Users.id), func.sum(Users.id), func.min(Users.id)).group_by(Users.name).all() ret = session.query( func.max(Users.id), func.sum(Users.id), func.min(Users.id)).group_by(Users.name).having(func.min(Users.id) >2).all() # 连表 ret = session.query(Users, Favor).filter(Users.id == Favor.nid).all() ret = session.query(Person).join(Favor).all() ret = session.query(Person).join(Favor, isouter=True).all() # 组合 q1 = session.query(Users.name).filter(Users.id > 2) q2 = session.query(Favor.caption).filter(Favor.nid < 2) ret = q1.union(q2).all() q1 = session.query(Users.name).filter(Users.id > 2) q2 = session.query(Favor.caption).filter(Favor.nid < 2) ret = q1.union_all(q2).all()
查询这块比较多,可能写的不全还望各位见谅,剩下我相信大家都能扩展起来
上面的介绍完了,可能各位还不能吧融合到一块去,下面我给大家融合写在一块吧:
from sqlalchemy.ext.declarative import declarative_base from sqlalchemy import Column from sqlalchemy import Integer, String, TIMESTAMP from sqlalchemy import ForeignKey, UniqueConstraint, Index from sqlalchemy.orm import sessionmaker, relationship from sqlalchemy import create_engine ENGINE=create_engine("mysql+pymysql://root@127.0.0.1:3306/digchouti?charset=utf8", max_overflow=5) Base = declarative_base() class Person(Base): __tablename__ = 'userinfo' id = Column(Integer, primary_key=True) name = Column(String(32)) def __repr__(self): return "<Person(name='%s')>" % self.name #创建连接数据库以供提交用,至此表会创建完成,可以去数据库里面查看 Base.metadata.create_all(ENGINE) Session = sessionmaker(bind=engine) # 往里面插入多条数据 session = Session() session.add_all([ Person(name='康'), Person(name='康哥') ]) session.commit()
sqlalchemy表关系之间高级用法
上面阐述的是对于一张表的操作,下面将说的是表关系的一对多,多对多,了解数据库的都知道外键,也就是表关系建立。
1、一对多外键(1)
第一种方法我们只用到普通的操作,这个方式相对于好理解,在第一张表创建完,插入数据然后要记得提交数据,然后往第二章表创建数据的时候,可以直接拿第一张相关联的数据,代码如下:
#!/usr/bin/env python # -*- coding:utf-8 -*- from sqlalchemy.ext.declarative import declarative_base from sqlalchemy import Column,Integer,ForeignKey,UniqueConstraint,Index,String from sqlalchemy.orm import sessionmaker,relationship from sqlalchemy import create_engine engine=create_engine('mysql+pymysql://root@127.0.0.1:3306/db1') Base = declarative_base() class Son(Base): __tablename__ = 'son' id = Column(Integer,primary_key=True) name = Column(String(32)) age = Column(String(32)) # 创建外键,对应父亲那张表的id项 father_id = Column(Integer,ForeignKey('father.id')) class Father(Base): __tablename__ = 'father' id = Column(Integer,primary_key=True) name = Column(String(32)) age = Column(String(32)) Base.metadata.create_all(engine) Session = sessionmaker(bind=engine) session = Session() f1 = Father(name = 'zhangyanlin',age = '18') session.add(f1) session.commit() w1 = Son(name = 'xiaozhang1',age = 3,father_id = 1) w2 = Son(name = 'xiaozhang2',age = 3,father_id = 1) session.add_all([w1,w2]) session.commit()
2、一对多外键(2)relationship
第二种方法和第一种一样,只是这里改用了relationship来做外键关系,代码如下:
#!/usr/bin/env python # -*- coding:utf-8 -*- from sqlalchemy.ext.declarative import declarative_base from sqlalchemy import Column,Integer,ForeignKey,UniqueConstraint,Index,String from sqlalchemy.orm import sessionmaker,relationship from sqlalchemy import create_engine engine = create_engine('mysql+pymysql://root@127.0.0.1:3306/db1') Base = declarative_base() class Son(Base): __tablename__ = 'son' id = Column(Integer,primary_key=True) name = Column(String(32)) age = Column(String(32)) father_id = Column(Integer,ForeignKey('father.id')) class Father(Base): __tablename__ = 'father' id = Column(Integer,primary_key=True) name = Column(String(32)) age = Column(String(32)) son = relationship('Son') Base.metadata.create_all(engine) Session = sessionmaker(bind=engine) session = Session() f1 = Father(name = 'zhangyanlin',age = '18') w1 = Son(name = 'xiaozhang1',age = '3') w2 = Son(name = 'xiaozhang2',age = '4') # 重点是这里绑定关系 f1.son = [w1,w2] # 只需要把父亲给传进去,儿子的自然就上传进去啦 session.add(f1) session.commit()