SQLAlchemy

一、orm框架简介　

　　对象-关系映射（Object/Relation Mapping，简称ORM），是随着面向对象的软件开发方法发展而产生的。面向对象的开发方法是当今企业级应用开发环境中的主流开发方法，关系数据库是企业级应用环境中永久存放数据的主流数据存储系统。对象和关系数据是业务实体的两种表现形式，业务实体在内存中表现为对象，在数据库中表现为关系数据。内存中的对象之间存在关联和继承关系，而在数据库中，关系数据无法直接表达多对多关联和继承关系。因此，对象-关系映射(ORM)系统一般以中间件的形式存在，主要实现程序对象到关系数据库数据的映射。

1、ORM方法论基于三个核心原则

　　- 简单性：以最基本的形式建模数据。

　　- 传达性：数据库结构被任何人都能理解的语言文档化。

　　- 精确性：基于数据模型创建正确标准化了的结构。

　　面向对象是从软件工程基本原则(如耦合、聚合、封装)的基础上发展起来的，而关系数据库则是从数学理论发展而来的，两套理论存在显著的区别。为了解决这个不匹配的现象,对象关系映射技术应运而生。O/R中字母O起源于"对象"(Object),而R则来自于"关系"(Relational)。几乎所有的程序里面，都存在对象和关系数据库。在业务逻辑层和用户界面层中，我们是面向对象的。当对象信息发生变化的时候，我们需要把对象的信息保存在关系数据库中。

　　当开发一个应用程序的时候(不使用O/R Mapping),可能会写不少数据访问层的代码，用来从数据库保存，删除，读取对象信息，等等。在DAL中写了很多的方法来读取对象数据，改变状态对象等等任务。而这些代码写起来总是重复的。

　　如果打开你最近的程序，看看DAL代码，肯定会看到很多近似的通用的模式。我们以保存对象的方法为例，传入一个对象，为SqlCommand对象添加SqlParameter，把所有属性和对象对应，设置SqlCommand的CommandText属性为存储过程，然后运行SqlCommand。对于每个对象都要重复的写这些代码。除此之外，还有更好的办法吗？有，引入一个O/R Mapping。实质上，一个O/R Mapping会为你生成DAL。与其自己写DAL代码，不如用O/R Mapping。用O/R Mapping保存，删除，读取对象，O/R Mapping负责生成SQL，你只需要关心对象就好。对象关系映射成功运用在不同的面向对象持久层产品中。

2、一般的ORM包括以下四部分

　　- 一个对持久类对象进行CRUD操作的API；

　　- 一个语言或API用来规定与类和类属性相关的查询；

　　- 一个规定mapping metadata的工具；

　　- 一种技术可以让ORM的实现同事务对象一起进行dirty checking, lazy association fetching以及其他的优化操作；

3、ORM把关系数据库的表结构映射到对象上，我们先来看一个例子：

　　如果我们从数据库查出来几条数据，需要你在python中表示出来，如果你没有接触过ORM技术，你或许会使用下面的形式来存储这个数据：

　　[
　　　　(1, 'feng'),
　　　　(2, 'shang'),
　　　　(3, 'huo'),
　　]

　　如果你想知道表结构是什么样的，是不是就费劲了，如果你想快速的取出其中的元素，就需要听听ORM的思想了。

　　数据库中每次查出来的数据都用一个类表示，这个类的属性和数据库中表的字段一一对应。多条数据，就是一个list，每一行数据都是一个类来表示，如下所示：

　　class User(object):
　　　　def __init__(self, id, name):
　　　　　　self.id = id
　　　　　　self.name = name

　　[
　　　　User(1, "feng"),
　　　　User(2, "shang"),
　　　　User(3, "huo"),
　　]

　　当我们需要获得id，或者name的时候，只需要通过循环获取到对象，直接通过user1.id或者user1.name就可以获取到id和name的属性。并且使得数据的存取非常的规范，这样ORM架构应运而生。

二、SQLAlchemy介绍

　　Python中最有名的ORM架构就是SQLAlchemy，我们主要来学习SQLAlchemy的使用。

1、安装

pip install sqlalchemy

2、创建数据表

# ORM中的数据表是什么呢?
# Object Relation Mapping
# Object - Table 通过 Object 去操纵数据表
# 从而引出了我们的第一步创建数据表 - 创建Object
# 1. 创建Object
# class User(object):
#     pass

# 2. 让Object与数据表产生某种关系 也就是让Object与数据表格式极度相似
# 导入官宣基础模型
from sqlalchemy.ext.declarative import declarative_base
# 实例化官宣模型 - Base 就是 ORM 模型
Base = declarative_base()
# 当前的这个Object继承了Base也就是代表了Object继承了ORM的模型
class User(Base):  # 相当于 Django Models中的 Model
    # 为Table创建名称
    __tablename__ = "user"
    # 创建ID数据字段 , 那么ID是不是一个数据列呢? 也就是说创建ID字段 == 创建ID数据列
    from sqlalchemy import Column,Integer,String
    # id = Column(数据类型,索引,主键,外键,等等)
    # int == Integer
    id = Column(Integer,primary_key=True,autoincrement=True)
    # str == char(长度) == String(长度)
    name = Column(String(32),index=True)

# 3.去数据库中创建数据表? or 先连接数据库?
# 3.去连接数据库 创建数据引擎
from sqlalchemy import create_engine
# 创建的数据库引擎
engine = create_engine("mysql+pymysql://root:123456@127.0.0.1:3306/wll?charset=utf8")
# mysql+pymysql：指定是哪种数据库连接
# root：用户名
# 123456：root用户对应的密码
# 127.0.0.1:3306：数据库的ip和端口号
# wll：连接的数据库的名字
# charset=utf8：数据库字符集

# Base 自动检索所有继承Base的ORM 对象 并且创建所有的数据表
Base.metadata.create_all(engine)

3、增删改查操作

　　3.1、添加数据

# insert 为数据表增加数据
# insert One 增加一行数据
# insert into user(name) values ("张三")
# 在ORM中的操作:
# 1.首先导入之间做好的ORM 对象 User
from my_create_table import User
# 2.使用Users ORM模型创建一条数据
user1 = User(name="张三")
# 数据已经创建完了,但是需要写入到数据库中啊,怎么写入呢?
# 3.写入数据库:
# 首先打开数据库会话 , 说白了就是创建了一个操纵数据库的窗口
# 导入 sqlalchemy.orm 中的 sessionmaker
from sqlalchemy.orm import sessionmaker
# 导入之前创建好的 create_engine
from my_create_table import engine
# 创建 sessionmaker 会话对象,将数据库引擎 engine 交给 sessionmaker
Session = sessionmaker(engine)
# 打开会话对象 Session
db_session = Session()
# 在db_session会话中添加一条 UserORM模型创建的数据
db_session.add(user1)
# 使用 db_session 会话提交 , 这里的提交是指将db_session中的所有指令一次性提交
db_session.commit()
db_session.close()   # 关闭会话

# 当然也你也可很任性的提交多条数据
# 方法一:
user2 = User(name="李四")
user3 = User(name="王五")
db_session.add(user2)
db_session.add(user3)
db_session.commit()
# 之前说过commit是将db_session中的所有指令一次性提交,现在的db_session中至少有两条指令user2和user3
db_session.close()

# 如果说你觉得方法一很麻烦,那么方法二一定非常非常适合你
# 方法二:
user_list = [
    User(name="小明"),
    User(name="小红"),
    User(name="小兰")
]
db_session.add_all(user_list)   # add_all方法中传入可迭代对象，可一次性添加多条数据
db_session.commit()
db_session.close()

　　3.2、查询数据

# ORM操作查询数据
# 有了刚才Insert增加数据的经验,那么查询之前的准备工作,就不用再重复了吧
# 回想一下刚才Insert时我们的操作
from my_create_table import User, engine
from sqlalchemy.orm import sessionmaker

Session = sessionmaker(engine)
db_session = Session()

# 1. select * from user 查询user表中的所有数据
# 语法是这样的 使用 db_session 会话 执行User表 query(User) 取出全部数据 all()
user_all_list = db_session.query(User).all()
print(user_all_list)  # [<my_create_table.User object at 0x0000016D7C4BCDD8>, ......]
# 如何查看user_all_list其中的数据呢? 循环呗
for obj in user_all_list:
    print(obj.id, obj.name)  # ORM对象 直接使用调用属性的方法 拿出对应字段的值
db_session.close()    # 关闭会话

# 2. select * from user where id >= 5
# 语法是这样的 使用 db_session 会话 执行User表 query(User) 筛选内容User.id >=20 的数据全部取出 all()
user_all_list = db_session.query(User).filter(User.id >= 5).all()
print(user_all_list)
for obj in user_all_list:
    print(obj.id, obj.name)

db_session.close()     # 关闭会话

# 3. 除了取出全部还可以只取出一条，不用循环，直接通过调用属性方法得到字段值
user = db_session.query(User).filter(User.id >= 5).first()
print(user.id, user.name)
db_session.close()   # 关闭会话

# 4. 乌龙 之 忘了取出数据......
wulong1 = db_session.query(User).filter(User.id >= 5)
print(wulong1)
# SELECT user.id AS user_id, user.name AS user_name
# FROM user
# WHERE user.id >= %(id_1)s
# 我忘了取出数据了!!!哎? wulong1给我显示了原生SQL语句,因祸得福了

wulong2 = db_session.query(User)
print(wulong2)
# SELECT user.id AS user_id, user.name AS user_name
# FROM user
# 我又忘了取出数据了!!! 哎? wulong2给我显示了原生SQL语句,因祸得福了
db_session.close()    # 关闭会话

　　3.3、修改数据

# ORM更新数据
# 无论是更新还是删除,首先要做的事情,就应该是查询吧
# 根据之前原有的经验,接下来是不是要导入ORM对象了,是不是要创建db_session会话了
from my_create_table import User,engine
from sqlalchemy.orm import sessionmaker
Session = sessionmaker(engine)
db_session = Session()

# UPDATE user SET name="NB李四" WHERE id=2 更新一条数据
# 语法是这样的 :
# 使用 db_session 执行User表 query(User) 筛选 User.id = 2 的数据 filter(User.id == 2)
# 将name字段的值改为"NB李四" update({"name":"NB李四"})
res = db_session.query(User).filter(User.id == 2).update({"name":"NB李四"})
print(res)      # 1 res就是我们当前这句更新语句所更新的行数
# 注意注意注意
# 这里一定要将db_session中的执行语句进行提交,因为你这是要对数据中的数据进行操作
# 数据库中 增 改 删 都是操作,也就是说执行以上三种操作的时候一定要commit
db_session.commit()
db_session.close()


# 更新多条
res = db_session.query(User).filter(User.id <= 3).update({"name":"NB李四"})
print(res) # 3    res就是我们当前这句更新语句所更新的行数
db_session.commit()
db_session.close()    

　　3.4、删除数据

# ORM 删除一条多条数据
# 老规矩
# 导入 ORM 创建会话
from my_create_table import User,engine
from sqlalchemy.orm import sessionmaker
Session = sessionmaker(engine)
db_session = Session()

# DELETE FROM `user` WHERE id=2
res = db_session.query(User).filter(User.id==2).delete()
print(res)    # 1     res表示执行此语句更改的数据行数

db_session.commit()    # 删除操作记得commit
db_session.close()    # 关闭会话

　　3.5、高级查询数据操作

# 高级版查询操作,厉害了哦
# 老规矩
from my_create_table import User, engine
from sqlalchemy.orm import sessionmaker

Session = sessionmaker(engine)
db_session = Session()

# 查询数据表操作
# and or
from sqlalchemy.sql import and_ , or_
ret = db_session.query(User).filter(and_(User.id > 3, User.name == '小红')).all()
print(ret)    # [<my_create_table.User object at 0x000001E2D67DCCF8>]
ret = db_session.query(User).filter(or_(User.id < 2, User.name == '小红')).all()
print(ret)   # [<my_create_table.User object at 0x000001E2D67DCCF8>]

# 查询数据 指定查询数据列 加入别名映射   name  as  username
r2 = db_session.query(User.name.label('username'), User.id).first()
print(r2.id, r2.username)   # 这里要写别名"username"了

# 表达式筛选条件
r3 = db_session.query(User).filter(User.name == "小兰").all()
print(r3)   # [<my_create_table.User object at 0x0000024985DD0128>]

# 原生SQL筛选条件
r4 = db_session.query(User).filter_by(name='王五').all()
r5 = db_session.query(User).filter_by(name='王五').first()
print(r4)  # [<my_create_table.User object at 0x0000026545B9D3C8>] 
print(r5)  # <my_create_table.User object at 0x0000026545B9D3C8>

# 字符串匹配方式筛选条件 并使用 order_by进行排序
from sqlalchemy.sql import text
r6 = db_session.query(User).filter(text("id<:value and name=:name")).params(value=10, name='小红').order_by(User.id).all()
print(r6)    # [<my_create_table.User object at 0x0000028C032ABDD8>]

#原生SQL查询
r7 = db_session.query(User).from_statement(text("SELECT * FROM User where name=:name")).params(name='DragonFire').all()
print(r7)    # [<my_create_table.User object at 0x0000028C032ABDD8>]

# 筛选查询列
# query的时候我们不再使用User ORM对象,而是使用User.name来对内容进行选取
user_list = db_session.query(User.name).all()
print(user_list)
# [('NB李四',), ('何炅',), ('孙红雷',), ('小兰',), ('小红',), ......]
for row in user_list:
    print(row.name)

# 排序 :
user_list = db_session.query(User).order_by(User.id).all()   # 默认升序    # 也可以使用 asc() 方法升序
user_list = db_session.query(User).order_by(User.id.desc()).all()     # 根据id降序
for row in user_list:
    print(row.name,row.id)

# 其他查询条件
"""
ret = session.query(User).filter_by(name='DragonFire').all()
ret = session.query(User).filter(User.id > 1, User.name == 'DragonFire').all()
ret = session.query(User).filter(User.id.between(1, 3), User.name == 'DragonFire').all() # between 大于1小于3的
ret = session.query(User).filter(User.id.in_([1,3,4])).all() # in_([1,3,4]) 只查询id等于1,3,4的
ret = session.query(User).filter(~User.id.in_([1,3,4])).all() # ~xxxx.in_([1,3,4]) 查询不等于1,3,4的
ret = session.query(User).filter(User.id.in_(session.query(User.id).filter_by(name='DragonFire'))).all() 子查询
from sqlalchemy import and_, or_
ret = session.query(User).filter(and_(User.id > 3, User.name == 'DragonFire')).all()
ret = session.query(User).filter(or_(User.id < 2, User.name == 'DragonFire')).all()
ret = session.query(User).filter(
    or_(
        User.id < 2,
        and_(User.name == 'eric', User.id > 3),
        User.extra != ""
    )).all()
# select * from User where id<2 or (name="eric" and id>3) or extra != "" 

# 通配符
ret = db_session.query(User).filter(User.name.like('e%')).all()
ret = db_session.query(User).filter(~User.name.like('e%')).all()

# 限制
ret = db_session.query(User)[1:2]

# 排序
ret = db_session.query(User).order_by(User.name.desc()).all()
ret = db_session.query(User).order_by(User.name.desc(), User.id.asc()).all()

# 分组
from sqlalchemy.sql import func

ret = db_session.query(User).group_by(User.extra).all()
ret = db_session.query(
    func.max(User.id),
    func.sum(User.id),
    func.min(User.id)).group_by(User.name).all()

ret = db_session.query(
    func.max(User.id),
    func.sum(User.id),
    func.min(User.id)).group_by(User.name).having(func.min(User.id) >2).all()
"""

db_session.close()    # 关闭连接

　　3.6、高级修改数据操作

#高级版更新操作
from my_create_table import User,engine
from sqlalchemy.orm import sessionmaker

Session = sessionmaker(engine)
db_session = Session()

#直接修改
db_session.query(User).filter(User.id > 0).update({"name" : "099"})

#在原有值基础上添加 - 1
db_session.query(User).filter(User.id > 0).update({User.name: User.name + "099"}, synchronize_session=False)

#在原有值基础上添加 - 2
db_session.query(User).filter(User.id > 0).update({"age": User.age + 1}, synchronize_session="evaluate")
db_session.commit()

4、一对多的操作：ForeignKey

　　4.1、创建数据表及关系relationship

from sqlalchemy.ext.declarative import declarative_base

Base = declarative_base()

# 这次我们要多导入一个 ForeignKey 字段了,外键关联对了
from sqlalchemy import Column, Integer, String, ForeignKey
# 还要从orm 中导入一个 relationship 关系映射
from sqlalchemy.orm import relationship

class ClassTable(Base):
    __tablename__="classtable"
    id = Column(Integer, primary_key=True)
    name = Column(String(32), index=True)

class Student(Base):
    __tablename__="student"
    id = Column(Integer, primary_key=True)
    name = Column(String(32), index=True)

    # 关联字段,让class_id 与 class 的 id 进行关联,主外键关系(这里的ForeignKey一定要是表名.id不是对象名)
    class_id = Column(Integer, ForeignKey("classtable.id"))

    # 将student 与 classtable 创建关系 这个不是字段,只是关系,backref是反向关联的关键字
    stu2class = relationship("ClassTable", backref="class2stu")

from sqlalchemy import create_engine
engine = create_engine("mysql+pymysql://root:123456@127.0.0.1:3306/wll?charset=utf8")

Base.metadata.create_all(engine)

　　4.2、基于relationship添加数据

from my_ForeignKey import Student, ClassTable, engine
# 创建连接
from sqlalchemy.orm import sessionmaker
# 创建数据表操作对象 sessionmaker
DB_session = sessionmaker(engine)
db_session = DB_session()

# 增加数据
# 1.简单增加数据
# 添加两个班级:
db_session.add_all([
     ClassTable(name="OldBoyS1"),
     ClassTable(name="OldBoyS2")
])
db_session.commit()
# 添加一个学生 "孙红雷"   班级是 OldBoyS1
# 查询要添加到的班级
class_obj = db_session.query(ClassTable).filter(ClassTable.name == "OldBoyS1").first()
# 创建学生
stu = Student(name="孙红雷",class_id = class_obj.id)
db_session.add(stu)
db_session.commit()

# 2. relationship版 正向添加数据
# 通过关系列 stu2class 可以做到两件事
# 第一件事 在ClassTable表中添加一条数据
# 第二件事 在Student表中添加一条数据并将刚刚添加的ClassTable的数据id填写在Student的class_id中
stu_cla = Student(name="黄渤", stu2class=ClassTable(name="OldBoyS3"))
db_session.add(stu_cla)
db_session.commit()

# 3.relationship版 反向添加数据
# 首先建立ClassTable数据
class_obj = ClassTable(name="OldBoyS4")
# 通过class_obj中的反向关联字段backref - class2stu
# 向 Student 数据表中添加 2条数据 并将 2条数据的class_id 写成 class_obj的id
class_obj.class2stu = [Student(name="BMW"),Student(name="Audi")]
db_session.add(class_obj)
db_session.commit()
db_session.close()    # 关闭连接

　　4.3、基于relationship查询数据

from my_ForeignKey import Student, ClassTable, engine

from sqlalchemy.orm import sessionmaker
DB_session = sessionmaker(engine)
db_session = DB_session()

# 1.查询所有数据,并显示班级名称,连表查询
student_list = db_session.query(Student).all()
for stu in student_list:
    # stu.stu2class.name 通过Student对象中的关系字段relationship stu2class 获取关联 ClassTable中的name
    print(stu.name, stu.stu2class.name, stu.class_id)
# 孙红雷 OldBoyS1 1
# 黄渤 OldBoyS3 3
# BMW OldBoyS4 4
# Audi OldBoyS4 4

# 2.反向查询
class_list = db_session.query(ClassTable).all()
for cla in class_list:
    for stu in cla.class2stu:
        print(cla.name, stu.name)
# cla.class2stu 通过 backref 中的 class2stu 反向关联到 Student 表中根据ID获取name
# OldBoyS1 孙红雷
# OldBoyS3 黄渤
# OldBoyS4 BMW
# OldBoyS4 Audi

db_session.close()

　　4.4、更新数据

from my_ForeignKey import Student, ClassTable, engine

from sqlalchemy.orm import sessionmaker
DB_session = sessionmaker(engine)
db_session = DB_session()

# 更新
class_obj = db_session.query(ClassTable).filter(ClassTable.name=="OldBoyS1").first()
db_session.query(Student).filter(Student.class_id == class_obj.id).update({"name":"孙雷雷"})

db_session.commit()
db_session.close()

　　4.5、删除数据

from my_ForeignKey import Student, ClassTable,engine

from sqlalchemy.orm import sessionmaker
DB_session = sessionmaker(engine)
db_session = DB_session()

# 删除
class_obj = db_session.query(ClassTable).filter(ClassTable.name=="OldBoyS1").first()
db_session.query(Student).filter(Student.class_id == class_obj.id).delete()

db_session.commit()
db_session.close()

5、多对多的操作：ManyToMany

　　5.1、创建表及关系

from sqlalchemy.ext.declarative import declarative_base

Base = declarative_base()

from sqlalchemy import Column,Integer,String,ForeignKey
from sqlalchemy.orm import relationship


class Girl(Base):
    __tablename__="girl"
    id = Column(Integer, primary_key=True)
    name = Column(String(32), index=True)

    # 创建关系
   girl2boy = relationship("Boy", secondary="hotel", backref="boy2girl")


class Boy(Base):
    __tablename__="boy"
    id = Column(Integer, primary_key=True)
    name = Column(String(32), index=True)


class Hotel(Base):
    __tablename__="hotel"
    id = Column(Integer, primary_key=True)
    girl_id = Column(Integer, ForeignKey("girl.id"))
    boy_id = Column(Integer, ForeignKey("boy.id"))

from sqlalchemy import create_engine
engine = create_engine("mysql+pymysql://root:123456@127.0.0.1:3306/wll?charset=utf8")

Base.metadata.create_all(engine)

　　5.2、基于relationship添加数据

from my_M2M import Girl,Boy,Hotel,engine

# 创建连接
from sqlalchemy.orm import sessionmaker
# 创建数据表操作对象 sessionmaker
DB_session = sessionmaker(engine)
db_session = DB_session()

# 1.通过Boy添加Girl和Hotel数据  反向
boy_obj = Boy(name="DragonFire")
boy_obj.boy2girl = [Girl(name="赵丽颖"),Girl(name="Angelababy")]
db_session.add(boy_obj)
db_session.commit()
db_session.close()

# 2.通过Girl添加Boy和Hotel数据  正向
girl_obj = Girl(name="珊珊", girl2boy=[Boy(name="钢蛋儿"), Boy(name="粪球儿")])
db_session.add(girl_obj)
db_session.commit()
db_session.close()

　　5.3、基于relationship查询数据

from my_M2M import Girl,Boy,Hotel,engine

# 创建连接
from sqlalchemy.orm import sessionmaker
# 创建数据表操作对象 sessionmaker
DB_session = sessionmaker(engine)
db_session = DB_session()

# 1.通过Boy查询约会过的所有Girl
boys = db_session.query(Boy).all()
for boy in boys:
    for girl in boy.boy2girl:
        print(boy.name, girl.name)

# 2.通过Girl查询约会过的所有Boy
girls = db_session.query(Girl).all()
for girl in girls:
    for boy in girl.girl2boy:
        print(girl.name, boy.name)