Django聚合、分组查询、ORM查询优化

内容概要

• 聚合查询
• 分组查询
• F与Q查询
• ORM查询优化
• ORM字段类型及参数
• ORM事务操作

---

聚合查询

MySQL聚合函数:max\min\sum\count\avg
    
from django.db.models import Max, Min, Sum, Avg, Count
res = models.Book.objects.aggregate(Max('price'))
print(res)  # {'price__max': Decimal('13330.11')}
'''没有分组也可以使用聚合函数 默认整体就是一组'''
res = models.Book.objects.aggregate(Max('price'),
                                        Min('price'),
                                        Sum('price'),
                                        Avg('price'),
                                        Count('pk')
                                        )
print(res)
# {'price__max': Decimal('13330.11'), 'price__min': Decimal('6666.66'), 'price__sum': Decimal('29996.76'), 'price__avg': 9998.92, 'pk__count': 3}

分组查询

MySQL分组操作:group by
"""ORM执行分组操作 如果报错 可能需要去修改sql_mode 移除only_full_group_by"""
ORM操作分组关键字:annotate
 
from django.db.models import Max, Min, Sum, Avg, Count
# 统计每本书的作者个数
res = models.Book.objects.annotate(author_num=Count('authors__pk')).values('title', 'author_num')
 
# 统计每个出版社买的最便宜的书的名称和价格
res = models.Publish.objects.annotate(Min_price=Min('book__price')).values(
    'name',
    'book__title',
    'Min_price'
)
print(res)
 
# 统计不止一个作者的图书
res = models.Book.objects.annotate(
    author_num=Count('authors__pk')
	).filter(author_num__gt=1).values('title','author_num')
 
# 统计每个作者出的书的总价格
res = models.Author.objects.annotate(book_sum_price=Sum('book__price')).values(
    'name',
    'book_sum_price'
)
 
"""上述操作都是以表为单位做分组 如果想要以表中的某个字段分组如何操作"""
 # values('age')在分组前 类似于SQL的where 在分组之后 having
models.Author.objects.values('age').annotate() 
# 统计每个出版社主键值对应的书籍个数
res = models.Book.objects.values('publish_id').annotate(
        book_num=Count('pk')
		).values('publish_id','book_num')
print(res)

F与Q查询

"""
当表中已经有数据的情况下 添加额外的字段 需要指定默认值或者可以为null
	方式1
		IntegerField(verbose_name='销量',default=1000)
	方式2
		IntegerField(verbose_name='销量',null=True)
	方式3
		在迁移命令提示中直接给默认值
"""
# 查询库存大于销量的书籍
# res = models.Book.objects.filter(kucun > maichu)    不行
# res = models.Book.objects.filter(kucun__getmaichu)  不行# 当查询条件的左右两表的数据都需要

F查询

表中的数据 可以使用F查询
from django.db.models import F
res = models.Book.objects.filter(kucun__gt=F('maichu'))
 
# 将所有书的价格提升1000块
res = models.Book.objects.update(price=F('price') + 1000)
 
# 将所有书的名称后面加上_爆款后缀
res = models.Book.objects.update(title=F('title') + '_爆款')  # 不可以
'''如果要修改char字段咋办(千万不能用上面对数值类型的操作！！！) 需要使用下列两个方法'''
from django.db.models.functions import Concat
from django.db.models import Value
res = models.Book.objects.update(name=Concat(F('title'), Value('爆款')))

Q查询

# 查询价格大于20000或者卖出大于1000的书籍
    # res = models.Book.objects.filter(price__gt=20000,maichu__gt=1000)
    # print(res)
    # print(res.query)
    '''filter括号内多个条件默认是and关系 无法直接修改'''
    
    from django.db.models import Q
    '''使用Q对象 就可以支持逻辑运算符'''
    # res = models.Book.objects.filter(Q(price__gt=20000), Q(maichu__gt=1000))  # 逗号是and关系
    # res = models.Book.objects.filter(Q(price__gt=20000) | Q(maichu__gt=1000))  # 管道符是or关系
    # res = models.Book.objects.filter(~Q(price__gt=20000))  # ~是not操作
    # print(res.query)
    '''
    Q对象进阶用法
        filter(price=100)
        filter('price'=100)
    当我们需要编写一个搜索功能 并且条件是由用户指定 这个时候左边的数据就是一个字符串
    '''
    q_obj = Q()
    q_obj.connector = 'or'  # 默认是and 可以改为or
    q_obj.children.append(('price__gt',20000))
    q_obj.children.append(('maichu__gt',1000))
    res = models.Book.objects.filter(q_obj)
    print(res.query)

ORM查询优化

  """
  在IT行业 针对数据库 需要尽量做 能不'麻烦'它就不'麻烦'它
  """
  # 1.orm查询默认都是惰性查询(能不消耗数据库资源就不消耗)
  	光编写orm语句并不会直接指向SQL语句 只有后续的代码用到了才会执行
  # 2.orm查询默认自带分页功能(尽量减轻单次查询数据的压力)
 
  """前几年django面试经常问"""
  only与defer
 
    # res = models.Book.objects.values('title','price')
    '''需求:单个结果还是以对象的形式展示 可以直接通过句点符操作'''
    # for i in res:
    #     print(i.get('title'))
 
    # res = models.Book.objects.only('title', 'price')
    # for obj in res:
       # print(obj.title)
       # print(obj.price)
       # print(obj.publish_time)
    """
    only会产生对象结果集 对象点括号内出现的字段不会再走数据库查询
    但是如果点击了括号内没有的字段也可以获取到数据 但是每次都会走数据库查询
    """
    res = models.Book.objects.defer('title','price')
    for obj in res:
       # print(obj.title)
       # print(obj.price)
       print(obj.publish_time)
    """
    defer与only刚好相反 对象点括号内出现的字段会走数据库查询
    如果点击了括号内没有的字段也可以获取到数据 每次都不会走数据库查询
    """
 
    select_related和prefetch_related
    # res = models.Book.objects.select_related('publish')
        # for obj in res:
        #     print(obj.title)
        #     print(obj.publish.name)
        #     print(obj.publish.addr)
    """
    select_related括号内只能传一对一和一对多字段 不能传多对多字段
    效果是内部直接连接表(inner join) 然后将连接之后的大表中所有的数据全部封装到数据对象中
    后续对象通过正反向查询跨表 内部不会再走数据库查询
    """
    res = models.Book.objects.prefetch_related('publish')
    for obj in res:
        print(obj.title)
        print(obj.publish.name)
        print(obj.publish.addr)
    """
    将多次查询之后的结果封装到数据对象中 后续对象通过正反向查询跨表 内部不会再走数据库查询
    """

ORM常见字段

# ORM                                  			  MySQL
AutoField()         	  自增     			int auto_increment
CharField() 	   		字符类型			  varchar
'必须提供max_length参数'   
IntergerField()			  整型				int
BigIntergerField()		 长整型			   bigint
DecimalField()			10进制小数			  decimal
DateField()				日期格式			  date
DateTimeField()			日期+时间格式			datetime
BooleanField()  存0和1	布尔值				 boolean
TextField()		存储大段文本
FileField()		传文件自动保存到指定位置并存文件路径
EmailField()	本质还是varchar类型
 
# 自定义字段类型
class MyCharField(models.Field):
    def __init__(self, max_length, *args, **kwargs):
        self.max_length = max_length
        super().__init__(max_length=max_length, *args, **kwargs)
 
    def db_type(self, connection):
        return 'char(%s)' % self.max_length

ORM重要参数

primary_key					主键
max_length					字符长度
verbose_name				说明
null						用于表示某个字段可以为空
default						为该字段设置默认值。
max_digits					总位数(不包括小数点和符号)
decimal_places				小数位数
unique						如果设置为unique=True 则该字段在此表中必须是唯一的 。
db_index					如果db_index=True 则代表着为此字段设置索引。
auto_now				配置上auto_now=True，每次更新数据记录的时候会更新该字段。
auto_now_add			配置auto_now_add=True，创建数据记录的时候会把当前时间添加到数据库。
choices					用于可以被列举完全的数据，用来给字段提供选择项。
to							设置要关联的表。
to_field					设置要关联的字段。
db_constraint				是否在数据库中创建外键约束，默认为True。
 
ps:外键字段中可能还会遇到related_name参数
"""
外键字段中使用related_name参数可以修改正向查询的字段名
"""

chioces使用

	用于可以被列举完全的数据
  	eg:性别 学历 工作经验 工作状态
      	class User(models.Model):
          username = models.CharField(max_length=32)
          password = models.IntegerField()
          gender_choice = (
              (1,'男性'),
              (2,'女性'),
              (3,'变性')
          )
          gender = models.IntegerField(choices=gender_choice)
				user_obj.get_gender_display()  
        # 有对应关系就拿 没有还是本身

事务操作

MySQL事务:四大特性(ACID)
  	原子性
    一致性
    独立性
    持久性
    start transcation;    # 开启事务
    rollback;			 # 事务回滚
    commit;				 # 事务提交
    
ORM事务操作
# 事务会自动提交
from django.db import transaction
    try:
        with transaction.atomic():
            pass
    except Exception:
        pass

ORM执行原生SQL

# 方式1
from django.db import connection, connections
cursor = connection.cursor()  
cursor = connections['default'].cursor()
cursor.execute("""SELECT * from auth_user where id = %s""", [1])
cursor.fetchone()
 
# 方式2
models.UserInfo.objects.extra(
                    select={'newid':'select count(1) from app01_usertype where id>%s'},
                    select_params=[1,],
                    where = ['age>%s'],
                    params=[18,],
                    order_by=['-age'],
                    tables=['app01_usertype']
                )

多对多三种创建方式

# 全自动(常见)
	orm自动创建第三张表 但是无法扩展第三张表的字段
	authors = models.ManyToManyField(to='Author')
    
# 全手动(使用频率最低)
	优势在于第三张表完全自定义扩展性高 劣势在于无法使用外键方法和正反向
  class Book(models.Model):
  		title = models.CharField(max_length=32)
  class Author(models.Model):
    	name = models.CharField(max_length=32)
  class Book2Author(models.Model):
    	book_id = models.ForeignKey(to='Book')
    	author_id = models.ForeignKey(to='Author')
        
# 半自动(常见)
	正反向还可以使用 并且第三张表可以扩展 
    唯一的缺陷是不能用: add\set\remove\clear四个方法
  
  class Book(models.Model):
    	title = models.CharField(max_length=32)
    	authors = models.ManyToManyField(
      					to='Author',
    					through='Book2Author',  # 指定表
      					through_fields=('book','author')  # 指定字段
    )
  class Author(models.Model):
    	name = models.CharField(max_length=32)
    '''多对多建在任意一方都可以 如果建在作者表 字段顺序互换即可'''
    	books = models.ManyToManyField(
      					to='Author',
    					through='Book2Author',  # 指定表
      					through_fields=('author','book')  # 指定字段
    )
  class Book2Author(models.Model):
    	book = models.ForeignKey(to='Book')
    	author = models.ForeignKey(to='Author')