06 ORM常用字段 关系字段 数据库优化查询
一、Django ORM 常用字段和参数
1.常用字段
models中所有的字段类型其实本质就那几种,整形varchar什么的,都没有实际的约束作用,虽然在models中没有任何限制作用,但是还是要分门别类,对于校验性组件校验非常有用
就比如说邮箱类型,你在输入邮箱的时候如果不按照邮箱格式输入,瞎鸡儿输入会提示你不合法,虽然输入的是字符串,但是不是规定的邮箱字符串
AutoField() 【int primary key auto_increment)】 int自增列,必须填入参数 primary_key=True。当model中如果没有自增列,则自动会创建一个列名为id的列。
IntegerField() 【int()】一个整数类型,范围在 -2147483648 to 2147483647。(一般不用它来存手机号(位数也不够),直接用字符串存
CharField() 【varchar()】 字符类型,必须提供max_length参数, max_length表示字符长度。
DateField() 【date】日期字段,日期格式 YYYY-MM-DD,相当于Python中的datetime.date()实例。
DateTimeField() 【datetime】日期时间字段,格式 YYYY-MM-DD HH:MM[:ss[.uuuuuu]][TZ],相当于Python中的datetime.datetime()实例
EmailField() 【varchar(254)】其实就是varchar但是不能直接写成varchar,就比如男人女人都是人,但是必须说清楚,后面会用于校验性组件的校验
BooleanField()
is_delete = BooleanField()
给该字段传值的时候 你只需要传布尔值即可
但是对应到数据库 它存的是0和1
TextField()
- 文本类型用来存大段文本
FileField()
- 字符串,路径保存在数据库,文件上传到指定目录
- 参数:
upload_to = "path" 用户上传的文件会自动放到等号后面指定的文件路径中
storage = None 存储组件,默认django.core.files.storage.FileSystemStorage
自定义char:
Django中的CharField对应的MySQL数据库中的varchar类型,没有设置对应char类型的字段,
但是Django允许我们自定义新的字段,下面我来自定义对应于数据库的char类型
自定义字段在实际项目应用中可能会经常用到
from django.db import models # Create your models here. #Django中没有对应的char类型字段,但是我们可以自己创建 class FixCharField(models.Field): ''' 自定义的char类型的字段类 ''' def __init__(self,max_length,*args,**kwargs): self.max_length=max_length super().__init__(max_length=max_length,*args,**kwargs) def db_type(self, connection): ''' 限定生成的数据库表字段类型char,长度为max_length指定的值 :param connection: :return: ''' return 'char(%s)'%self.max_length #应用上面自定义的char类型 class Class(models.Model): id=models.AutoField(primary_key=True) title=models.CharField(max_length=32) class_name=FixCharField(max_length=16) gender_choice=((1,'男'),(2,'女'),(3,'保密')) gender=models.SmallIntegerField(choices=gender_choice,default=3)
字段合集和对应关系
AutoField(Field) - int自增列,必须填入参数 primary_key=True BigAutoField(AutoField) - bigint自增列,必须填入参数 primary_key=True 注:当model中如果没有自增列,则自动会创建一个列名为id的列 from django.db import models class UserInfo(models.Model): # 自动创建一个列名为id的且为自增的整数列 username = models.CharField(max_length=32) class Group(models.Model): # 自定义自增列 nid = models.AutoField(primary_key=True) name = models.CharField(max_length=32) SmallIntegerField(IntegerField): - 小整数 -32768 ~ 32767 PositiveSmallIntegerField(PositiveIntegerRelDbTypeMixin, IntegerField) - 正小整数 0 ~ 32767 IntegerField(Field) - 整数列(有符号的) -2147483648 ~ 2147483647 PositiveIntegerField(PositiveIntegerRelDbTypeMixin, IntegerField) - 正整数 0 ~ 2147483647 BigIntegerField(IntegerField): - 长整型(有符号的) -9223372036854775808 ~ 9223372036854775807 BooleanField(Field) - 布尔值类型 NullBooleanField(Field): - 可以为空的布尔值 CharField(Field) - 字符类型 - 必须提供max_length参数, max_length表示字符长度 TextField(Field) - 文本类型 EmailField(CharField): - 字符串类型,Django Admin以及ModelForm中提供验证机制 IPAddressField(Field) - 字符串类型,Django Admin以及ModelForm中提供验证 IPV4 机制 GenericIPAddressField(Field) - 字符串类型,Django Admin以及ModelForm中提供验证 Ipv4和Ipv6 - 参数: protocol,用于指定Ipv4或Ipv6, 'both',"ipv4","ipv6" unpack_ipv4, 如果指定为True,则输入::ffff:192.0.2.1时候,可解析为192.0.2.1,开启此功能,需要protocol="both" URLField(CharField) - 字符串类型,Django Admin以及ModelForm中提供验证 URL SlugField(CharField) - 字符串类型,Django Admin以及ModelForm中提供验证支持 字母、数字、下划线、连接符(减号) CommaSeparatedIntegerField(CharField) - 字符串类型,格式必须为逗号分割的数字 UUIDField(Field) - 字符串类型,Django Admin以及ModelForm中提供对UUID格式的验证 FilePathField(Field) - 字符串,Django Admin以及ModelForm中提供读取文件夹下文件的功能 - 参数: path, 文件夹路径 match=None, 正则匹配 recursive=False, 递归下面的文件夹 allow_files=True, 允许文件 allow_folders=False, 允许文件夹 FileField(Field) - 字符串,路径保存在数据库,文件上传到指定目录 - 参数: upload_to = "" 上传文件的保存路径 storage = None 存储组件,默认django.core.files.storage.FileSystemStorage ImageField(FileField) - 字符串,路径保存在数据库,文件上传到指定目录 - 参数: upload_to = "" 上传文件的保存路径 storage = None 存储组件,默认django.core.files.storage.FileSystemStorage width_field=None, 上传图片的高度保存的数据库字段名(字符串) height_field=None 上传图片的宽度保存的数据库字段名(字符串) DateTimeField(DateField) - 日期+时间格式 YYYY-MM-DD HH:MM[:ss[.uuuuuu]][TZ] DateField(DateTimeCheckMixin, Field) - 日期格式 YYYY-MM-DD TimeField(DateTimeCheckMixin, Field) - 时间格式 HH:MM[:ss[.uuuuuu]] DurationField(Field) - 长整数,时间间隔,数据库中按照bigint存储,ORM中获取的值为datetime.timedelta类型 FloatField(Field) - 浮点型 DecimalField(Field) - 10进制小数 - 参数: max_digits,小数总长度 decimal_places,小数位长度 BinaryField(Field) - 二进制类型
对应关系: 'AutoField': 'integer AUTO_INCREMENT', 'BigAutoField': 'bigint AUTO_INCREMENT', 'BinaryField': 'longblob', 'BooleanField': 'bool', 'CharField': 'varchar(%(max_length)s)', 'CommaSeparatedIntegerField': 'varchar(%(max_length)s)', 'DateField': 'date', 'DateTimeField': 'datetime', 'DecimalField': 'numeric(%(max_digits)s, %(decimal_places)s)', 'DurationField': 'bigint', 'FileField': 'varchar(%(max_length)s)', 'FilePathField': 'varchar(%(max_length)s)', 'FloatField': 'double precision', 'IntegerField': 'integer', 'BigIntegerField': 'bigint', 'IPAddressField': 'char(15)', 'GenericIPAddressField': 'char(39)', 'NullBooleanField': 'bool', 'OneToOneField': 'integer', 'PositiveIntegerField': 'integer UNSIGNED', 'PositiveSmallIntegerField': 'smallint UNSIGNED', 'SlugField': 'varchar(%(max_length)s)', 'SmallIntegerField': 'smallint', 'TextField': 'longtext', 'TimeField': 'time', 'UUIDField': 'char(32)',
2.字段参数
null 用于表示某个字段可以为空。
unique 如果设置为unique=True 则该字段在此表中必须是唯一的 。
db_index 如果db_index=True 则代表着为此字段设置索引。
default 为该字段设置默认值。
DateField和DateTimeField:
uto_now_add 配置auto_now_add=True,创建数据记录的时候会把当前时间添加到数据库。
auto_now 配置上auto_now=True,每次更新数据记录的时候会更新该字段
3.choices字段
在很多时候我们往数据库中存数据的时候不会直接存储汉字,会采用数字存取代替汉字,减小内存,
我们使用choices来给数字绑定注释关系,后期取出来的时候用固定语法取出注释,如:1表示男,我们取出来的时候取出男并不是取出数字1
1.绑定关系
choices=((1,'男'),(2,'女'),(3,'其他'))
gender = models.IntegerField(choices=choices)
2.取choice里面罗列的数字与中文对应关系: 固定语法: get_字段名_display() 如:print(user_obj.get_gender_display()) 3. 取没有罗列出来的数字 不会报错,会展示数字,数字是多少就展示多少
from django.db import models # Create your models here. class User(models.Model): username = models.CharField(max_length=32) age = models.IntegerField() choices=( (1,'男'),(2,'女'),(3,'其他') ) gender = models.IntegerField(choices=choices) """ 1 取choice里面罗列的数字与中文对应关系: 固定语法: get_字段名_display() 如:print(user_obj.get_gender_display()) 2 取没有罗列出来的数字 不会报错,会展示数字,数字是多少就展示多少 """
import os import sys if __name__ == "__main__": os.environ.setdefault("DJANGO_SETTINGS_MODULE", "d57.settings") import django django.setup() from app01 import models user_obj = models.User.objects.filter(pk=5).first() #print(user_obj.gender) print(user_obj.get_gender_display())
二、关系字段
1.ForeignKey
外键类型在ORM中用来表示外键关联关系,一般把ForeignKey字段设置在 '一对多'中'多'的一方。
ForeignKey可以和其他表做关联关系同时也可以和自身做关联关系。
字段参数:
# to 设置要关联的表
class Classes(models.Model): name = models.CharField(max_length=32) class Student(models.Model): name = models.CharField(max_length=32) theclass = models.ForeignKey(to="Classes")
#to_field 设置要关联的表的字段
#on_delete 当删除关联表中的数据时,当前表与其关联的行的行为
def func(): return 10 class MyModel(models.Model): user = models.ForeignKey( to="User", to_field="id", on_delete=models.SET(func) )
# related_name 反向操作时,使用参数指定的字段名,代替原反向查询时的'表名_set'
class Classes(models.Model): name = models.CharField(max_length=32) class Student(models.Model): name = models.CharField(max_length=32) #theclass = models.ForeignKey(to="Classes") #不使用的情况下 theclass = models.ForeignKey(to="Classes", related_name="students") #当我们要查询某个班级关联的所有学生(反向查询)时,我们会这么写: #models.Classes.objects.first().student_set.all() #本来这样写 models.Classes.objects.first().students.all()
# related_query_name 反向查询操作时,使用的连接前缀,用于替换表名
# models.CASCADE 删除关联数据,与之关联也删除
# db_constraint 是否在数据库中创建外键约束,默认为True。
models.DO_NOTHING
删除关联数据,引发错误IntegrityError
models.PROTECT
删除关联数据,引发错误ProtectedError
models.SET_NULL
删除关联数据,与之关联的值设置为null(前提FK字段需要设置为可空)
models.SET_DEFAULT
删除关联数据,与之关联的值设置为默认值(前提FK字段需要设置默认值)
models.SET
删除关联数据,
a. 与之关联的值设置为指定值,设置:models.SET(值)
b. 与之关联的值设置为可执行对象的返回值,设置:models.SET(可执行对象)
2.OneToOneField
一对一字段。
通常一对一字段用来扩展已有字段。(通俗的说就是一个人的所有信息不是放在一张表里面的,简单的信息一张表,隐私的信息另一张表,之间通过一对一外键关联)
字段参数:
# to 设置要关联的表。
# to_field 设置要关联的字段。
# on_delete 当删除关联表中的数据时,当前表与其关联的行的行为。(同外键,参考上面的例子)
class Author(models.Model): name = models.CharField(max_length=32) info = models.OneToOneField(to='AuthorInfo') class AuthorInfo(models.Model): phone = models.CharField(max_length=11) email = models.EmailField()
3. ManyToManyField
用于表示多对多的关联关系。在数据库中通过第三张表来建立关联关系
#to 设置要关联的表
# related_name 同ForeignKey字段。
# related_query_name 同ForeignKey字段。
# symmetrical 仅用于多对多自关联时,指定内部是否创建反向操作的字段。默认为True。
class Person(models.Model): name = models.CharField(max_length=16) friends = models.ManyToManyField("self") #此时,person对象就没有person_set属性。 class Person(models.Model): name = models.CharField(max_length=16) friends = models.ManyToManyField("self", symmetrical=False) #此时,person对象现在就可以使用person_set属性进行反向查询。
#through
在使用ManyToManyField字段时,Django将自动生成一张表来管理多对多的关联关系。
但我们也可以手动创建第三张表来管理多对多关系,此时就需要通过through来指定第三张表的表名。
# through_fields 设置关联的字段。
# db_table 默认创建第三张表时,数据库中表的名称。
4.多对多关联关系的三种方式
1.全自动(稍微推荐使用*)
完全依赖于ManyToMany让django orm自动创建第三张表
优势:不需要你创建第三张表 自动创建
不足:由于第三张表不是你手动创建的,也就意味着第三张表字段是固定的无法做扩展
class Book(models.Model): title = models.CharField(max_length=32) price = models.DecimalField(max_digits=8,decimal_places=2) authors = models.ManyToManyField(to='Author') class Author(models.Model): name = models.CharField(max_length=32)
2.纯手动(了解即可,不用)
不依赖于ManyToMany,自己创建第三张表,里面是有ForeignKey自己做两张表的关联
优势:第三张可以新增任意字段 扩展性较高
不足:orm查询时较为繁琐
class Book(models.Model): title = models.CharField(max_length=32) price = models.DecimalField(max_digits=8,decimal_places=2) class Author(models.Model): name = models.CharField(max_length=32) class Book2Author(models.Model): book = models.ForeignKey(to='Book') author = models.ForeignKey(to='Author') create_time = models.DateField(auto_now_add=True)
3.半自动(大力推荐使用******)
设置ManyTomanyField参数,并指定自行创建的第三张表,依赖于ManyToMany,但是自己创建第三张表
优势:结合了全自动和纯手动的两个优点,可扩展性高
不足:多对多字段方法不支持了(add,set,remove,clear),需要通过第三张表的model来管理多对多关系
class Book(models.Model): title = models.CharField(max_length=32) price = models.DecimalField(max_digits=8,decimal_places=2) authors = models.ManyToManyField(to='Author',through='Book2Author',through_fields=('book','author')) # through 告诉django orm 书籍表和作者表的多对多关系是通过Book2Author来记录的 # through_fields 告诉django orm记录关系时用过Book2Author表中的book字段和author字段来记录的 class Author(models.Model): name = models.CharField(max_length=32) # books = models.ManyToManyField(to='Book', through='Book2Author', through_fields=('author', 'book')) class Book2Author(models.Model): book = models.ForeignKey(to='Book') author = models.ForeignKey(to='Author') create_time = models.DateField(auto_now_add=True)
5.元信息
ORM对应的类里面包含另一个Meta类,而Meta类封装了一些数据库的信息。主要字段如下:
# db_table ORM在数据库中的表名默认是 app_类名,可以通过db_table可以重写表名。
# index_together 联合索引。
# unique_together 联合唯一索引。
# ordering 指定默认按什么字段排序。
只有设置了该属性,我们查询到的结果才可以被reverse()。
class UserInfo(models.Model): nid = models.AutoField(primary_key=True) username = models.CharField(max_length=32) class Meta: # 数据库中生成的表名称 默认 app名称 + 下划线 + 类名 db_table = "table_name" # 联合索引 index_together = [ ("pub_date", "deadline"), ] # 联合唯一索引 unique_together = (("driver", "restaurant"),) ordering = ('name',) # admin中显示的表名称 verbose_name='哈哈' # verbose_name加s verbose_name_plural=verbose_name
三、数据库优化查询
1.update()与save()的区别
两者都是对数据的修改保存操作,但是save()函数是将数据列的全部数据项全部重新写一遍,效率极低,比如book_obj.save()会将对象所有属性重新保存一次
而update()则是针对修改的项进行针对的更新效率高耗时少,比如,update(price),指哪打哪只会保存价格这一个属性
所以以后对数据的修改保存用update()
2.惰性查询
查询集 是惰性执行的 —— 创建查询集不会带来任何数据库的访问。你可以将过滤器保持一整天,直到查询集 需要求值时,Django 才会真正运行这个查询。
queryResult=models.Article.objects.all() # 只写这一句不会请求数据库 print(queryResult) # 直到你需要结果,此时才会查询数据库 for article in queryResult: print(article.title) # 这样也会查询
orm内所有的语句操作 都是惰性查询:只会在你真正需要数据的时候才会走数据库,如果你单单只写orm语句时不会走数据库的
这样设计的好处 在于 减轻数据库的压力
3.only和defer 两对头
#only only会将括号内的所有的字段信息 全部查询出来封装对象中
res = models.Book.objects.only('title') for r in res: # print(r.title) # 只走一次数据库查询,将查询到的所有信息封装成一个对象,随后查询这些信息不需要再请求数据库,直接可以用点方法从对象中取出 print(r.price) # 当你点击一个不是only括号内指定的字段的时候 不会报错 而是会帮你去数据库查询,循环几次查几次,频繁的走数据库查询,当你有成千上万条信息时对数据库造成一万点伤害
#defer defer会将不是括号内的所有的字段信息 全部查询出来封装对象中
res1 = models.Book.objects.defer('title') # defer与only是相反的 for r in res1: # print(r.title)# 查询括号内的字段,会频繁的走数据库查询 print(r.price)#查询括号内没有的,只走一次
4. select_related 与 prefetch_related 两兄弟
res = models.Book.objects.all() for r in res: print(r.publish.name) #查询N次,这样是跨表查询,循环一次访问一次数据库,有一千万个书籍就查询一千万次
#常规的all方法,查询自己表里没有的属性,就需要跨表查询,虽然可以获取,但是你去查询一次就会访问一次数据库,查询其他表就不推荐这个了
#查询自己表里面有的属性时可以使用
#select_related 主动关联表
1. 主要针一对一和多对一关系进行优化。 2. 使用SQL的JOIN语句进行优化,通过减少SQL查询的次数来进行优化、提高性能
res = models.Book.objects.all().select_related('publish') for r in res: print(r.publish.name) #只查询一次,查询语句贼长包含两张表所有信息
#1.select_related:会将FK表全部信息直接拿过来(可以一次性拿多张表)跟当前表所有信息拼接成一张大表,封装成一个对象 之后获取信息直接点方法获取,不需要再访问数据库从而降低你跨表查询 数据库的压力,但是速度会比较慢,活太多 #2.支持一次性拿多张表,如果当前表有多个外键,括号内用逗号链接
如果FK1表中还有外键还可以再关联下去,用双下划线链接,最后将N张表合并成一个超级表 res = models.Book.objects.all().select_related('外键字段1__外键字段2__外键字段3__外键字段4......') #注意select_related括号只能放外键字段(一对一和一对多才行),res = models.Book.objects.all().select_related('authors')多对多的关系就会报错
# prefetch_related 不主动关联表
1. 对于多对多字段(ManyToManyField)和一对多字段,可以使用prefetch_related()来进行优化。 2. 优化方式是分别查询每个表,然后用Python处理他们之间的关系。
res = models.Book.objects.prefetch_related('publish') for r in res: print(r.publish.name) #只会走两次查询
""" 不主动连表操作(但是内部给你的感觉像是连表操作了) 而是先将book表中所有的publish的id全部拿出来,再到Publish表中将id对应的所有的数据的所有信息全部取出 括号内有几个外键字段 就会走几次数据库查询操作 """