数据库___关系查询处理和查询优化

概述

关系数据库管理系统查询处理阶段 ：

  1. 查询分析
  2. 查询检查
  3. 查询优化
  4. 查询执行
    image

查询分析的任务：
对查询语句进行扫描、词法分析和语法分析

词法分析：从查询语句中识别出正确的语言符号
语法分析：进行语法检查

查询检查的任务

  1. 合法权检查
    根据数据字典中有关的模式定义检查语句中的数据库对象，如关系名、属性名是否存在和有效

  2. 视图转换
    如果是对视图的操作，则要用视图消解方法把对视图的操作转换成对基本表的操作

  3. 安全性检查
    根据数据字典中的用户权限和完整性约束定义对用户的存取权限进行检查

  4. 完整性初步检查
    检查通过后把SQL查询语句转换成内部表示，即等价的关系代数表达式。
    关系数据库管理系统一般都用查询树，也称为语法分析树来表示扩展的关系代数表达式。

查询优化：
选择一个高效执行的查询处理策略

查询优化分类
代数优化/逻辑优化：指关系代数表达式的优化
物理优化：指存取路径和底层操作算法的选择
一般不做处理物理优化,风险太高。

查询优化的选择依据

  1. 基于规则(rule based)
  2. 基于代价(cost based)
  3. 基于语义(semantic based)
    针对用户不合理的查询等，直接pass，不处理。

查询执行
依据优化器得到的执行策略生成查询执行计划
代码生成器(code generator)生成执行查询计划的代码
两种执行方法
自顶向下
自底向上

查询处理

选择操作

选择操作典型实现：

  1. 全表扫描方法 (Table Scan)
    时间复杂度：O(M)
    顺序扫描，逐一检查
    适合小表，不适合大表

  2. 索引扫描方法 (Index Scan)
    时间复杂度：O(3)
    适合于选择条件中的属性上有索引(例如B+树索引或Hash索引)
    过程： 通过索引先找到满足条件的元组主码或元组指针，再通过元组指针直接在查询的基本表中找到元组

(等值)连接操作

连接操作是查询处理中最耗时的操作之一

连接操作的实现

嵌套循环算法(nested loop join)

步骤：
双重（或者更多）循环
时间复杂度：O(M×N)

排序-合并算法(sort-merge join)

步骤：
先对两C表按连接属性排序
时间复杂度：O(M+N) 排序复杂度不算
使用场景： 表数据不太改变，经常使用查询的时候。

索引连接(index join)算法

步骤：
要求提前建立索引（如果联立索引，亿内的数据3层查找到）
时间复杂度：O(M) 建立索引复杂度不算
使用场景：

Hash Join算法

步骤：

  1. 把连接属性作为hash码，用同一个hash函数把Student表和SC表中的元组散列到hash表中。

  2. 划分阶段
    对包含较少元组的表(如Student表)进行一遍处理
    把它的元组按hash函数分散到hash表的桶中

  3. 试探阶段(probing phase,也称为连接阶段join phase)
    对另一个表(SC表)进行一遍处理
    把SC表的元组也按同一个hash函数（hash码是连接属性）进行散列
    把SC元组与桶中来自Student表并与之相匹配的元组连接起来

时间复杂度：O(M)
使用场景
适用于主表很小，且是等值查询。
算法前提： 假设两个表中较小的表在第一阶段后可以完全放入内存的hash桶中。

查询优化

查询优化的优点

  1. 用户不必考虑如何最好地表达查询以获得较好的效率
  2. 系统可以比用户程序的“优化”做得更好
    （1） 优化器可以从数据字典中获取许多统计信息，而用户程序则难以获得这些信息。
    （2）如果数据库的物理统计信息改变了，系统可以自动对查询重新优化以选择相适应的执行计划。在非关系系统中必须重写程序，而重写程序在实际应用中往往是不太可能的。
    （3）优化器可以考虑数百种不同的执行计划，程序员一般只能考虑有限的几种可能性。
    （4）优化器中包括了很多复杂的优化技术，这些优化技术往往只有最好的程序员才能掌握。系统的自动优化相当于使得所有人都拥有这些优化技术。

查询执行的代价模型

集中式数据库执行开销主要包括：

  • 磁盘存取块数(I/O代价)
  • 处理机时间(CPU代价)
  • 查询的内存开销

I/O代价是最主要的

分布式数据库

  • 总代价=I/O代价+CPU代价+内存代价＋通信代价

I/O代价和通信代价是最主要的

查询优化的总目标

  1. 选择有效的策略
  2. 求得给定关系表达式的值
  3. 使得查询代价最小(实际上是较小)

实例分析

问题

[例9.3] 求选修了2号课程的学生姓名。

SELECT  Student.Sname
FROM      Student, SC
WHERE   Student.Sno=SC.Sno AND SC.Cno=’2’

假定学生-课程数据库中有1000个学生记录，10000个选课记录
选修2号课程的选课记录为50个

解决方法

image

\[Q_{1}=\Pi_{\text {Sname }}\left(\sigma_{\text {Student.Sno }=\text { Sc.Sno Sc.Cno='2' }}(\text { Student } \times S C)\right) \]

\[Q_{2}=\Pi_{ {Sname }}(\sigma_{ {Sc.Cno='2' }} { (Student } \bowtie SC) \]

\[Q_{3}=\Pi_{{Sname }}({ Student } \bowtie \sigma _ { { SC.Cno='2' } } ({ SC )) } \]

明显第三个效率高很多。

第一种情况

\[\frac{1000}{10}+\frac{1000}{10 \times 5} \times \frac{10000}{100}=100+20 \times 100=2100 \]

代数优化

代数优化策略： 通过对关系代数表达式的等价变换来提高查询效率。

关系代数表达式的等价： 指用相同的关系代替两个表达式中相应的关系所得到的结果是相同的。可记为E1≡E2

等价变换规则

image

串接定律：能一次操作做完，就不要使用两次。
image

image

image
先选择再投影

image
先选择再笛卡尔乘积

image

image
先投影，后连接

查询树的启发式优化

典型的启发式规则

  1. 选择运算应尽可能先做
    在优化策略中这是最重要、最基本的一条。

  2. 把投影运算和选择运算同时进行
    如有若干投影和选择运算，并且它们都对同一个关系操作，则可以在扫描此关系的同时完成所有的这些运算以避免重复扫描关系。

  3. 把投影同其前或其后的双目运算结合起来，
    没有必要为了去掉某些字段而扫描一遍关系。

  4. 把某些选择同在它前面要执行的笛卡尔积结合起来成为一个连接运算
    连接特别是等值连接运算要比同样关系上的笛卡尔积省很多时间。

  5. 找出公共子表达式
    如果这种重复出现的子表达式的结果不是很大的关系
    并且从外存中读入这个关系比计算该子表达式的时间少得多
    则先计算一次公共子表达式并把结果写入中间文件是合算的。
    当查询的是视图时，定义视图的表达式就是公共子表达式的情况

物理优化

代数优化改变查询语句中操作的次序和组合，不涉及底层的存取路径

物理优化就是要选择高效合理的操作算法或存取路径，求得优化的查询计划。

物理优化方法

  1. 基于规则的启发式优化
    启发式规则是指那些在大多数情况下都适用，但不是在每种情况下都是适用的规则。

  2. 基于代价估算的优化
    优化器估算不同执行策略的代价，并选出具有最小代价的执行计划。

  3. 两者结合的优化方法：
    常常先使用启发式规则，选取若干较优的候选方案，减少代价估算的工作量
    然后分别计算这些候选方案的执行代价，较快地选出最终的优化方案

选择操作的启发式规则

对于小关系，使用全表顺序扫描，即使选择列上有索引。

对于大关系，启发式规则有：

  1. 对于选择条件是“主码＝值”的查询
    查询结果最多是一个元组，可以选择主码索引
    一般的关系数据库管理系统会自动建立主码索引

  2. 对于选择条件是“非主属性＝值”的查询，并且选择列上有索引
    要估算查询结果的元组数目
    如果比例较小(<10%)可以使用索引扫描方法
    否则还是使用全表顺序扫描

  3. 对于选择条件是属性上的非等值查询或者范围查询，并且选择列上有索引
    要估算查询结果的元组数目
    如果比例较小(<10%)可以使用索引扫描方法
    否则还是使用全表顺序扫描

  4. 对于用AND连接的合取选择条件

    • 如果有涉及这些属性的组合索引，
      优先采用组合索引扫描方法
    • 如果某些属性上有一般的索引，可以用索引扫描方法
      通过分别查找满足每个条件的指针，求指针的交集
      通过索引查找满足部分条件的元组，然后在扫描这些元组时判断是否满足剩余条件
    • 其他情况：使用全表顺序扫描
  1. 对于用OR连接的析取选择条件，一般使用全表顺序扫描

连接操作的启发式规则

  1. 如果2个表都已经按照连接属性排序
    选用排序-合并算法

  2. 如果一个表在连接属性上有索引
    选用索引连接算法

  3. 如果上面2个规则都不适用，其中一个表较小
    选用Hash join算法

  4. 可以选用嵌套循环方法，并选择其中较小的表，确切地讲是**占用的块数(b)较少的表，作为外表(外循环的表) **。
    理由：
    设连接表R与S分别占用的块数为Br与Bs
    连接操作使用的内存缓冲区块数为K
    分配K-1块给外表
    如果R为外表，则嵌套循环法存取的块数为Br+BrBs/(K-1)
    显然应该选块数小的表作为外表

基于代价的优化

启发式规则优化是定性的选择，适合解释执行的系统。解释执行的系统，优化开销包含在查询总开销之中

编译执行的系统中查询优化和查询执行是分开，可以采用精细复杂一些的基于代价的优化方法

基于代价的优化方法：就是要计算查询的各种不同执行方案的执行代价，选取代价最小的。
优化器需要的统计信息：
（1）对每个基本表
该表的元组总数(N)
元组长度(l)
占用的块数(B)
占用的溢出块数(BO)

posted @ 2022-06-14 11:08  kingwzun  阅读(617)  评论(0)  编辑  收藏  举报