(高等教育)数据库系统概论第五版教学课件:第9章.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《(高等教育)数据库系统概论第五版教学课件:第9章.ppt》由用户(小豆芽)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 高等教育 数据库 系统 概论 第五 教学 课件
- 资源描述:
-
1、数据库系统概论 An Introduction to Database System 第九章第九章 关系查询处理关系查询处理 和查询优化和查询优化 第三篇 系统篇 讨论数据库管理系统中查询处理和事务管理的基本概念和基础知 识 第9章 关系查询处理和查询优化 第10章 数据库恢复技术 第11章 并发控制 第12章 数据库管理系统 第九章 关系查询处理和查询优化 9.1 关系数据库系统的查询处理 9.2 关系数据库系统的查询优化 9.3 代数优化 9.4 物理优化 *9.5 查询计划的执行 9.6 小 结 关系查询处理和查询优化(续) 本章内容: 关系数据库管理系统的查询处理步骤 查询优化的概念
2、基本方法和技术 查询优化分类 : 代数优化:指关系代数表达式的优化 物理优化:指存取路径和底层操作算法的选择 9.1 关系数据库系统的查询处理 9.1.1 查询处理步骤 9.1.2 实现查询操作的算法示例 9.1.1 查询处理步骤 关系数据库管理系统查询处理阶段 : 1. 查询分析 2. 查询检查 3. 查询优化 4. 查询执行 查询处理步骤(续) 查询计划的执行代码查询计划的执行代码 代数优化代数优化 物理优化等物理优化等 查询语句查询语句 词法分析词法分析 语法分析语法分析 语义分析语义分析 符号名转换符号名转换 安全性检查安全性检查 完整性初步检查完整性初步检查 代码生成代码生成 查询执
3、行计划查询执行计划 查询树查询树(query tree) 查询分析查询分析 查询检查查询检查 查询优化查询优化 查询执行查询执行 数据库数据库 数据字典数据字典 1. 查询分析 查询分析的任务:对查询语句进行扫描、词法分析和语法分析 词法分析:从查询语句中识别出正确的语言符号 语法分析:进行语法检查 2. 查询检查 查询检查的任务 合法权检查 视图转换 安全性检查 完整性初步检查 根据数据字典中有关的模式定义检查语句中的数据库对象,如关系 名、属性名是否存在和有效 如果是对视图的操作,则要用视图消解方法把对视图的操作转换成 对基本表的操作 2. 查询检查 根据数据字典中的用户权限和完整性约束定
4、义对用户的存取权限 进行检查 检查通过后把SQL查询语句转换成内部表示,即等价的关系代数 表达式。 关系数据库管理系统一般都用查询树,也称为语法分析树来表示 扩展的关系代数表达式。 3. 查询优化 查询优化:选择一个高效执行的查询处理策略 查询优化分类 代数优化/逻辑优化:指关系代数表达式的优化 物理优化:指存取路径和底层操作算法的选择 查询优化的选择依据 基于规则(rule based) 基于代价(cost based) 基于语义(semantic based) 4. 查询执行 依据优化器得到的执行策略生成查询执行计划 代码生成器(code generator)生成执行查询计划的代码 两种执
5、行方法 自顶向下 自底向上 9.1 关系数据库系统的查询处理 9.1.1 查询处理步骤 9.1.2 实现查询操作的算法示例 9.1.2 实现查询操作的算法示例 1.选择操作的实现 2.连接操作的实现 1.选择操作的实现 选择操作典型实现方法: (1) 全表扫描方法 (Table Scan) 对查询的基本表顺序扫描,逐一检查每个元组是否满足选择条件,把满足条件的元组 作为结果输出 适合小表,不适合大表 (2)索引扫描方法 (Index Scan) 适合于选择条件中的属性上有索引(例如B+树索引或Hash索引) 通过索引先找到满足条件的元组主码或元组指针,再通过元组指针直接在查询的基本 表中找到元
6、组 选择操作的实现(续) 例9.1 SELECT * FROM Student WHERE 考虑的几种情况: C1:无条件; C2:Sno201215121; C3:Sage20; C4:SdeptCS AND Sage20; 选择操作的实现(续) 全表扫描算法 假设可以使用的内存为M块,全表扫描算法思想: 按照物理次序读Student的M块到内存 检查内存的每个元组t,如果满足选择条件,则输出t 如果student还有其他块未被处理,重复和 选择操作的实现(续) 索引扫描算法 例9.1-C2 SELECT * FROM Student WHERE Sno=201215121 假设Sno上有索
7、引(或Sno是散列码) 算法: 使用索引(或散列)得到Sno为201215121 元组的指针 通过元组指针在Student表中检索到该学生 选择操作的实现(续) 例9.1-C3 SELECT * FROM Student WHERE Sage20 假设Sage 上有B+树索引 算法: 使用B+树索引找到Sage=20的索引项,以此为入口点在B+树的顺序集上得到Sage20的 所有元组指针 通过这些元组指针到student表中检索到所有年龄大于20的学生。 选择操作的实现(续) 例9.1-C4 SELECT * FROM Student WHERE Sdept=CS AND Sage20; 假设
8、Sdept和Sage上都有索引 算法一:分别用Index Scan找到SdeptCS的一组元组指针和Sage20的另一组 元组指针 求这两组指针的交集 到Student表中检索 得到计算机系年龄大于20的学生 选择操作的实现(续) 算法二:找到Sdept=CS的一组元组指针, 通过这些元组指针到Student表中检索 并对得到的元组检查另一些选择条件(如Sage20)是否满足 把满足条件的元组作为结果输出。 2.连接操作的实现 连接操作是查询处理中最耗时的操作之一 本节只讨论等值连接(或自然连接)最常用的实现算法 例9.2 SELECT * FROM Student, SC WHERE Stu
9、dent.Sno=SC.Sno; 连接操作的实现(续) (1)嵌套循环算法(nested loop join) (2)排序-合并算法(sort-merge join 或merge join) (3)索引连接(index join)算法 (4)Hash Join算法 连接操作的实现(续) (1)嵌套循环算法(nested loop join) 对外层循环(Student表)的每一个元组(s),检索内层循环(SC表)中的每一个元 组(sc) 检查这两个元组在连接属性(Sno)上是否相等 如果满足连接条件,则串接后作为结果输出,直到外层循环表中的元组处 理完为止。 参见爱课程网9.1节动画连接操作的
10、实现(1)-嵌套循环 连接操作的实现(续) (2)排序-合并算法(sort-merge join 或merge join) 如果连接的表没有排好序,先对Student表和SC表按连接属性Sno排序 取Student表中第一个Sno,依次扫描SC表中具有相同Sno的元组 当扫描到Sno不相同的第一个SC元组时,返回Student表扫描它的下一个元组, 再扫描SC表中具有相同Sno的元组,把它们连接起来 重复上述步骤直到Student 表扫描完 连接操作的实现(续) 201215121 201215122 201215123 201215125 . . . 201215121 1 92 20121
11、5121 2 85 201215121 3 88 201215122 2 90 201215122 3 80 . . . 图图9.2 排序排序-合并连接方法示意图合并连接方法示意图 连接操作的实现(续) Student表和SC表都只要扫描一遍 如果两个表原来无序,执行时间要加上对两个表的排序时间 对于大表,先排序后使用排序-合并连接算法执行连接,总的时 间一般仍会减少 参见爱课程网9.1节动画连接操作的实现(2)-排序合并 连接操作的实现(续) (3)索引连接(index join)算法 步骤: 在SC表上已经建立属性Sno的索引。 对Student中每一个元组,由Sno值通过SC的索引查找相
12、应的SC元组。 把这些SC元组和Student元组连接起来 循环执行,直到Student表中的元组处理完为止 参见爱课程网9.1节动画连接操作的实现(4)- 索 引连接 连接操作的实现(续) (4)Hash Join算法 把连接属性作为hash码,用同一个hash函数把Student表和SC表中的元 组散列到hash表中。 划分阶段(building phase, 也称为partitioning phase) 对包含较少元组的表(如Student表)进行一遍处理 把它的元组按hash函数分散到hash表的桶中 试探阶段(probing phase,也称为连接阶段join phase) 对另一个
13、表(SC表)进行一遍处理 把SC表的元组也按同一个hash函数(hash码是连接属性)进行散列 把SC元组与桶中来自Student表并与之相匹配的元组连接起来 连接操作的实现(续) 上面hash join算法前提:假设两个表中较小的表在第一阶段后可 以完全放入内存的hash桶中 参见爱课程网9.1节动画连接操作的实现(3)-散列连接 第九章 关系查询处理和查询优化 9.1 关系数据库系统的查询处理 9.2 关系数据库系统的查询优化 9.3 代数优化 9.4 物理优化 *9.5 查询计划的执行 9.6 小 结 9.2 关系数据库系统的查询优化 查询优化在关系数据库系统中有着非常重要的地位 关系查
14、询优化是影响关系数据库管理系统性能的关键因素 由于关系表达式的语义级别很高,使关系系统可以从关系表达式中分 析查询语义,提供了执行查询优化的可能性 9.2 关系数据库系统的查询优化 9.2.1查询优化概述 9.2.2一个实例 9.2.1 查询优化概述 关系系统的查询优化 是关系数据库管理系统实现的关键技术又是关系系统的优点所在 减轻了用户选择存取路径的负担 查询优化概述(续) 非关系系统 用户使用过程化的语言表达查询要求,执行何种记录级的操作,以及操作 的序列是由用户来决定的 用户必须了解存取路径,系统要提供用户选择存取路径的手段,查询效率 由用户的存取策略决定 如果用户做了不当的选择,系统是
15、无法对此加以改进的 查询优化概述 查询优化的优点 用户不必考虑如何最好地表达查询以获得较好的效率 系统可以比用户程序的“优化”做得更好 (1) 优化器可以从数据字典中获取许多统计信息,而用户程序则难以获得这些信息。 (2)如果数据库的物理统计信息改变了,系统可以自动对查询重新优化以选择相适 应的执行计划。在非关系系统中必须重写程序,而重写程序在实际应用中往往是不太 可能的。 查询优化概述(续) (3)优化器可以考虑数百种不同的执行计划,程序员一般只能考虑有限的几种可 能性。 (4)优化器中包括了很多复杂的优化技术,这些优化技术往往只有最好的程序员 才能掌握。系统的自动优化相当于使得所有人都拥有
16、这些优化技术。 查询优化概述(续) 关系数据库管理系统通过某种代价模型计算出各种查询执行策略的 执行代价,然后选取代价最小的执行方案 集中式数据库 执行开销主要包括 磁盘存取块数(I/O代价) 处理机时间(CPU代价) 查询的内存开销 I/O代价是最主要的 分布式数据库 总代价=I/O代价+CPU代价+内存代价通信代价 查询优化概述(续) 查询优化的总目标 选择有效的策略 求得给定关系表达式的值 使得查询代价最小(实际上是较小) 9.2 关系数据库系统的查询优化 9.2.1查询优化概述 9.2.2一个实例 9.2.2 一个实例 一个关系查询可以对应不同的执行方案,其效率可能相差非常大。 例9.
17、3 求选修了2号课程的学生姓名。 用SQL表达: SELECT Student.Sname FROM Student, SC WHERE Student.Sno=SC.Sno AND SC.Cno=2 假定学生-课程数据库中有1000个学生记录,10000个选课记录 选修2号课程的选课记录为50个 一个实例(续) 可以用多种等价的关系代数表达式来完成这一查询 Q1=Sname(Student.Sno=SC.SnoSC.Cno=2 (StudentSC) Q2=Sname(SC.Cno=2 (Student SC) Q3=Sname(Student SC.Cno=2(SC) 一个实例(续) 1.
18、第一种情况 Q1=Sname(Student.Sno=SC.SnoSC.Cno=2 (StudentSC) 一个实例(续) (1) 计算广义笛卡尔积 算法: 在内存中尽可能多地装入某个表(如Student表)的若干块,留出一块存放 另一个表(如SC表)的元组。 把SC中的每个元组和Student中每个元组连接,连接后的元组装满一块后 就写到中间文件上 从SC中读入一块和内存中的Student元组连接,直到SC表处理完。 再读入若干块Student元组,读入一块SC元组 重复上述处理过程,直到把Student表处理完 一个实例(续) 设一个块能装10个Student元组或100个SC元组,在内存
19、中存放5块 Student元组和1块SC元组,则读取总块数为 =100+20100=2100块 读Student表100块,读SC表20遍,每遍100块,则总计要读取2100数据块。 连接后的元组数为103104=107。设每块能装10个元组,则写出106 块。 10 1000 510 1000 100 10000 一个实例(续) (2)作选择操作 依次读入连接后的元组,按照选择条件选取满足要求的记录 假定内存处理时间忽略。读取中间文件花费的时间(同写中间文件一样) 需读入106块。 若满足条件的元组假设仅50个,均可放在内存。 一个实例(续) (3)作投影操作 把第(2)步的结果在Sname
20、上作投影输出,得到最终结果 第一种情况下执行查询的总读写数据块=2100+106 +106 一个实例(续) 2.第二种情况 Q2=Sname(Sc.Cno=2 (Student SC) (1)计算自然连接 执行自然连接,读取Student和SC表的策略不变,总的读取块数仍为2100块 自然连接的结果比第一种情况大大减少,为104个元组 写出数据块= 103 块 一个实例(续) 2.第二种情况(续) (2)读取中间文件块,执行选择运算,读取的数据块= 103 块 (3)把第2步结果投影输出。 第二种情况下执行查询的总读写数据块=2100+ 103 +103 其执行代价大约是第一种情况的488分之
21、一 一个实例(续) 3.第三种情况 Q3=Sname(Student SC.Cno=2(SC) (1)先对SC表作选择运算,只需读一遍SC表,存取 100块,因为满足条件的元组仅50个,不必使用中 间文件。 (2)读取Student表,把读入的Student元组和内存中 的SC元组作连接。也只需读一遍Student表共100 块。 (3)把连接结果投影输出 一个实例(续) 3.第三种情况(续) 第三种情况总的读写数据块=100+100 其执行代价大约是第一种情况的万分之一,是第二种情况的20分之一 一个实例(续) 假如SC表的Cno字段上有索引 第一步就不必读取所有的SC元组而只需读取Cno=
展开阅读全文