功能上与关系代数等价-课件.ppt

1、中国科学技术大学网络学院中国科学技术大学网络学院 阚卫华阚卫华第四章第四章 关系系统及其查询优化关系系统及其查询优化2022年12月13日星期二2第四章 关系系统及其查询优化4.1 关系系统4.2 关系系统的查询优化4.3 小结注：这一章包括两个注：这一章包括两个方面的内容：一是关方面的内容：一是关系系统系系统(关系数据库关系数据库系统的简称系统的简称)，二是，二是关系系统的查询优化。关系系统的查询优化。主要讨论关系系统的主要讨论关系系统的定义和分类；讨论关定义和分类；讨论关系系统中查询优化的系系统中查询优化的概念、查询优化的基概念、查询优化的基本原理和技术。本原理和技术。2022年12月13

2、日星期二34.1关系系统能够在一定程度上支持关系模型的数据库管理系统是关系系统。关系模型中并非每一部分都是同等重要的。不苛求一个实际的关系系统必须完全支持关系模型；也不苛求完全支持关系模型的才能称为关系系统。2022年12月13日星期二4关系系统与关系模型关系系统与关系模型是两个密切相关而又不同的概念。关系数据结构域及域上定义的关系。关系操作并、交、差、广义笛卡尔积、选择、投影、连接、除等。关系完整性实体完整性、参照完整性、用户自己定义的完整性。2022年12月13日星期二54.4.1关系系统的定义 一个数据库管理系统可定义为关系系统，当且仅当它至少支持(对关系系统的最低要求)：1.支持关系数

3、据库（即关系数据结构）。从用户观点看，数据库由表构成，并且系统中只有表这一种结构。2.支持选择、投影和（自然）连接运算，对这些运算不必要求用户定义任何物理存取路径。2022年12月13日星期二6关系系统的定义（续）不支持关系数据结构的系统显然不能称为关系系不能称为关系系统统；仅支持关系数据结构，但没有选择、投影和连接运算功能的系统仍不能算作关系系统不能算作关系系统。原因：不能提高用户的生产率。支持选择、投影和连接运算，但要求定义物理存取路径，这种系统也不能算作真正的关系系统不能算作真正的关系系统；原因：降低或丧失了数据的物理独立性。选择、投影、连接运算是最有用的运算，能解决绝大部分的实际问题。

4、2022年12月13日星期二74.1.2 关系系统的分类分类依据：支持关系模型的程度分类 表式系统：支持关系数据结构(即表)这类系统不支持集合级的操作。表式系统不能算关系系统这类系统不支持集合级的操作。表式系统不能算关系系统 倒排表倒排表系统属于这一类系统属于这一类。(最小)关系系统 仅支持关系数据结构和三种关系操作仅支持关系数据结构和三种关系操作 选择、投影、连接关系操选择、投影、连接关系操作作 ,许多微机关系数据库系统许多微机关系数据库系统 如如FoxBASE,FoxProFoxBASE,FoxPro等等 就属于这一类。就属于这一类。2022年12月13日星期二8关系系统的分类（续）关系完

5、备的系统 支持关系数据结构和所有的关系代数操作支持关系数据结构和所有的关系代数操作(功能上与关功能上与关系代数等价系代数等价)。2020世纪世纪9090年代初的许多关系数据库管理系年代初的许多关系数据库管理系统属于这一类。统属于这一类。全关系系统 支持关系模型的所有特征。即不仅是关系上完备的而支持关系模型的所有特征。即不仅是关系上完备的而且支持数据结构中域的概念，支持实体完整性和参照完整且支持数据结构中域的概念，支持实体完整性和参照完整性。目前，大多数关系系统已不同程度上接近或达到了这性。目前，大多数关系系统已不同程度上接近或达到了这个标准。个标准。2022年12月13日星期二9关系系统的分类

6、（续）数据结构数据结构数据操作数据操作完整性完整性表式系统表式系统表表 (最小最小)关系系统关系系统表表选择、投影、选择、投影、连接连接 关系完备的系统关系完备的系统表表 全关系系统全关系系统 2022年12月13日星期二104.2 关系数据库系统的查询优化4.2.1 关系系统及其查询优化4.2.2 查询优化的必要性4.2.3 查询优化的一般准则4.2.4 关系代数等价变换规则4.2.5 关系代数表达式的优化算法4.2.6 优化的一般步骤 2022年12月13日星期二114.2.1 关系系统及其查询优化查询优化的必要性关系数据库系统和非过程化的关系数据库系统和非过程化的SQLSQL语言能够取得

7、语言能够取得巨大成功，关键是得益于查询优化技术的发展。巨大成功，关键是得益于查询优化技术的发展。关系查询优化极大地影响了关系查询优化极大地影响了RDBMSRDBMS的性能。的性能。查询优化的可能性关系数据语言的级别很高，使关系数据语言的级别很高，使DBMSDBMS可以从关系表可以从关系表达式中分析查询语义。达式中分析查询语义。2022年12月13日星期二12由DBMS进行查询优化的好处用户不必考虑如何最好地表达查询以获得较好的效率；系统可以比用户程序的优化做得更好：(1)优化器可以从数据字典中获取许多统计信息，例优化器可以从数据字典中获取许多统计信息，例如关系中的元组数、关系中的每个属性值的分

8、布如关系中的元组数、关系中的每个属性值的分布情况等。优化器可以根据这些信息选择有效地执情况等。优化器可以根据这些信息选择有效地执行计划，而用户程序则难以获得这些信息行计划，而用户程序则难以获得这些信息 。2022年12月13日星期二13由DBMS进行查询优化的好处（续）(2)(2)如果数据库的物理统计信息改变了，系统如果数据库的物理统计信息改变了，系统可以自动对查询进行重新优化以选择相适可以自动对查询进行重新优化以选择相适应的执行计划。在非关系系统中必须重写应的执行计划。在非关系系统中必须重写程序，而重写程序在实际应用中往往是不程序，而重写程序在实际应用中往往是不太可能的。太可能的。2022年

9、12月13日星期二14由DBMS进行查询优化的好处（续）(3)(3)优化器可以考虑数百种不同的执行计划，优化器可以考虑数百种不同的执行计划，而程序员一般只能考虑有限的几种可能性。而程序员一般只能考虑有限的几种可能性。(4)(4)优化器中包括了很多复杂的优化技术，这优化器中包括了很多复杂的优化技术，这些优化技术往往只有最好的程序员才能掌握。些优化技术往往只有最好的程序员才能掌握。系统的自动优化相当于使得所有人都拥有这些系统的自动优化相当于使得所有人都拥有这些优化技术。优化技术。2022年12月13日星期二15关系数据库查询优化的总目标查询优化的总目标 选择有效的策略，求得给定关系表达式的值。(一

10、般地)实际系统的查询优化步骤：将查询转换成某种内部表示，通常是语法树。根据一定的等价变换规则把语法树转换成标准（优化）形式。2022年12月13日星期二16实际系统的查询优化步骤（续）选择低层的操作算法。对于语法树中的每一个操作：计算各种执行算法的执行代价；选择代价小的执行算法。生成查询计划(查询执行方案)查询计划是由一系列内部操作组成的。这些内部操作按一定的次序构成查询的一个执行方案。注注:对于语法树对于语法树中的每一个操作中的每一个操作,需要根据存取路需要根据存取路径、数据的存储径、数据的存储分布、存储数据分布、存储数据的聚簇等信息来的聚簇等信息来选择具体的执行选择具体的执行算法算法.20

11、22年12月13日星期二17实际系统的查询优化步骤（续）通常这样的执行方案有多个，需要对每个执行计划计算代价，从中选择代价最小的一个。在集中式关系数据库中，计算代价时主要考虑磁盘读写的I/O次数，也有一些系统还考虑了CPU的处理时间。上述“选择低层的操作算法”与“生成查询计划”两步,实际上没有清晰的界限,有些系统是作为一个步骤来处理的;目前的商品化RDBMS大多采用基于代价的优化算法。这种方法要求优化器充分考虑系统中的各种参数(如缓冲区大小、表的大小、数据的分布、存取路径等)，通过某种代价模型计算出各种查询执行方案的执行代价，然后选取代价最小的执行方案。2022年12月13日星期二18代价模型

12、集中式数据库：单用户系统总代价=I/O代价+CPU代价多用户系统总代价=I/O代价+CPU代价+内存代价分布式数据库：总代价=I/O代价+CPU代价+内存代价+通信代价2022年12月13日星期二194.2.2 查询优化的必要性例(P.159)：求选修了课程2的学生姓名.用SQL语言表达:SELECT Student.SnameFROM Student,SCWHERE Student.Sno=SC.SnoAND SC.Cno=2;2022年12月13日星期二20查询优化的必要性（续）假设1：外存：学生_数据库中有Student:1000条学生记录,SC:10000条选课记录,其中选修2号课程的

13、选课记录:50条。假设2：一个内存块装:10个Student元组,或100个SC元组,内存中一次可以存放:5块Student元组,1块SC元组和若干块连接结果元组。假设3：读写速度：20块/秒。假设4：连接方法：基于数据块的嵌套循环法。2022年12月13日星期二21执行策略1Q1name(Student.Sno=SC.Sno SC.Cno=2(StudentSC)StudentSC 读取总块数=读Student表块数(100块)+读SC表遍数(20遍)*每遍块数(100块)=1000/10+(1000/(105)(10000/100)=100+20100=2100块；读数据时间=2100/2

14、0=105秒。2022年12月13日星期二22不同的执行策略,考虑I/O时间中间结果大小=1000*10000=107(1千万条元组)写中间结果时间=10000000/10/20=50000秒 (执行选择运算)读数据时间=50000秒 将的结果投影输出(所有内存处理时间均忽略不计)总时间=(1055000050000)秒=100105秒 27.8小时2022年12月13日星期二23查询优化的必要性（续）执行策略22 name(SC.Cno=2(Student SC)(计算自然连接)读取总块数=2100块读数据时间=2100/20=105秒中间结果大小=10000(减少1000倍)写中间结果时间

15、=10000/10/20=50秒(执行选择运算)读数据时间=50秒 将的结果投影输出.总时间(1055050)秒205秒3.4分2022年12月13日星期二24查询优化的必要性（续）执行策略3 3 Sname(Student SC.Cno=2(SC)(执行选择运算)读SC表总块数=10000/100=100块读数据时间=100/20=5秒 中间结果大小=50条 不必写入外存(不必使用中间文件)(把读入的Student元组和内存中的SC元组作连接)读Student表总块数=1000/10=100块读数据时间=100/20=5秒 将连接的结果投影输出.总时间(55)秒10秒 2022年12月13日

16、星期二25查询优化的必要性（续）3_1 name(Student SC.Cno=2(SC)假设SC表在Cno上有索引，Student表在Sno上有索引 读SC表索引(读取SC.Cno=2的那些元组)=读SC表总块数=50/1001块读数据时间:几秒 中间结果大小=50条 不必写入外存2022年12月13日星期二26查询优化的必要性（续）读Student表索引=读Student表总块数=50/10=5块读数据时间:几秒 总时间10秒2022年12月13日星期二274.2.3 查询优化的一般准则1.选择运算应尽可能先做 目的：减小中间关系(在优化策略中，这是最重要的、最基本的一条。它常常可使执行时

17、间降低几个数量级，因为选择运算一般使计算的中间结果大大减小)2.在执行连接操作前对关系适当进行预处理在连接属性上建立索引(索引连接方法)在连接属性上对关系排序(排序合并连接方法)2022年12月13日星期二28查询优化的一般准则(续)3.投影运算和选择运算同时做目的：避免重复扫描关系(如有若干投影运算和选择运算,并且它们都是对同一个关系操作,则可以在扫描该关系的同时完成所有的这些运算,以避免重复扫描关系)4.将投影运算与其前面或后面的双目运算结合目的：减少扫描关系的遍数2022年12月13日星期二29查询优化的一般准则（续）5.把某些选择运算同在它前面要执行的笛卡尔积 连接运算结合起来,成为一

18、个连接运算,连接运算(特别是等值连接运算)要比同样关系上的笛卡尔积 节省很多时间。例：Student.Sno=SC.Sno (StudentSC)Student SC6.提取公共子表达式。2022年12月13日星期二304.2.4 关系代数等价变换规则关系代数表达式等价是指用相同的关系代替两个表达式中相应的关系所得到的结果是相同的。上面的优化策略大部分都涉及到代数表达式的变换。2022年12月13日星期二31常用的等价变换规则 设E1、E2等是关系代数表达式，F是条件表达式.l.连接、笛卡尔积交换律E1 E2 E2E1E1 E2E2 E1 E1 F E2E2 F E1 2022年12月13日星

19、期二32关系代数等价变换规则（续）2.连接、笛卡尔积的结合律 (E1E2)E3 E1 (E2E3)(E1 E2)E3 E1 (E2 E3)(E1 E2)E3 E1 (E2 E3)F F F F2022年12月13日星期二33关系代数等价变换规则（续）3.投影的串接定律 A1,A2,An(B1,B2,Bm(E)A1,A2,An(E)假设：1)E是关系代数表达式；2)Ai(i=1，2，n),Bj(j=l，2，m)是属性名；3)A1,A2,An构成Bl，B2，Bm的子集。2022年12月13日星期二34关系代数等价变换规则（续）4.选择的串接定律 F1（F2（E）F1 F2(E)选择的串接律说明：选

20、择条件可以合并；这样一次就可检查全部条件。2022年12月13日星期二35关系代数等价变换规则（续）5.选择与投影的交换律(1)假设:选择条件F只涉及属性A1，An F(A1,A2,An (E)A1,A2,An(F(E)(2)假设:F中有不属于A1,An的属性B1,Bm A1,A2,An(F (E)A1,A2,An(F(A1,A2,An,B1,B2,Bm(E)2022年12月13日星期二36关系代数等价变换规则（续）6.选择与笛卡尔积的分配律(1)假设：F中涉及的属性都是E1中的属性 F(E1E2)F(E1)E2(2)假设：F=F1F2，并且F1只涉及E1中的属性，F2只涉及E2中的属性，则由

21、上面的等价变换规则1，4，6(1)可推出：F(E1E2)F1(E1)F2(E2)2022年12月13日星期二37关系代数等价变换规则（续）(3)假设：F=F1F2，F1只涉及E1中的属性，F2涉及E1和E2两者的属性，F(E1E2)F2(F1(E1)E2)它使部分选择在笛卡尔积前先做。2022年12月13日星期二38关系代数等价变换规则（续）7.选择与并的分配假设：E=E1E2，E1，E2有相同的属性名F(E1E2)F(E1)F(E2)8.选择与差运算的分配假设：E1与E2有相同的属性名F(E1-E2)F(E1)-F(E2)2022年12月13日星期二39关系代数等价变换规则（续）9.投影与笛

22、卡尔积的分配假设：E1和E2是两个关系表达式，A1，An是E1的属性，B1，Bm是E2的属性 A1,A2,An,B1,B2,Bm（E1E2)A1,A2,An（E1)B1,B2,Bm(E2)2022年12月13日星期二40关系代数等价变换规则（续）l0.投影与并的分配假设：E1和E2 有相同的属性名 A1,A2,An(E1E2)A1,A2,An(E1)A1,A2,An(E2)2022年12月13日星期二41小结1-2:连接、笛卡尔积的交换律、结合律3：合并或分解投影运算4：合并或分解选择运算5-8：选择运算与其他运算交换（分配）5，9，10：投影运算与其他运算交换（分配）2022年12月13日星

23、期二424.2.5 关系代数表达式的优化算法算法：关系表达式的优化输入：一个关系表达式的语法树。输出：计算该表达式的程序。方法：（1）分解选择运算 利用规则4把形如F1 F2 Fn(E)变换为 F1(F2(Fn(E)2022年12月13日星期二43关系代数表达式的优化算法(续)（2）通过交换选择运算，将其尽可能移到叶端 对每一个选择，利用规则48尽可能把它移到树的叶端。（3）通过交换投影运算，将其尽可能移到叶端 对每一个投影利用规则3，9，l0，5中的一般形式尽可能把它移向树的叶端。2022年12月13日星期二44关系代数表达式的优化算法(续)（4）合并串接的选择和投影，以便能同时执行或在一次

24、扫描中完成利用规则35把选择和投影的串接合并成单个选择、单个投影或一个选择后跟一个投影。使多个选择或投影能同时执行，或在一次扫描中全部完成。尽管这种变换似乎违背“投影尽可能早做”的原则，但这样做效率更高。2022年12月13日星期二45关系代数表达式的优化算法(续)（5）对内结点分组把上述得到的语法树的内节点分组。每一双目运算(，-)和它所有的直接祖先为一组(这些直接祖先是，运算)。如果其后代直到叶子全是单目运算，则也将它们并入该组，但当双目运算是笛卡尔积()，而且其后的选择不能与它结合为等值连接时除外。把这些单目运算单独分为一组。2022年12月13日星期二46关系代数表达式的优化算法(续)

25、（6）生成程序生成一个程序，每组结点的计算是程序中的一步。各步的顺序是任意的，只要保证任何一组的计算不会在它的后代组之前计算。2022年12月13日星期二474.2.6 优化的一般步骤1把查询转换成某种内部表示(通常用的内部表示是语法树)；2代数优化：把语法树转换成标准（优化）形式（利用优化算法，把原始的语法树转换成优化形式）；2022年12月13日星期二48优化的一般步骤（续）3物理优化：选择低层的存取路径（根据第2步得到的优化了的语法树，计算关系表达式值的时候，要充分考虑索引、数据的存储分布等存取路径，利用它们进一步改善查询效率。这就要求优化器去查找数据字典，获得当前数据库状态的信息）；4

26、生成查询计划，选择代价最小的。2022年12月13日星期二49优化的一般步骤(续)（1）把查询转换成某种内部表示例(P.159;P165)：求选修了课程2的学生姓名SELECT Student.SnameFROM Student,SCWHERE Student.Sno=SC.Sno AND SC.Cno=2;2022年12月13日星期二50（1）把查询转换成某种内部表示(图例4.3)语法树 结果结果project(Sname)select(SC.Cno=2)join(Student.Sno=SC.Sno)StudentSC2022年12月13日星期二51关系代数语法树(图例4.4)Sname

27、SC.Cno=2 Student.Sno=SC.S StudentSC2022年12月13日星期二52（2）代数优化(图例4.5)利用优化算法把语法树转换成标准（优化）形式 Sname Student.Sno=SC.Sno SC.Cno=2 StudentSC2022年12月13日星期二53（3）物理优化：选择低层的存取路径优化器查找数据字典获得当前数据库状态信息选择字段上是否有索引；连接的两个表是否有序；连接字段上是否有索引。然后根据一定的优化规则选择存取路径 如本例中若SC表上建有Cno的索引，则应该利用这个索引，而不必顺序扫描SC表。2022年12月13日星期二54（4）生成查询计划，选

28、择代价最小的在作连接运算时，若两个表(设为R1，R2)均无序，连接属性上也没有索引，则可以有下面几种查询计划：对两个表作排序预处理 对R1在连接属性上建索引 对R2在连接属性上建索引 在R1，R2的连接属性上均建索引对不同的查询计划计算代价，选择代价最小的一个。在计算代价时主要考虑磁盘读写的I/O数，内存CPU处理时间在粗略计算时可不考虑。2022年12月13日星期二554.3 小结 关系系统关系系统的定义一个数据库管理系统可定义为关系系统，当且仅当它至少支持：1 关系数据库（即关系数据结构）；2 支持选择、投影和（自然）连接运算，且不要求用户定义任何物理存取路径。2022年12月13日星期二56小结（续）关系系统的分类表式系统(最小)关系系统关系完备系统全关系系统 2022年12月13日星期二57小 结（续）关系系统的查询优化 代数优化：关系代数表达式的优化关系代数等价变换规则关系代数表达式的优化算法 物理优化：存取路径和低层操作算法的选择