第六讲-分布式数据库及相关问题课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《第六讲-分布式数据库及相关问题课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第六 分布式 数据库 相关 问题 课件
- 资源描述:
-
1、第六部分第六部分 分布式数据库及相关技术分布式数据库及相关技术的讨论(第的讨论(第8-118-11章内容)章内容)一一 分布式数据库概述分布式数据库概述产生和发展产生和发展概念和分类概念和分类体系结构体系结构模式结构及独立性。模式结构及独立性。二二 分布式数据库系统中存在的技术问题分布式数据库系统中存在的技术问题分布式分布式DBDB的设计的设计分布式分布式DBDB的查询的查询分布式分布式DBDB的事务管理及并发。的事务管理及并发。一一 分布式数据库概述分布式数据库概述I I 分布式数据库的产生及发展分布式数据库的产生及发展a a 经济的发展经济的发展b b 计算机硬件环境及网络的发展计算机硬件
2、环境及网络的发展发展历程:产生于发展历程:产生于2020世纪世纪7070年代末期,成长于年代末期,成长于8080年代年代 第一个分布式数据库系统第一个分布式数据库系统SDD-1SDD-1是美国计算机公司是美国计算机公司(CAACAA)于)于19761976年年-1978-1978年设计,年设计,7979年在年在DEC-10/20DEC-10/20上实上实现。现。德国斯图加特大学研制的德国斯图加特大学研制的porelporel系统系统美国美国IBMIBM的的R R*和和system Rsystem R美国加大学伯克利分校的美国加大学伯克利分校的IngresIngres法国法国INRAINRA研制
3、的研制的SIRIUS-DELTASIRIUS-DELTA。19871987年:年:C.J DateC.J Date提出了完全的,真正的分布式提出了完全的,真正的分布式DBSDBS应应遵循的遵循的1212条规则:条规则:本地自治性本地自治性不依赖于中心站点不依赖于中心站点可连续操作可连续操作位置独立性位置独立性数据分片独立性数据分片独立性数据复制独立性数据复制独立性分布式查询独立性分布式查询独立性分布式事务管理分布式事务管理硬件独立性硬件独立性操作系统独立性操作系统独立性网络独立性网络独立性DBMSDBMS独立性独立性II II 分布式数据库系统的定义及分类分布式数据库系统的定义及分类1 1 分
4、布式数据库的定义:分布式数据库的定义:分布式数据库是一个数据集合,这些数据分布在由计算分布式数据库是一个数据集合,这些数据分布在由计算机网络连接起来的若干节点上,每个节点可以管理本地机网络连接起来的若干节点上,每个节点可以管理本地的数据应用,也可以参与全局数据应用。同时这些数据的数据应用,也可以参与全局数据应用。同时这些数据在逻辑上形成一个整体,由统一的数据库管理系统进行在逻辑上形成一个整体,由统一的数据库管理系统进行管理。(管理。(DDBMSDDBMS)注:几个基本的概念注:几个基本的概念站点:站点:计算机连接的一个逻辑单位,称为一个站点。计算机连接的一个逻辑单位,称为一个站点。本地(或称:
5、局部)用户、本地应用:本地(或称:局部)用户、本地应用:一个用户或应用一个用户或应用只访问他所注册的那个站点。只访问他所注册的那个站点。全局用户、全局应用:全局用户、全局应用:一个用户访问涉及两个或两个以一个用户访问涉及两个或两个以上的站点中的数据。上的站点中的数据。全局数据库(全局数据库(GDBGDB)、局部数据库()、局部数据库(LDBLDB):。):。2.2.分布式数据库系统的基本特点:分布式数据库系统的基本特点:A A 结构特点:物理分布,逻辑相关。结构特点:物理分布,逻辑相关。B B 应用特点:站点自治。应用特点:站点自治。多处多处理机理机系统系统C.数据分布透明性:数据的物理独立性
6、内容更丰富,增加了数据分布透明性。-数据的逻辑分片、数据的物理位置分布、数据的复制,对用户透明。D.集中与自治兼备的数据库系统控制机制.-两个层次的数据共享:局部/全局数据共享。E.增加数据冗余度。-利用数据冗余提高系统可靠性、可用性和系统性能。F.事务管理的分布性。-分布环境下,维护事务的原子性、一致性、隔离性和持久性。3.3.分布式数据库系统的模式结构分布式数据库系统的模式结构4.4.分布式数据库系统的分类分布式数据库系统的分类A 按局部DBMS的数据模型分类:-同构型:数据模型相同同构型:数据模型相同 *同质同构:数据模型相同且局部同质同构:数据模型相同且局部DBMSDBMS相同。相同。
7、*异质同构:数据模型相同外交部局部异质同构:数据模型相同外交部局部DBMSDBMS不同。不同。SDD-1SDD-1和和DDM 美国美国CCACCA公司公司 SYSTEM RSYSTEM R*美国美国IBMIBM公司公司 POREL POREL 德国斯图加特大学德国斯图加特大学 -异构型异构型 :数据模型不同:数据模型不同 MULTIBASE MULTIBASE 美国美国CCA1981CCA1981研制研制 IMADAS:H IMADAS:H 佛罗里达大学佛罗里达大学19841984研制研制 DDTS HONEYWELLDDTS HONEYWELL公司公司19801980年研制年研制。B 按全局
8、控制系统类型分类:-全局控制集中型DDBS DDBS的全局控制机制及数据字典位于一个中心站点,由中心站点完成全局事务的协调和局部数据库的转换等所有控制功能。-全局控制分散型DDBS DDBS的全局控制机制及数据字典分散在网络的各个站点上,每个站点都能完成全局事务的协调和局部数据转换。-全局控制可变型(主从型)将站点分成两组,一组都包含全局控制机制和数据字典,另一组为辅助站点,只包含自己的数据应用。4.4.分布式数据库管理系统的功能结构:分布式数据库管理系统的功能结构:除了具有集中式DBMS具有的功能外,还要有如下附加 的功能:*数据跟踪*分布式查询处理能力*分布式事务管理的能力*复制数据的能力
9、*安全性*分布式目录管理二二.分布式数据库系统中存在的技术问题:分布式数据库系统中存在的技术问题:1 分布式数据库系统的设计 -全局模式的设计 -数据分片,分布 2 分布式数据库的查询处理 3 分布式数据库的事务管理及并发控制 4 分布式数据库的可靠性 5 异构数据库的连接 6 安全性 7 目录管理1.1.分布式数据库设计分布式数据库设计一 方法:根据设计是基于现存的数据系统还是构造一个全新的数据库系统,有两种方法创建分布式数据库:组合法:基于现有的系统,建立一个协调管理系统。-采用自底向上的方式构建 重构法:创建全新的数据库系统 -自顶向下的方式构建自顶向下的方式构建二 分布式数据库设计的内
10、容:1.1.数据库设计基础-需求分析 1 1)数据需求 2 2)应用需求 应用的原发站点:发出应用请求的站点 应用在站点被激活的频率 应用对数据对象访问次数、类型和分布统计2.2.数据库设计(设计的核心任务)全局模式设计 局部数据库设计 数据分片设计 片段的位置分配设计三 分布式数据库设计的目标:确保数据库数据和应用具有最大程度的本地性。分布式数据的可用性和可靠性 工作负荷分布 存储的能力和费用四四 自顶向下的方式构建分布式数据库自顶向下的方式构建分布式数据库需需求求分分析析全全局局概概念念模模型型全全局局逻逻辑辑模模型型分分片片设设计计系系统统实实现现试试运运行行及及维维护护分分布布设设计计
11、局局部部逻逻辑辑设设计计物物理理设设计计1 1 设计的步骤:设计的步骤:2 2 数据库的分片设计数据库的分片设计(1 1).什么叫什么叫“片段片段”?指在分布式数据库系统中,某一站点上存储的数据集合。指在分布式数据库系统中,某一站点上存储的数据集合。(2 2).分片设计的目的?分片设计的目的?产生全局数据的一个合理的划分,从而使每个站点只获得它所产生全局数据的一个合理的划分,从而使每个站点只获得它所需要的数据,最大可能保证应用的本地性。需要的数据,最大可能保证应用的本地性。(3 3)分片应遵循的一般规则:设:)分片应遵循的一般规则:设:R=R1,R2,Rn R=R1,R2,Rn 1 1)完整性
12、)完整性 即,即,tR,tR,则,必有则,必有t Ri(i=1,2,n)t Ri(i=1,2,n)2 2)可重构性)可重构性 即,即,R=Ri(i=1,2,n)R=Ri(i=1,2,n)或或R=R=Ri(i=1,n)Ri(i=1,n)3 3)不相交性)不相交性 即,即,Ri Rj=(i,j=1,n,Ri Rj=(i,j=1,n,且且i ji j)或或Ri Rj=Ri Rj=主码属性主码属性(i,j=1,n,(i,j=1,n,且且i ji j)(4 4)分片的基本类型和方法)分片的基本类型和方法 水平分片,垂直分片,混合分片水平分片,垂直分片,混合分片A A 水平分片:对全关系进行选择操作,把具
13、有相同性质的元组进水平分片:对全关系进行选择操作,把具有相同性质的元组进行分组,构成若干不相交的子集。初级分片和导出分片行分组,构成若干不相交的子集。初级分片和导出分片 初级分片:以关系自身属性性质分组初级分片:以关系自身属性性质分组例1 S(S#,Sname,Age,Sex)1 S(S#,Sname,Age,Sex)define fragment S1 asdefine fragment S1 asselect select*from S where Sex=M from S where Sex=M;define fragment S2 asdefine fragment S2 assele
14、ct select*from S where Sex=F from S where Sex=F;导出分片:用其它关系的属性对某一全关系进行分组例2 2 设:全局关系 SC(S#,C#,Grade)SC(S#,C#,Grade)S(S#,Sname,Age,Sex)S(S#,Sname,Age,Sex)设计需求:按S S的“性别”属性(SexSex)去划分SCSCDefine fragment SC1 asDefine fragment SC1 as select SC.S#,C#,Grade select SC.S#,C#,Grade from SC,S from SC,S where SC.
15、S#=S.S#where SC.S#=S.S#and S.Sex=M and S.Sex=MDefine fragment SC2 asDefine fragment SC2 as select SC.S#,C#,Grade select SC.S#,C#,Grade from SC,S from SC,S where SC.S#=S.S#where SC.S#=S.S#and S.Sex=F and S.Sex=F B 垂直分片:利用投影操作把全关系的属性分成若干组,目标是把频繁使用的属性聚集在一起,且各片段只在键属性下重叠。例3 3 设:全局关系EMP(E#,Name,Dept,Job,S
16、al,tel)EMP(E#,Name,Dept,Job,Sal,tel)Key=E#Key=E#垂直分片:EMP1(E#,Name,Sal,tel)EMP1(E#,Name,Sal,tel)EMP2(E#,Dept,Job)EMP2(E#,Dept,Job)3 3 数据库片段位置分配的设计数据库片段位置分配的设计两种方式:两种方式:非冗余分配:一个片段映射到一个站点非冗余分配:一个片段映射到一个站点 冗余分配:一个片段映射到多个站点冗余分配:一个片段映射到多个站点非冗余“最佳适应”分配法:计算:Bij=Bij=k(Fkj k(Fkj*Nki)Nki)即,计算所有的应用在站点j j上访问片段i
17、i 的总次数。对所有站点j j确定j j,使得BijBij=max(Bij)=max(Bij)即,把片段RiRi分配到有最大访问次数的站点j j。i-i-片段序号片段序号j-j-站点序号站点序号k-k-应用序号应用序号Fkj-Fkj-应用应用k k在站点在站点j j上激活的频率上激活的频率Rki-Rki-应用应用k k对片段对片段i i 进行检索访问的次数进行检索访问的次数(Read)(Read)Uki-Uki-应用应用k k对片段对片段i i 进行更新访问的次数进行更新访问的次数Nki=Rki+Uki-Nki=Rki+Uki-应用应用k k对片段对片段i i进行访问的总次数进行访问的总次数冗
18、余分配比较复杂,一般采用下列方法之一进行估算:-所有得益站点法:-附加复制法(1 1)“所有得益站点”法对所有站点确定非冗余分配方案。从全部结点中选择一组站点,使得给这组站点分配片段RiRi的一个拷贝所得到的检索效益,大于从其它站点对RiRi实施更新的代价。把片段RiRi拷贝分配给该组站点(2)附加拷贝附加拷贝法对所有站点确定非冗余分配方案。计算把片段RiRi分配给所有站点所能得到的总效益fifi(以及一个站点分得RiRi所得到的效益)从分得片段RiRi能够获取最大益处的站点起,对各站点依次附加片段RiRi的一个拷贝,直到增加片段RiRi不能使系统得到明显效益(或者说效益增大“接近”fi fi
19、)为止。总结:数据库片段及位置分配的设计所需要 的参数均从应用需求中得来,总结这些参数可用如下三个表表达:A 频率表:各站点每一应用激活的次数B 划分表:各实体的潜在水平分片规则C 极化表:给定站点发出一给定应用访问一给定片段的概率需需求求分分析析全全局局概概念念模模型型全全局局逻逻辑辑模模型型分分片片设设计计系系统统实实现现试试运运行行及及维维护护分分布布设设计计局局部部逻逻辑辑设设计计物物理理设设计计频率表 划分表极化表分布式数据库设计的一个例子分布式数据库设计的一个例子订票系统维护分布在三个网络站点(与机场1 1,2 2,3 3处于同一地理区域)上的数据库。数据库存储机场规程、班机起降和
20、旅客订票等数据。(1)概念设计-全局概念模式(E-RE-R图)(2)收集数据与其最相关的应用知识-用操作模式表示a 订票:用于旅客预订机票。b 登记:用于旅客登机登记任务记录。c 起飞应用:查询即将从一个机场起飞的30个班机信息。(3)在操作模式的基础上,对每一实体估算应用的定量数据,建立逻辑访问表例“班机”实体逻辑访问表(4)分布需求分析a.a.频率表:调研并给出在三个站点上使用各个应用的频率(激活的次数)b.b.划分表:分析各个实体各种可能的分片方式及其选择性*基本划分*导出划分注释表:c.c.极化极化表:调研并给出从一个站点发出一个应用所需要访问某片段的概率。(5)飞机订票系统的分布式设
21、计a.为各个实体选择合适的分片,原则:满足本地性,不造成应用困难。对本例来予,各个实体采用水平分片:“机场”由基于区域的基本水平分片(片段(F1(F1F3)F3):机场1 1,机场2 2,机场3 3)“班机”由基于起飞机场区域的导出水平分片(片段(A1(A1A3)A3):班机1 1,班机2 2,班机3 3)“旅客”由基于旅客订票涉及的班机起飞机场所在区域的导出水平分片(片段(P1(P1P7)P7):旅客1 1,旅客2 2,旅客3 3,旅客7 7)b.进行片段的非冗余分配:1 1)站点1 1:机场1 1,班机1 1,旅客1 12 2)站点2 2:机场2 2,班机2 2,旅客2 2 旅客4 4,旅
22、客6 6,旅客7 73 3)站点3 3:机场3 3,班机3 3,旅客3 3 旅客旅客5 5根据频率表和极化表c.进行片段的冗余分配:根据应用可以将旅客4.5.6分配在两个站点上,旅客7分配在三个站点上。(6)重构局部模式本节要点1.1.理解分布式数据库系统的基本概念及特征,理解分布式数据库系统的基本概念及特征,总结分布式数据库分片设计方法。熟练掌握使用SQLSQL语句,定义全局关系模式的分片方法。2.2.总结“自顶向下”设计分布式数据库的方法。掌握从设计全局设计模式到各站点上局部模式的分布设计方法。3.3.理解分布式数据库片段分配设计方法的思想。2.2.分布式数据库查询处理分布式数据库查询处理
23、一、分布式查询处理的步骤查询分析若该查询属于局部查询,则执行局部查询处理后,即可结束。查询分解把全局查询或远程查询转换成定义在全局关系上的关系代数表达式,并优化该表达式。查询本地化把一个全局关系上的查询,转化为对片段的局部查询。全局查询优化:找出对各个片段局部查询结果之间的最佳操作次序,使得代价最小。其重点在连接运算和并运算的优化局部优化:由确定的片段所在站点执行二、分布式查询处理的代价QC估算:QC=I/O+通信代价T*通信代价T估算T=T=传输次数(每次传输延迟时间+每次传输数据量/数据传输速率)=传输次数(C0+X/DC0+X/D)三、分布式查询策略的重要性:例设:教学数据库中:S(S#
24、,Sname,Age,Sex)10,000S(S#,Sname,Age,Sex)10,000个元组,存放在A A站点(男/女各一半)SC(S#,C#,Grade)1,000,000SC(S#,C#,Grade)1,000,000个元组,存放在A A站点(每人选课100100门)C(C#,Cname,Teacher)100,000C(C#,Cname,Teacher)100,000个元组,存放在B B站点假设:每个元组的长度为100 bit;100 bit;通信系统传输速率为10,000bit/0,000bit/秒;每次通信延迟时间为1 1秒。查询:选修课名查询:选修课名Maths Maths
25、的男生的学号和姓名的男生的学号和姓名对于本例,C0=1秒,D=10,000 bit/秒解:SQLSQL语句是:SELECT S.S#,SnameSELECT S.S#,Sname FROM S,SC,C FROM S,SC,C WHERE S.S#=SC.S#WHERE S.S#=SC.S#AND SC.C#=C.C#AND SC.C#=C.C#AND SEX=M AND SEX=M AND Cname=Maths AND Cname=Maths策略1 1:把关系C C传到A A站点;在A A站点进行处理。T1=1+(100,000 T1=1+(100,000*100)/10,000 100)
展开阅读全文