第5章-数据仓库与数据挖掘-数据库新技术-教学课件.ppt

1、数数据据源源1 1数 据 集 成 系 统数数据据源源2 2数数据据源源3 3结结 果果请请 求求用用 户户中中间间件件封封装装器器封封装装器器全全局局数数据据模模式式数数据据源源1 1数数据据源源2 2用用户户查查询询结结果果.基于中间件的数据集成模型基于中间件的数据集成模型 知识知识决策决策n模式模式n趋势趋势n事实事实n关系关系n模型模型n关联规则关联规则n序列序列n目标市场目标市场n资金分配资金分配n贸易选择贸易选择n在哪儿做广告在哪儿做广告n销售的地理位置销售的地理位置n金融金融n经济经济n政府政府nPOS.n人口统计人口统计n生命周期生命周期5.2 数据仓库数据仓库为什么创建数据仓库

2、为什么创建数据仓库?苦恼苦恼:太多的数据太多的数据;却不能制定合适的决策却不能制定合适的决策!n面向应用的面向应用的n有限的集成有限的集成n经常修改经常修改n仅仅使用当前的数据仅仅使用当前的数据n支持每天的业务操作支持每天的业务操作n为便于更新，进行了规范化为便于更新，进行了规范化操作型数据操作型数据决策型信息数据决策型信息数据 操作型数据和决策型信息数据是根本不一样的操作型数据和决策型信息数据是根本不一样的 TrustAccountsCheckingAccountsLoanAccounts创建数据仓库得到合适的信息创建数据仓库得到合适的信息年年月月日日Account History数据库方式

3、数据仓库方式80年代以后90年代以后以支持日常业务处理过程为目的（OLTP）以支持经营管理过程中的决策制定为目的（DSS）自进入自进入90年代以后，数据库系统的应用从传统的事务处年代以后，数据库系统的应用从传统的事务处理应用扩展到辅助决策等新的集成应用领域。理应用扩展到辅助决策等新的集成应用领域。操作型数据操作型数据分析型数据分析型数据细节的细节的综合的（提炼的）综合的（提炼的）当前数据当前数据历史及周边相关数据历史及周边相关数据可更新可更新不更新（周期性刷新）不更新（周期性刷新）面向应用，事务驱动面向应用，事务驱动面向分析，分析驱动面向分析，分析驱动操作需求事先可知道操作需求事先可知道不知道

4、不知道一次操作数据量小一次操作数据量小一次操作数据量大一次操作数据量大支持日常操作支持日常操作支持管理需求支持管理需求性能要求高性能要求高对性能要求较宽松对性能要求较宽松表表1 操作型数据与分析型数据的区别操作型数据与分析型数据的区别 数据仓库的四大特色数据仓库的四大特色 （1）面向主题面向主题4.数据仓库的四大特色数据仓库的四大特色（1）面向主题面向主题4.数据仓库的四大特色数据仓库的四大特色4.数据仓库的四大特色数据仓库的四大特色4.数据仓库的四大特色数据仓库的四大特色4.数据仓库的四大特色数据仓库的四大特色主题一：主题一：商品商品4.数据仓库的四大特色数据仓库的四大特色主题二：主题二：供

5、应商供应商4.数据仓库的四大特色数据仓库的四大特色主题三：主题三：顾客顾客4.数据仓库的四大特色数据仓库的四大特色（1）面向主题面向主题4.数据仓库的四大特色数据仓库的四大特色（1）面向主题面向主题 多维数据库多维数据库（MDDBMulti-Dimensional DataBase）用多维数组形式存储数据。用多维数组形式存储数据。关系数据库关系数据库用一组关系来组织数据的存储，同一主题的一组用一组关系来组织数据的存储，同一主题的一组关系都有一个公共的关键字，存放的也不是细节性关系都有一个公共的关键字，存放的也不是细节性的业务数据，而是经过一定程度的综合形成的综合的业务数据，而是经过一定程度的综

6、合形成的综合性数据。性数据。4.数据仓库的四大特色数据仓库的四大特色（2）集成集成统一：消除不一致的现象统一：消除不一致的现象综合：对原有数据进行综合和计算综合：对原有数据进行综合和计算4.数据仓库的四大特色数据仓库的四大特色（2）集成集成水文信息水文信息气象信息气象信息大堤抗洪能力大堤抗洪能力守堤抢险人员守堤抢险人员抗洪物资供应抗洪物资供应qDBMS4.数据仓库的四大特色数据仓库的四大特色（3）不可更新不可更新 4.数据仓库的四大特色数据仓库的四大特色（4）随时间不断变化随时间不断变化不断增加新的数据内容不断增加新的数据内容不断删去旧的数据内容不断删去旧的数据内容更新与时间有关的综合数据更新

7、与时间有关的综合数据4.数据仓库的四大特色数据仓库的四大特色 数据库数据数据库数据数据仓库数据数据仓库数据1原始性数据原始性数据加工型数据加工型数据2分散性数据分散性数据集成性数据集成性数据3当前数据当前数据历史数据历史数据4即时数据即时数据快照数据快照数据5多种数据访问操作多种数据访问操作读操作读操作元元数数据据高高度度综综合合数数据据层层轻轻度度综综合合数数据据层层当当前前基基本本数数据据层层历历史史基基本本数数据据层层数据仓库系统（数据仓库系统（DWS）由数据仓库、仓库管理和分析工具三部分由数据仓库、仓库管理和分析工具三部分组成组成业务数据业务数据外部数据外部数据数据仓库数据仓库管理工具

8、管理工具抽取、转换、抽取、转换、装载装载元数据库元数据库数据建模数据建模工具工具查询报表查询报表多维分析多维分析数据挖掘数据挖掘解释评估解释评估数据源数据源管理模块管理模块数据存储数据存储决策支持分析工决策支持分析工具具 数据仓库数据仓库 数据集市数据集市ODS 源数据：源数据：来自于多个数据源，包括企业内部业务运作来自于多个数据源，包括企业内部业务运作数据库的数据、外部数据，即来自企业外部的信息，数据库的数据、外部数据，即来自企业外部的信息，如市场调查与分析及各种文档之类的外部数据。包含如市场调查与分析及各种文档之类的外部数据。包含大量的细节数据，大量的细节数据，彼此彼此作用不同。作用不同。

9、数据仓库管理：数据仓库管理：明明确需求后，进行数据建模，确定从确需求后，进行数据建模，确定从源数据到数据仓库的数据抽取、清理和转换过程，划源数据到数据仓库的数据抽取、清理和转换过程，划分维数及确定数据仓库的存储结构。元数据是数据仓分维数及确定数据仓库的存储结构。元数据是数据仓库的核心，它存储数据模型和定义数据结构、转换规库的核心，它存储数据模型和定义数据结构、转换规则、仓库结构、控制信息等。仓库管理包括对数据的则、仓库结构、控制信息等。仓库管理包括对数据的安全、归档、备份、维护安全、归档、备份、维护、恢复等工作恢复等工作。数 据 存 储：数 据 存 储：由 数 据 仓 库、数 据 集 市 与由

10、 数 据 仓 库、数 据 集 市 与 O D S（Operating Data Store）构成，由关系或非关系）构成，由关系或非关系的的数据引擎提供来自数据源的数据存储和管理的的数据引擎提供来自数据源的数据存储和管理。分析工具：分析工具：由报表工具、分析与决策支持工具、由报表工具、分析与决策支持工具、多维数据的多维数据的OLAP分析工具、数据分析工具、数据挖掘挖掘工具等组工具等组成，以实现决策支持系统的各种要求成，以实现决策支持系统的各种要求。维维度度表表事实表维维度度表表维维度度表表维维度度表表维维度度表表维维度度表表维维 度度 表表事事 实实 表表维维 度度 表表维维 度度 表表维维 度

11、度 表表维维 度度 表表维维 度度 表表详详 细细 类类 别别 表表详详 细细 类类 别别 表表 不同格式的数据：不同格式的数据：由于企业在长期事务处理过程中随数由于企业在长期事务处理过程中随数据库管理系统本身发展，形成了企业内从简单到复杂、据库管理系统本身发展，形成了企业内从简单到复杂、从小型到大型的各种，其中有大型关系数据库、对象数从小型到大型的各种，其中有大型关系数据库、对象数据库、桌面数据库、各种非格式化的数据文件等据库、桌面数据库、各种非格式化的数据文件等。不同的数据操作平台不同的数据操作平台 不同的物理位置不同的物理位置1）.数据源数据源企业内部各部门当前及其历史上的细节性业企业内

12、部各部门当前及其历史上的细节性业务数据务数据为了进行分析决策操作而生成的分析型数据为了进行分析决策操作而生成的分析型数据2）.数据仓库管理数据仓库管理2）.数据仓库管理数据仓库管理2）.数据仓库管理数据仓库管理-数据仓库管理系统数据仓库管理系统2）.数据仓库管理数据仓库管理-数据仓库数据仓库建模建模2）.数据仓库管理数据仓库管理-数据的抽取与刷新数据的抽取与刷新 通过通用的数据库接口程序或协议从中抽取数据通过通用的数据库接口程序或协议从中抽取数据 编制特殊的数据抽函数进行数据抽取编制特殊的数据抽函数进行数据抽取2）.数据仓库管理数据仓库管理-数据抽取数据抽取2）.数据仓库管理数据仓库管理-数据

13、刷新数据刷新 时间戳时间戳 DELTADELTA文件文件 建立映象文件建立映象文件 日志文件日志文件2）.数据仓库管理数据仓库管理-数据刷新方法数据刷新方法 -时间戳时间戳2）.数据仓库管理数据仓库管理-数据刷新方法数据刷新方法 -DELTADELTA文件文件2）.数据仓库管理数据仓库管理-数据刷新方法数据刷新方法 -建立映象文件建立映象文件2）.数据仓库管理数据仓库管理-数据刷新方法数据刷新方法 -日志文件日志文件在一个数据仓库系统中，可以同时采用上述的四种数在一个数据仓库系统中，可以同时采用上述的四种数据刷新方式，以满足不同数据源的数据刷新需要。据刷新方式，以满足不同数据源的数据刷新需要。

14、2）.数据仓库管理数据仓库管理-元数据（元数据（MetadataMetadata）与）与 元数据管理元数据管理 数据源系统数据源系统：数据存取的规范、数据库文档、信息描述、：数据存取的规范、数据库文档、信息描述、安全性、数据所有者权限等；安全性、数据所有者权限等；数据处理过程数据处理过程：数据的抽取、加载、清洗、过滤、协调：数据的抽取、加载、清洗、过滤、协调及完成处理所需遵守的规则；及完成处理所需遵守的规则；数据的刷新数据的刷新：数据刷新方式、刷新频率等信息。：数据刷新方式、刷新频率等信息。2）.数据仓库管理数据仓库管理-元数据（元数据（MetadataMetadata）与）与 元数据管元数据

15、管理理1 1）.设计原则设计原则 -面向主题原则面向主题原则 数据仓库是面向主题的、集成的、不可更新的数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的了数据仓库的系统设计不能采用同开发传统的OLTPOLTP数据库一样的设计方法数据库一样的设计方法，其设计过程必须，其设计过程必须遵循下述三条原则：遵循下述三条原则：1 1）.设计原则设计原则 -面向主题原则面向主题原则管理人员能够在适当的时候，订购适当的管理人员能够在适当的时候，订购适当的商品，并把它们分发到适当的商店中去销商品，并把它

16、们分发到适当的商店中去销售，以提高商品的销售总金额。售，以提高商品的销售总金额。分析什么样的商品，在什么样的时间和商分析什么样的商品，在什么样的时间和商店内畅销店内畅销即分析商品的销售额与商品类型、销售时即分析商品的销售额与商品类型、销售时间及商店位置之间的变化关系间及商店位置之间的变化关系管理人员将据此决定他们的经营策略管理人员将据此决定他们的经营策略1 1）.设计原则设计原则 -面向主题原则面向主题原则2 2）.设计原则设计原则 -数据驱动原则数据驱动原则3).3).设计原则设计原则 -原型法设计原则原型法设计原则 明确主题明确主题 概念设计概念设计 技术准备技术准备 逻辑设计逻辑设计 物

17、理设计物理设计 数据仓库生成数据仓库生成 数据仓库的运行与维护数据仓库的运行与维护 设计步骤设计步骤 -明确主题明确主题 设计步骤设计步骤 概念设计概念设计 设计步骤设计步骤 技术准备工作技术准备工作 在明确主题与已有数据源的情况下，用在明确主题与已有数据源的情况下，用ER图建立一个数据仓库抽象数据模型。图建立一个数据仓库抽象数据模型。概念模型的评估：概念模型的评估：其内容包括数据仓库的性能其内容包括数据仓库的性能指标，如数据存取能力，模型重组能力，数据指标，如数据存取能力，模型重组能力，数据装载能力等。装载能力等。在评估基础上在评估基础上提出数据仓库的软硬件平台要求提出数据仓库的软硬件平台要

18、求，包括计算机、网络结构、操作系统、数据库及包括计算机、网络结构、操作系统、数据库及数据仓库软件的选购要求等。数据仓库软件的选购要求等。设计步骤设计步骤 逻辑模型设计逻辑模型设计 设计步骤设计步骤 物理模型设计物理模型设计 在数据仓库概念模型基础上可以设计逻辑模型。在数据仓库概念模型基础上可以设计逻辑模型。设计步骤设计步骤 数据仓库生成数据仓库生成 根据逻辑模型与物理模型根据逻辑模型与物理模型用数据仓库的用数据仓库的建模语言定义数据模式建模语言定义数据模式。根据元数据根据元数据编制数据抽取程序编制数据抽取程序，将数据，将数据源中的数据作加工以形成数据仓库中的源中的数据作加工以形成数据仓库中的数

19、据。数据。数据加载数据加载：将数据源中的数据，通过数：将数据源中的数据，通过数据抽取程序加载到数据仓库中去。据抽取程序加载到数据仓库中去。设计步骤设计步骤 数据仓库的使用与维护数据仓库的使用与维护 建立分析、决策应用系统，在应用系统完成建立分析、决策应用系统，在应用系统完成后即可投入使用，在使用中不断加深理解，后即可投入使用，在使用中不断加深理解，改进主题，依照原型法的思想使系统更趋完改进主题，依照原型法的思想使系统更趋完善。善。在使用过程中还要不断加强维护。数据仓库在使用过程中还要不断加强维护。数据仓库维护的主要工作是数据刷新、数据的调整以维护的主要工作是数据刷新、数据的调整以及淘汰数据的及

20、时清洗等。及淘汰数据的及时清洗等。明确主题明确主题 概念设计概念设计 技术准备技术准备 逻辑设计逻辑设计 物理设计物理设计 数据仓库生成数据仓库生成 数据仓库的运行与维护数据仓库的运行与维护针对每一个选定的当前实施的主题针对每一个选定的当前实施的主题概念模型设计概念模型设计逻辑模型设计逻辑模型设计物理模型设计物理模型设计数据仓库生成数据仓库生成数据仓库运行与维护数据仓库运行与维护v 概念模型设计概念模型设计 确定系统边界确定系统边界 确定主要的主题及其内容确定主要的主题及其内容 OLAP设计设计 确定主题及其属性信息确定主题及其属性信息 描述每个属性的取值情况描述每个属性的取值情况固定不变的固

21、定不变的半固定的半固定的经常变化的经常变化的 确定主题的公共码键确定主题的公共码键 主题间的关系：主题间联系及其属性主题间的关系：主题间联系及其属性v 逻辑模型设计逻辑模型设计 将将ER图转换成关系数据库的二维表图转换成关系数据库的二维表 定义数据源和数据抽取规则定义数据源和数据抽取规则 在逻辑模型的设计过程中，需要考虑以下一在逻辑模型的设计过程中，需要考虑以下一些问题：些问题：适当的粒度划分适当的粒度划分 合理的数据分割策略合理的数据分割策略 定义合适的数据来源定义合适的数据来源等v 逻辑模型设计 粒度划分 在设计过程中需要考虑数据仓库中数据粒度的划分原在设计过程中需要考虑数据仓库中数据粒度

22、的划分原则，即数据单元的详细程度和级别。则，即数据单元的详细程度和级别。数据越详细，粒度越小，级别就越低数据越详细，粒度越小，级别就越低数据综合度越高，粒度越大，级别就越高。数据综合度越高，粒度越大，级别就越高。一般将数据划分为：一般将数据划分为：详细数据、轻度总结、高度总结详细数据、轻度总结、高度总结三种粒度，或者采用更多级的粒度划分方法。例如：三种粒度，或者采用更多级的粒度划分方法。例如：根据时间跨度进行的统计有：天，周，月，季度，根据时间跨度进行的统计有：天，周，月，季度，年年.对于不适合进行统计的属性值，可以采样获取对于不适合进行统计的属性值，可以采样获取数据数据 粒度的划分将直接影响

23、到数据仓库中的数据量以及所粒度的划分将直接影响到数据仓库中的数据量以及所适合的查询类型，粒度划分是否适当是影响数据仓库性适合的查询类型，粒度划分是否适当是影响数据仓库性能的一个重要方面。能的一个重要方面。v 逻辑模型设计 数据分割 数据的分割是指把逻辑上是统一整体的数据分割成较小数据的分割是指把逻辑上是统一整体的数据分割成较小的、可以独立管理的数据单元进行存储（关系），以便于重的、可以独立管理的数据单元进行存储（关系），以便于重构、重组和恢复，以提高创建索引和顺序扫描的效率。构、重组和恢复，以提高创建索引和顺序扫描的效率。选择数据分割的因素有：选择数据分割的因素有：数据量的大小数据量的大小数据

24、分析处理的对象（主题）数据分析处理的对象（主题）简单易行的数据分割标准简单易行的数据分割标准数据粒度的划分策略数据粒度的划分策略 通常采用通常采用时间时间属性作为数据分割的依据属性作为数据分割的依据 数据分割技术类似于数据库中的数据分片技术，其目的数据分割技术类似于数据库中的数据分片技术，其目的是为了提高数据仓库的性能。是为了提高数据仓库的性能。v 物理模型设计在逻辑模型设计基础上确定数据的存储结构、确定索在逻辑模型设计基础上确定数据的存储结构、确定索引策略、确定存储分配及数据存放位置等与物理有关的引策略、确定存储分配及数据存放位置等与物理有关的内容，物理模型设计的具体方法与数据库设计中的大致

25、内容，物理模型设计的具体方法与数据库设计中的大致相似。其目的是为了提高数据仓库系统的访问性能。常相似。其目的是为了提高数据仓库系统的访问性能。常用的一些技术有：用的一些技术有：合并表合并表建立数据序列建立数据序列引入冗余引入冗余表的物理分割表的物理分割生成导出数据生成导出数据建立广义索引建立广义索引v 物理模型设计 合并表v 物理模型设计物理模型设计 建立数据序列建立数据序列17584623 page1 page2 page3 page4v 物理模型设计 建立数据序列12345678 page1 page2 page3 page4调整后的存储组织调整后的存储组织v 物理模型设计 引入冗余v 物

26、理模型设计 表的物理分割v 物理模型设计 生成导出数据v 物理模型设计 建立广义索引v 数据仓库生成 建立数据模式建立数据模式 根据逻辑设计与物理设计的设计结果建立数根据逻辑设计与物理设计的设计结果建立数据仓库的数据模式。据仓库的数据模式。编制数据抽取程序编制数据抽取程序 根据数据仓库元数据中的定义信息，编制抽根据数据仓库元数据中的定义信息，编制抽取程序，将数据源中的数据作加工以形成数据取程序，将数据源中的数据作加工以形成数据仓库中的数据。仓库中的数据。数据加载数据加载 将数据源中的数据，通过数据抽取程序加载将数据源中的数据，通过数据抽取程序加载到数据仓库的模式中去。到数据仓库的模式中去。v

27、数据仓库的使用与维护 知识的利用与搜索（知识的利用与搜索（AI）演绎数据库演绎数据库 统计分析软件（统计分析软件（SAS，SPSS）数据挖掘数据资源的归纳数据挖掘数据资源的归纳 男性顾客在购买婴儿尿布时也往往同时购买男性顾客在购买婴儿尿布时也往往同时购买啤酒啤酒 在购买面包和黄油的顾客中在购买面包和黄油的顾客中，大部分，大部分的人同的人同时也买了牛奶时也买了牛奶 同时购买面包、黄油、牛奶的顾客人数占同时购买面包、黄油的顾客人数的百分比。面向属性归约方法面向属性归约方法 数据立方方法数据立方方法系系 别别书书 名名商学院大趋势4文学院大趋势2医学院大趋势1依据借阅次依据借阅次数的多少来数的多少来

28、决定是否为决定是否为噪声数据噪声数据借阅次数借阅次数 概括关系表二系系 别别书书 名名借阅次数借阅次数文科大趋势6理科大趋势1是：是：借阅借阅大趋势大趋势一书的是一书的是文科文科的学生的学生借阅借阅大趋势大趋势一书的是一书的是文科文科的学生的学生 将属性值提高到较高层次，如：从将属性值提高到较高层次，如：从基本关系表基本关系表 到到 概括关系表一概括关系表一，再到再到概括关系表二概括关系表二的分的分析过程。析过程。将属性值减低一些层次，如：从将属性值减低一些层次，如：从概括关系表二概括关系表二 到到 概括关系表一概括关系表一，再到再到基本关系表基本关系表的分析的分析过程。过程。购买A的顾客购买

29、B的顾客同时购买A和B的顾客 每个频繁项集的任一子集必定也是一个频繁项集。每个频繁项集的任一子集必定也是一个频繁项集。OLTP数据库最后找到的频繁项集是：(A),(B),(C),(A,C)填补丢失的数据填补丢失的数据 清除噪声数据清除噪声数据 修正数据的不一致性修正数据的不一致性 我们收集到的数据有时并不一定适合数据挖掘的需要。我们收集到的数据有时并不一定适合数据挖掘的需要。如已有的挖掘方法可能无法处理这些数据，存在一些如已有的挖掘方法可能无法处理这些数据，存在一些不规则的数据，或者数据本身不够充分等，因此需要不规则的数据，或者数据本身不够充分等，因此需要对收集到的数据进行转换对收集到的数据进

30、行转换。在不影响挖掘结果的前提下，尽可能地选取哪些与挖在不影响挖掘结果的前提下，尽可能地选取哪些与挖掘操作有关的属性集参与到数据挖掘中。掘操作有关的属性集参与到数据挖掘中。通过数据压缩技术可以减低数据的规模，节省存储空通过数据压缩技术可以减低数据的规模，节省存储空间开销和数据通讯开销。间开销和数据通讯开销。如果采用的数据挖掘算法不需要解压就可以直接利用如果采用的数据挖掘算法不需要解压就可以直接利用那些压缩数据进行数据挖掘，那么数据压缩技术将是那些压缩数据进行数据挖掘，那么数据压缩技术将是非常有用的。非常有用的。如果一个属性的值域是一个连续区域，我们可以将它如果一个属性的值域是一个连续区域，我们

31、可以将它划分为若干个区域，然后用每个区域的标识值来代替划分为若干个区域，然后用每个区域的标识值来代替原来的值。这样可以减低该属性上属性值的个数。原来的值。这样可以减低该属性上属性值的个数。我们也可以利用这种数据归约技术来自动地建立该属我们也可以利用这种数据归约技术来自动地建立该属性的概念层次树。性的概念层次树。数据挖掘所发现的知识分类数据挖掘所发现的知识分类数据挖掘所发现的知识分类数据挖掘所发现的知识分类数据挖掘所发现的知识分类数据挖掘所发现的知识分类关联分析关联分析数据挖掘所发现的知识分类数据挖掘所发现的知识分类数据挖掘所发现的知识分类数据挖掘所发现的知识分类数据挖掘所发现的知识分类数据挖掘所发现的知识分类数据挖掘处理过程模型数据挖掘处理过程模型数据挖掘处理过程模型数据挖掘处理过程模型数据挖掘处理过程模型数据挖掘处理过程模型数据挖掘处理数据挖掘处理3个过程模型？个过程模型？