大数据时代的数据挖掘与商务智能培训课件(PPT-80页).ppt

1、12345数据挖掘数据挖掘678910111213数据仓库和数据挖掘项目提到日程数据仓库和数据挖掘项目提到日程n数据分析、决策支持系统、商业智能数据分析、决策支持系统、商业智能（BIBI）、）、知识管理、客户关系管理知识管理、客户关系管理(CRM)(CRM)、物流与供应链管理物流与供应链管理(SCM)(SCM)、企业资源计划、企业资源计划(ERP)(ERP)、各种预测。、各种预测。n政府、科技部门、大型企业（工厂，公司，政府、科技部门、大型企业（工厂，公司，商场），经济部门、金融机构（银行、证商场），经济部门、金融机构（银行、证券、保险）、电子商务、电子政务、各种券、保险）、电子商务、电子政务

2、、各种“金金”工程。工程。14n数据仓库数据仓库 将不同数据源、多年的数据经将不同数据源、多年的数据经“整合整合”成成一个有组织的便于分析的结构化的数据环一个有组织的便于分析的结构化的数据环境。境。组织数据方法。组织数据方法。n数据挖掘：数据挖掘：从数据中找出（推出，归纳出，预测、挖从数据中找出（推出，归纳出，预测、挖掘）有用的信息，规律，知识。掘）有用的信息，规律，知识。分析数据方法。分析数据方法。1516171819决策支决策支持系统持系统OLAP数据挖掘数据挖掘数数 据据 仓仓 库库数数 据据 库库各种信息系统各种信息系统各种管理系统各种管理系统搜索、抽取搜索、抽取过滤过滤万维网万维网信

3、息发布信息发布信息检索信息检索ACRMCRM2021(B)DataInformation(A)Knowledge(Arrangement)(Transmit)(A)Knowledge transmitted by character,sign,voice,etc.(B)Data arranged to be useful for decision makingINFORMATION(Recognition)(C)Knowledge(C)Recognition memorized personally or socially(D)Judgment or a system of judgment

4、which has objective validityKNOWLEDGE(D)Knowledge(Judgment)(D)Knowledge(Judgment)What is the energy to bring such transformation?(E)Computers ability to judge things automatically(F)Peoples ability to understand and learn thingsINTELLIGENCEInformation ScienceManagement ScienceKnowledge Science+Infor

5、mation,Knowledge,and Intelligence22A theory of organizational knowledge creation,which suggests that new knowledge is created by the interaction between explicit and tacit knowledge through the spiral of Socialization,Externalization,Combination,and Internalization.Shared mental modelsor technical s

6、kills1Metaphors,analogies,concepts,hypotheses,or models2Linkingexplicitknowledge3Learning by doing4I.Nonaka and H.Takeuchi The Knowledge-Creating Company.How Japanese Companies Create the Dynamics of Innovation.Oxford University Press,1995.GroupexplicitknowledgeIndividual explicitknowledgeIndividual

7、tacitknowledgeGrouptacitknowledgeCombinationInternalizationSocializationExternalizationKey Factor in Establishing the SchoolProf.Nonaka23242526银行银行 17%17%生物生物/基因基因 8%8%E E商务商务/Web 15%/Web 15%欺诈检测欺诈检测 8%8%保险保险 6%6%投资投资/股票股票 4%4%药品药品 5%5%零售业零售业 6%6%科学数据科学数据 8%8%电信电信 11%11%其他其他 11%11%272829303132333435

8、数据仓库数据仓库 数据清理与数据集成数据清理与数据集成过滤过滤 数据库数据库数据挖掘数据挖掘方法库方法库其它数据源其它数据源知识库知识库World-WideWebOther InfoRepositories36各行业电子商务网站各行业电子商务网站算算法法层层商商业业逻逻辑辑层层行行业业应应用用层层商业应用商业应用商业模型商业模型挖掘算法挖掘算法CRM产品推荐产品推荐客户细分客户细分客户流失客户流失客户利润客户利润客户响应客户响应关联规则、序列模式、分类、聚集、神经元网络、偏差分析关联规则、序列模式、分类、聚集、神经元网络、偏差分析WEB挖掘挖掘网站结构优化网站结构优化网页推荐网页推荐商品推荐商

9、品推荐。基因挖掘基因挖掘基因表达路径分析基因表达路径分析基因表达相似性分析基因表达相似性分析基因表达共发生分析基因表达共发生分析。银行银行电信电信零售零售保险保险制药制药生物信息生物信息科学研究科学研究。相关行业相关行业371.业务分析Data SourceData Source 2.数据收集与整理3 数据分析与处理4.财务指标展示6.数据挖掘结果的解释和展示7.系统建设8.尝试应用5.数据挖掘建模3839404142 KDD 过程可分为三个阶段：数数据据准准备备（data preparation）、数数据据挖挖掘掘，以及结果的解解释释评评价价（interpretation and evalu

10、ation），如图所示。可视化用户界面 数据库 目标数据 预处理好的数据 转换后数据 挖掘出的知识 有用的知识 选择/抽样 预处理 数据转换 数据挖掘 解释评价4344Data CleaningData IntegrationDatabasesData WarehouseTask-relevant DataSelectionData MiningPattern Evaluation4546 47484950515253挖掘结果（获得知识的）挖掘结果（获得知识的）5455发布挖掘结果（获得知识的）发布挖掘结果（获得知识的）Crisp-DM 1.0CRISP-DM 2.0 SIG WORKSHOP

11、 ANNOUNCEDCHICAGO,SEPTEMBER 26,2006 56575859Data Mining/Analytic Software Tools 534 voters(May 2007)6061代代特征特征数据挖掘算法数据挖掘算法集成集成分布计算分布计算模型模型数据模型数据模型第一第一代代作为一个独作为一个独立的应用立的应用支持一个或者支持一个或者多个算法多个算法 独立的系统独立的系统单个机器单个机器向量数据向量数据第二第二代代和数据库以和数据库以及数据仓库及数据仓库集成集成多个算法：能多个算法：能够挖掘一次不够挖掘一次不能放进内存的能放进内存的数据数据数据管理系数据管理系统，包

12、括数统，包括数据库和数据据库和数据仓库仓库同质、局同质、局部区域的部区域的计算机群计算机群集集有些系统支持有些系统支持对象对象,文本和文本和连续的媒体数连续的媒体数据据第三第三代代和预测模型和预测模型系统集成系统集成 多个算法多个算法数据管理和数据管理和预测模型系预测模型系统统intranet/extranet网网络计算络计算支持半结构化支持半结构化数据和数据和webweb数数据据第四第四代代和移动数据和移动数据/各种计算设各种计算设备的数据联备的数据联合合 多个算法多个算法数据管理、数据管理、预测模型、预测模型、移动系统移动系统移动和各移动和各种计算设种计算设备备普遍存在的计普遍存在的计算模

13、型算模型 Robert Grossman的观点的观点(National Center for Data Mining,University of Illinois at Chicago)62n特点特点支持一个或少数几个数据挖掘算法支持一个或少数几个数据挖掘算法 挖掘向量数据（挖掘向量数据（vector-valued datavector-valued data）数据一般一次性调进内存进行处理数据一般一次性调进内存进行处理 典型的系统如典型的系统如Salford SystemsSalford Systems公司早期的公司早期的CARTCART系系统统(www.salford-)(www.salf

14、ord-)n缺陷缺陷如果数据足够大，并且频繁的变化，这就需要利如果数据足够大，并且频繁的变化，这就需要利用数据库或者数据仓库技术进行管理，第一代系统用数据库或者数据仓库技术进行管理，第一代系统显然不能满足需求。显然不能满足需求。63 CBACBA新加坡国立大学基于关联规则的分类算法，能从关新加坡国立大学基于关联规则的分类算法，能从关系数据或者交易数据挖掘关联规则，使用关联规则进行系数据或者交易数据挖掘关联规则，使用关联规则进行分类和预测分类和预测64n特点特点与数据库管理系统（与数据库管理系统（DBMSDBMS）集成）集成 支持数据库和数据仓库，和它们具有高性能的接口，具支持数据库和数据仓库，

15、和它们具有高性能的接口，具有高的可扩展性有高的可扩展性 能够挖掘大数据集、以及更复杂的数据集能够挖掘大数据集、以及更复杂的数据集 通过支持数据挖掘模式（通过支持数据挖掘模式（data mining schemadata mining schema）和数据）和数据挖掘查询语言增加系统的灵活性挖掘查询语言增加系统的灵活性 典型的系统如典型的系统如DBMinerDBMiner，能通过，能通过DMQLDMQL挖掘语言进行挖掘挖掘语言进行挖掘操作操作n缺陷缺陷只注重模型的生成，如何和预言模型系统集成导致了第只注重模型的生成，如何和预言模型系统集成导致了第三代数据挖掘系统的开发三代数据挖掘系统的开发656

16、667n特点特点和预言模型系统之间能够无缝的集成，使得由数据挖掘和预言模型系统之间能够无缝的集成，使得由数据挖掘软件产生的模型的变化能够及时反映到预言模型系统中软件产生的模型的变化能够及时反映到预言模型系统中 由数据挖掘软件产生的预言模型能够自动地被操作型系由数据挖掘软件产生的预言模型能够自动地被操作型系统吸收，从而与操作型系统中的预言模型相联合提供决统吸收，从而与操作型系统中的预言模型相联合提供决策支持的功能策支持的功能 能够挖掘网络环境下（能够挖掘网络环境下（Internet/ExtranetInternet/Extranet）的分布式）的分布式和高度异质的数据，并且能够有效地和操作型系统

17、集成和高度异质的数据，并且能够有效地和操作型系统集成n缺陷缺陷不能支持移动环境不能支持移动环境6869n特点特点目前移动计算越发显得重要，将数据挖掘和移动计算相目前移动计算越发显得重要，将数据挖掘和移动计算相结合是当前的一个研究领域。结合是当前的一个研究领域。第四代软件能够挖掘嵌入式系统、移动系统、和普遍存第四代软件能够挖掘嵌入式系统、移动系统、和普遍存在（在（ubiquitousubiquitous）计算设备产生的各种类型的数据）计算设备产生的各种类型的数据 第四代数据挖掘原型或商业系统刚刚起步，第四代数据挖掘原型或商业系统刚刚起步，PKDD2001PKDD2001上上KarguptaKar

18、gupta发表了一篇在移动环境下挖掘决策树的论文，发表了一篇在移动环境下挖掘决策树的论文，KarguptaKargupta是马里兰巴尔的摩州立大学（是马里兰巴尔的摩州立大学（University of University of Maryland Baltimore CountyMaryland Baltimore County）正在研制的）正在研制的CAREERCAREER数据数据挖掘项目的负责人，该项目研究期限是挖掘项目的负责人，该项目研究期限是20012001年年4 4月到月到20062006年年4 4月，目的是开发挖掘分布式和异质数据月，目的是开发挖掘分布式和异质数据（Ubiquito

19、usUbiquitous设备）的第四代数据挖掘系统。设备）的第四代数据挖掘系统。70第一代系统与第二代相比因为不具有和数据管理系统之第一代系统与第二代相比因为不具有和数据管理系统之间有效的接口，所以在数据预处理方面有一定缺陷间有效的接口，所以在数据预处理方面有一定缺陷 第三、四代系统强调预言模型的使用和在操作型环境的第三、四代系统强调预言模型的使用和在操作型环境的部署部署 第二代系统提供数据管理系统和数据挖掘系统之间的有第二代系统提供数据管理系统和数据挖掘系统之间的有效接口效接口 第三代系统另外还提供数据挖掘系统和预言模型系统之第三代系统另外还提供数据挖掘系统和预言模型系统之间的有效的接口间的

20、有效的接口 目前，随着新的挖掘算法的研究和开发，第一代数据挖目前，随着新的挖掘算法的研究和开发，第一代数据挖掘系统仍然会出现，第二代系统是商业软件的主流，部分掘系统仍然会出现，第二代系统是商业软件的主流，部分第二代系统开发商开始研制相应的第三代数据挖掘系统，第二代系统开发商开始研制相应的第三代数据挖掘系统，比如比如 IBM Intelligent Score ServiceIBM Intelligent Score Service。第四代数据挖。第四代数据挖掘原型或商业系统刚刚起步。掘原型或商业系统刚刚起步。71n独立的数据挖掘软件独立的数据挖掘软件n横向的数据挖掘工具集横向的数据挖掘工具集n

21、纵向的数据挖掘解决方案纵向的数据挖掘解决方案Gregory Piatetsky-Shapiro的观点的观点（the President of KDnuggets）72n特点特点独立的数据挖掘软件对应第一代系统，出现在数独立的数据挖掘软件对应第一代系统，出现在数据挖掘技术发展早期，研究人员开发出一种新型的据挖掘技术发展早期，研究人员开发出一种新型的数据挖掘算法，就形成一个软件。数据挖掘算法，就形成一个软件。这类软件要求用户对具体的算法和数据挖掘技术这类软件要求用户对具体的算法和数据挖掘技术有相当的了解，还要负责大量的数据预处理工作。有相当的了解，还要负责大量的数据预处理工作。比如比如C4.5C4

22、.5决策树决策树，平行坐标可视化（平行坐标可视化（parallel-parallel-coordinate visualizationcoordinate visualization）。）。73n发展原因发展原因随着数据挖掘应用的发展，人们逐渐认识到数据挖掘软随着数据挖掘应用的发展，人们逐渐认识到数据挖掘软件需要和以下三个方面紧密结合：件需要和以下三个方面紧密结合：1 1）数据库和数据仓）数据库和数据仓库；库；2 2）多种类型的数据挖掘算法；）多种类型的数据挖掘算法；3 3）数据清洗、转换）数据清洗、转换等预处理工作。等预处理工作。随着数据量的增加，需要利用数据库或者数据仓库技术随着数据量的增

23、加，需要利用数据库或者数据仓库技术进行管理，所以数据挖掘系统与数据库和数据仓库结合进行管理，所以数据挖掘系统与数据库和数据仓库结合是自然的发展。是自然的发展。现实领域的问题是多种多样的，一种或少数数据挖掘算现实领域的问题是多种多样的，一种或少数数据挖掘算法难以解决法难以解决 挖掘的数据通常不符合算法的要求，需要有数据清洗、挖掘的数据通常不符合算法的要求，需要有数据清洗、转换等数据预处理的配合，才能得出有价值的模型转换等数据预处理的配合，才能得出有价值的模型74n发展过程发展过程随着这些需求的出现，随着这些需求的出现，19951995年左右软件开发商开年左右软件开发商开始提供称之为始提供称之为“

24、工具集工具集”的数据挖掘软件的数据挖掘软件n特点特点此类工具集的特点是提供多种数据挖掘算法此类工具集的特点是提供多种数据挖掘算法 包括数据的转换和可视化包括数据的转换和可视化 由于此类工具并非面向特定的应用，是通用的算由于此类工具并非面向特定的应用，是通用的算法集合，可以称之为横向的数据挖掘工具法集合，可以称之为横向的数据挖掘工具（Horizontal Data Mining ToolsHorizontal Data Mining Tools）由于此类工具并非面向特定的应用，是通用的算由于此类工具并非面向特定的应用，是通用的算法集合，所以称之为横向的数据挖掘工具法集合，所以称之为横向的数据挖掘

25、工具典型的横向工具有典型的横向工具有IBM Intelligent MinerIBM Intelligent Miner、SPSSSPSS的的ClementineClementine、SASSAS的的Enterprise MinerEnterprise Miner、SGISGI的的MineSetMineSet、Oracle DarwinOracle Darwin等等 75IBM Intelligent MinerSPSS的的ClementineSAS的的Enterprise MinerSGI的的MineSetOracle Darwin76n发展原因发展原因随着横向的数据挖掘工具的使用日渐广泛，

26、人们随着横向的数据挖掘工具的使用日渐广泛，人们也发现这类工具只有精通数数据挖掘算法的专家才也发现这类工具只有精通数数据挖掘算法的专家才能熟练使用，如果对算法不了解，难以得出好的模能熟练使用，如果对算法不了解，难以得出好的模型型 从从19991999年开始，大量的数据挖掘工具研制者开始年开始，大量的数据挖掘工具研制者开始提供纵向的数据挖掘解决方案（提供纵向的数据挖掘解决方案（Vertical Vertical SolutionSolution），即针对特定的应用提供完整的数据），即针对特定的应用提供完整的数据挖掘方案挖掘方案 对于纵向的解决方案，数据挖掘技术的应用多数对于纵向的解决方案，数据挖掘

27、技术的应用多数还是为了解决某些特定的难题，而嵌入在应用系统还是为了解决某些特定的难题，而嵌入在应用系统中中77在证券系统中嵌入神经网络预测功能在证券系统中嵌入神经网络预测功能在欺诈检测系统中嵌入欺诈行为的分类在欺诈检测系统中嵌入欺诈行为的分类/识别模型识别模型在客户关系管理系统中嵌入客户成簇在客户关系管理系统中嵌入客户成簇/分类功能或分类功能或客户行为分析功能客户行为分析功能在机器维护系统中嵌入监在机器维护系统中嵌入监/检测或识别难以定性的检测或识别难以定性的设备故障功能设备故障功能在数据库营销中嵌入选择最可能购买产品的客户在数据库营销中嵌入选择最可能购买产品的客户功能功能在机场管理系统中嵌入旅客人数预测、货运优化在机场管理系统中嵌入旅客人数预测、货运优化功能功能在基因分析系统中嵌入在基因分析系统中嵌入DNADNA识别功能识别功能在制造在制造/生产系统中嵌入质量控制功能等生产系统中嵌入质量控制功能等78KD1KD1（主要用于零售业）（主要用于零售业）Options&Choice(Options&Choice(主要用于保险业主要用于保险业)HNCHNC（欺诈行为侦测）（欺诈行为侦测）Unica Model 1(Unica Model 1(主要用于市场营销主要用于市场营销)7980