大数据技术概论-(-177张)课件.ppt

1、S大数据技术张博士2015年5月11/10/2022目 录S大数据技术概论 S云数据库技术S数据挖掘技术S商业智能11/10/2022Big Data名词由来20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data2011年5 月，在“云计算相遇大数据”为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念11/10/2022大数据的产生S21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。S互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、

2、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。11/10/2022数量级概念S1KB=2(10)B=1024B；S1MB=2(10)KB=1024KB=2(20)B；S1GB=2(10)MB=1024MB=2(30)B。S1TB=2(10)GB=1024GB=2(40)BS1PB=2(10)TB=1024TB=2(50)BS1EB=2(10)PB=1024PB=2(60)B11/10/2022数量级概念SKilobyte(KB)=1024B 相当于一则短篇故事的內容。SMegabyte(MB)=l024KB 相当于一則短篇小說的文字內容。SGiga

3、byte(GB)=1024MB 相当于贝多芬第五交响乐的演奏视频內容。STerabyte(TB)=1024GB 相当于一家大型医院中所有的X光照片信息。SPetabyte(PB)=l024TB 相当于50%的全美学术图书馆信息內容。SExabyte(EB)=1024PB；5EB相当于至今全世界人类所讲过的话语。11/10/2022信息通讯进入新时代11/10/2022摩尔定律11/10/2022后摩尔时代11/10/2022计算机演进11/10/2022信息计算体系演进11/10/2022软件技术网络化演进11/10/2022传输技术的发展11/10/2022从移动数据到移动流媒体11/10/

4、2022移动通信峰值速率的提升11/10/2022互联网发展：从电信到泛在服务11/10/2022联网主机数量11/10/2022电视网络化智能化与三网合一11/10/2022视频流量成为主流11/10/2022全球骨干网流量11/10/2022中国互联网干线带宽11/10/2022中国互联网用户11/10/2022移动终端功能的演进11/10/2022移动互联网加快普及11/10/2022智能终端引领后PC时代11/10/2022移动数据流量超过话音11/10/2022全球移动数据流量11/10/2022移动互联网流量11/10/2022互联网上1分钟11/10/2022互联网上的1天11/

5、10/2022照片11/10/2022大数据时代到来11/10/2022大数据定义11/10/2022大数据例子11/10/2022科学研究催生大数据11/10/2022物联网催生大数据11/10/2022安全监控的数据量11/10/2022环境监测催生大数据11/10/2022医疗病历隐藏大数据11/10/2022国际关注大数据11/10/2022大数据的4V特征“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。体量Volume多样性Variety价值密度Value速

6、度Velocity非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效11/10/2022大数据的4V11/10/2022大数据的划分11/10/2022大数据技术挑战11/10/2022大数据技术挑战11/10/2022大数据平台技术11/10/2022分布式存储与架构

7、11/10/2022大数据的并行处理11/10/2022大数据并行处理分析11/10/2022大数据可视化分析11/10/2022虚拟化与可视化11/10/2022大数据可视化11/10/2022目 录S大数据技术概论 S云数据库技术S数据挖掘技术S商业智能11/10/2022Google云数据库11/10/2022Google云数据库11/10/2022Google云数据库11/10/2022Google云数据库SGFS架构11/10/2022Google云数据库11/10/2022Google云数据库11/10/2022Google云数据库11/10/2022Google云数据库11/10

8、/2022Google云数据库11/10/2022Google云数据库11/10/2022Google Vs Hadoop11/10/2022SHaddop是什么11/10/2022Hadoop发展编年11/10/202211/10/2022Hadoop子项目11/10/2022Hadoop特性11/10/202211/10/2022Hadoop物理部署11/10/2022Hadoop集群11/10/2022Hadoop用户11/10/2022HDFS11/10/2022HDFS11/10/2022HDFS能做什么S适合S不适合11/10/2022HDFS组件11/10/2022HDFS主要组

9、件功能11/10/2022HDFS架构11/10/2022HDFS文件11/10/2022HDFS NameNode11/10/202211/10/2022HDFS DataNode11/10/2022HDFS可靠性保障11/10/2022HDFS可靠性保障11/10/2022HDFS可靠性保障11/10/2022提升性能的措施11/10/2022HDFS：节点失效是常态11/10/2022DataNode磁盘挂了11/10/2022DataNode机器挂了11/10/2022NameNode挂了11/10/202211/10/2022Client挂了11/10/2022MR+HBase11/

10、10/2022Why MapReduce?11/10/2022大规模数据分析11/10/2022大规模数据处理11/10/2022MR特性11/10/2022M+R11/10/202211/10/2022MR编程11/10/202211/10/202211/10/202211/10/202211/10/2022单一Reduce处理11/10/2022多个Reduce处理11/10/2022MR流程11/10/202211/10/2022目 录S大数据技术概论 S云数据库技术S数据挖掘技术S商业智能11/10/2022数据挖掘技术的由来数据挖掘技术的由来大量信息在给人们带来方便的同时也带来了一大

11、堆问题：第一：是信息过量，难以消化；第二：是信息真假难以辨识；第三：是信息安全难以保证；第四：是信息形式不一致，难以统一处理。网络之后的下一个技术热点网络之后的下一个技术热点 11/10/2022数据挖掘技术的由来数据挖掘技术的由来“要学会抛弃信息”“如何才能不被信息淹没，而是从中及时发现有用的知识、提高信息利用率？”数据开采和知识发现（DMKD）技术应运而生网络之后的下一个技术热点网络之后的下一个技术热点 11/10/2022数据挖掘技术的由来数据挖掘技术的由来随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进

12、行更高层次的分析，以便更好地利用这些数据。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏”的现象。数据爆炸但知识贫乏数据爆炸但知识贫乏11/10/2022数据挖掘技术的由来数据挖掘技术的由来海量数据搜集强大的多处理器计算机数据挖掘算法支持数据挖掘技术的基础支持数据挖掘技术的基础 11/10/2022数据挖掘技术的由来数据挖掘技术的由来从商业数据到商业信息的进化从商业数据到商业信息的进化 进化阶段进化阶段 商业问题商业问题 支持技术支持技术 产品厂家产

13、品厂家 产品特点产品特点 数据搜集数据搜集(60年代年代)“过去五年中我过去五年中我的总收入是多的总收入是多少？少？”计算机计算机,磁带和磁盘磁带和磁盘 IBM,CDC提供历史性的、提供历史性的、静态的数据信息静态的数据信息数据访问数据访问(80年代年代)“在新英格兰的在新英格兰的分部去年三月的分部去年三月的销售额是多少？销售额是多少？”关系数据库关系数据库（RDBMS）,结构化查结构化查询语言询语言（SQL）,ODBC,Oracle,Sybase,Informix,IBM,MicrosoftOracle,Sybase,Informix,IBM,Microsoft在记录级提供历在记录级提供历史

14、性的、动态数史性的、动态数据信息据信息数据仓库；数据仓库；决策支持决策支持(90年代年代)“在新英格兰的在新英格兰的分部去年三月的分部去年三月的销售额是多少？销售额是多少？波士顿据此可得波士顿据此可得出什么结论？出什么结论？”联机分析处理联机分析处理（OLAP）,多维数据多维数据库库,数据仓库数据仓库Pilot,Comshare,Arbor,Cognos,Microstrategy在各种层次上提在各种层次上提供回溯的、动态供回溯的、动态的数据信息的数据信息数据挖掘数据挖掘（正在流行）（正在流行）“下个月波士顿下个月波士顿的销售会怎么样？的销售会怎么样？为什么？为什么？”高级算法高级算法,多处理

15、器计多处理器计算机算机,海量数据库海量数据库Pilot,Lockheed,IBM,SGI,其他初其他初创公司创公司提供预测性的信提供预测性的信息息11/10/2022数据挖掘技术的由来数据挖掘技术的由来数据挖掘逐渐演变的过程数据挖掘逐渐演变的过程 算法学习算法学习 专家系统专家系统 机器学习机器学习 11/10/2022数据挖掘的定义数据挖掘的定义数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。技术上的定义及含义技术上的定义及含义 11/10/2022数据挖掘的定义数据挖掘的

16、定义数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题 技术上的定义及含义技术上的定义及含义 11/10/2022数据挖掘的定义数据挖掘的定义 数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。商业角度的定义商业角度的定义 11/10/2022数据挖掘的定义数据挖掘的定义

17、数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识.数据挖掘所得到的信息应具有先未知,有效和可实用三个特征.数据挖掘与传统分析方法的区别数据挖掘与传统分析方法的区别 11/10/2022数据挖掘的定义数据挖掘的定义数据仓库是为决策支持而不是为事务处理所设计的数据库，它是将不同来源的事务处理数据库中对决策有用的数据提取出来而建立。数据仓库的发展是数据挖掘的动力之一。但数据挖掘既可以在数据仓库中进行，也可以在传统的事务型数据库中进行。数据挖掘和数据仓库数据挖掘和数据仓库 11/10/2022数据挖掘的定义数据挖掘的定义数据挖掘和数

18、据仓库数据挖掘和数据仓库 11/10/2022数据挖掘的定义数据挖掘的定义在线分析处理(OLAP,On-Line analytical processing)是一种增强的查询技术，是决策支持领域的一部分。但又不同于传统的查询技术。传统的查询和报表工具是告诉你数据库中都有什么（what happened），OLAP则更进一步告诉你下一步会怎么样（What next）、和如果我采取这样的措施又会怎么样（What if）。用户首先建立一个假设，然后用OLAP检索数据库来验证这个假设是否正确。数据挖掘和在线分析处理数据挖掘和在线分析处理 11/10/2022数据挖掘的定义数据挖掘的定义 比如，一个分析

19、师想找到什么原因导致了贷款拖欠，他可能先做一个初始的假定，认为低收入的人信用度也低，然后用OLAP来验证他这个假设。如果这个假设没有被证实，他可能去察看那些高负债的账户，如果还不行，他也许要把收入和负债一起考虑，一直进行下去，直到找到他想要的结果或放弃。数据挖掘和在线分析处理数据挖掘和在线分析处理 11/10/2022数据挖掘的定义数据挖掘的定义数据挖掘与OLAP不同的地方是，数据挖掘不是用于验证某个假定的模式（模型）的正确性，而是在数据库中自己寻找模型。他在本质上是一个归纳的过程。数据挖掘和在线分析处理数据挖掘和在线分析处理 比如，一个用数据挖掘工具的分析师想找到引起贷款拖欠的风险因素。数据

20、挖掘工具可能帮他找到高负债和低收入是引起这个问题的因素，甚至还可能发现一些分析师从来没有想过或试过的其他因素，比如年龄。11/10/2022数据挖掘的定义数据挖掘的定义数据挖掘，机器学习和统计分析数据挖掘，机器学习和统计分析 11/10/2022数据挖掘的定义数据挖掘的定义数据挖掘，机器学习和统计分析数据挖掘，机器学习和统计分析 11/10/2022数据挖掘的定义数据挖掘的定义软硬件发展对数据挖掘的影响软硬件发展对数据挖掘的影响 存贮性能的提高存贮性能的提高计算能力的提高计算能力的提高并行处理技术并行处理技术11/10/2022数据挖掘应用数据挖掘应用欺诈侦测欺诈侦测 AT&T 使用根据数据挖

21、掘开发的系统来侦测盗打国际电话的行为。由HNC 公司开发的队LCON 欺诈评估系统用于提示可能存在的盗用信用卡的交易。金融犯罪执法网络Al 系统（FAIS）使用包括数据挖掘在内的几种技术，识别大型现金交易中可能存在的洗钱行为。个人通讯高级安全（Advanced security for Personal communications）欧洲研究组织己经利用无指导聚类侦测移动电话网络中的欺诈。对每个用户，系统储存用户的历史和使用特征文件。在当前使用与用户的历史情况有明显区别时，怀疑为欺诈行为。11/10/2022数据挖掘应用数据挖掘应用卫生保健卫生保健 Merck-Medco Managed ca

22、re,Merck 的一个医药保险和处方电邮订购单位，使用数据挖掘来帮助找出对某种类型的病人减少费用但疗效相同的治疗方法。生物信息或基因数据挖掘则完全属于另外一个领域，在商业上很难讲有多大的价值，但对于人类却受益非浅。例如，基因的组合千变万化，得某种病的人的基因和正常人的基因到底差别多大？能否找出其中不同的地方，进而对其不同之处加以改变，使之成为正常基因,这都需要数据挖掘技术的支持。11/10/2022数据挖掘应用数据挖掘应用商业和金融商业和金融Farmers Group 有限公司如何使用数据挖掘方法得出拥有跑车的人不具有高事故风险的假设。美国银行（Bank of America）使用数据挖掘侦

23、测哪个客户正在使用美国银行的哪种产品，以便他们能够提供正确的产品和服务组合，更好地满足客户的需求。美国西部通信（US West Communications）根据诸如家庭的大小、家庭成员的平均年龄和所在地这些特征，使用数据挖掘和数据仓库来确定客户的倾向和需要。20 世纪Fox公司分析票房收入来确定哪个演员、情节和电影在各市场环境中更容易为观众接受。11/10/2022数据挖掘应用数据挖掘应用科学应用科学应用射线爆是短暂的伽玛射线反射，它来源于我们太阳系之外。有关事件的记录已经超过1000 次。科学界普遍认为存在两种射线爆。Mukherjee 等人使用统计聚类分析法（一种数据挖掘方法）发现了第3

24、 类射线爆。11/10/2022数据挖掘应用数据挖掘应用运动和游戏运动和游戏 大约20个NBA球队使用了IBM公司开发的数据挖掘应用软件Advanced Scout系统来优化他们的战术组合。例如Scout就因为研究了魔术队队员不同的布阵安排，在与迈阿密热队的比赛中找到了获胜的机会。博彩产业将客户赌博方式的历史模型结合起来，确定客户在光顾他们喜欢的赌场时，会花（输）多少钱。11/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习我们用归纳形成基本概念定义。我们看到代表动物、植物、建筑物和诸如此类的概念实例后，我们听到为这些个别实例做

25、的标记，并选择我们认定的定义概念的特性（属性）形成我们自己的分类模型。这以后，我们使用模型帮助我们进一步来区分结构相似的对象。这种类型的学习称为基于归纳的有指导的概念学习，或简称有指导的学习(supervised learning）11/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习ID喉咙痛喉咙痛发烧发烧淋巴肿淋巴肿充血充血头痛头痛诊断诊断1YesYesYesYesYes链球菌感染喉炎链球菌感染喉炎2NoNoNoYesYes敏感症敏感症3YesYesNoYesNo感冒感冒4YesNoYesNoNo链球菌感染喉炎链球菌感染喉炎

26、5NoYesNoYesNo感冒感冒6NoNoNoYesNo敏感症敏感症7NoNoYesNoNo链球菌感染喉炎链球菌感染喉炎8YesNoNoYesYes敏感症敏感症9NoYesNoYesYes感冒感冒10YesYesNoYesYes感冒感冒11/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习11/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习如果病人淋巴肿，诊断为链球菌感染性咽炎。如果病人没有淋巴肿的症状，但发烧，诊断为感冒。如果病人没有淋巴肿，也不发烧，诊断为

27、敏感症。11/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习（1）IF 淋巴肿=Yes THEN 诊断=链球菌感染性咽炎（2)IF淋巴肿=No&发烧=Yes THEN 诊断=感冒（3）IF 淋巴肿=No&发烧=No THEN 诊断=敏感症产生式规则产生式规则11/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习未知分类的数据实例未知分类的数据实例ID喉咙痛喉咙痛发烧发烧淋巴肿淋巴肿充血充血头痛头痛诊断诊断11NoNoYesYesYes?(链球菌感染喉炎链球菌感染

28、喉炎)12YesYesNoNoYes?(感冒感冒)13NoNoNoNoYes?(敏感症敏感症)11/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习准确度在检验集中符合产生式规则条件的实例正确显示规则所指定结果的比率。覆盖率在检验集中显示规则所指定结果的实例符合产生式规则条件的比率。产生式规则应用效果的评价指标产生式规则应用效果的评价指标11/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习分类学习是有指导的。因变量是分类的。重点在于建立模型，将新的实例指派给一组

29、定义明确的类中的一个。有指导学习的类型有指导学习的类型11/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习分类任务的例子确定用于区分患过心脏病的人和从未患过心脏病的人的特征。开发一个“成功”人士的特征文件。确定一次信用卡购物是否为盗用。将一次购车贷款申请归类为具备良好的或者不良的信用风险。开发一个特征文件来区别女性与男性中风患者。有指导学习的类型有指导学习的类型11/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习估计估计与分类模型相似，估计模型的目的在于确定一

30、个未知与分类模型相似，估计模型的目的在于确定一个未知输出属性的值。然而，不同于分类模型的是，对一个估计问输出属性的值。然而，不同于分类模型的是，对一个估计问题，其输出属性值（一个或多个）是数值的而不是分类的。题，其输出属性值（一个或多个）是数值的而不是分类的。有指导学习的类型有指导学习的类型11/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习估计任务的例子估计暴风雨到达某个给定地点所需要的分钟数。估计拥有一辆跑车的人的收入。估计信用卡已被盗的可能性。估计伽马射线爆的长度。有指导学习的类型有指导学习的类型11/10/2022数据

31、挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习预测与分类模型和估计模型不同，预测模型的目的在于确定未来的输出结果而不是当前的行为。预测模型的输出属性（一个或多个）可以是分类的或数值型的。有指导学习的类型有指导学习的类型11/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习预测任务的例子预测2002 年全美橄榄球联盟（NFL）赛季中跑卫的触地总得分。确定一个信用卡客户是否可使用其信用卡账单提供的优惠。预测下周道琼斯工业指数的收盘价格。预测在未来的3个月内，哪些电话用户最有可能改变他

32、们的供应商。有指导学习的类型有指导学习的类型11/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习AcmeAcme信用卡公司信用卡促销数据库信用卡公司信用卡促销数据库收入范围收入范围杂志促销杂志促销手表促销手表促销寿险促销寿险促销信用卡保险信用卡保险性别性别年龄年龄40-50,000YesNoNoNoMale4530-40,000YesYesYesNoFemale4040-50,000NoNoNoNoMale4230-40,000YesYesYesYesMale4350-60,000YesNoYesNoFemale3820-30

33、,000NoNoNoNoFemale5530-40,000YesNoYesYesMale3520-30,000NoYesNoNoMale2730-40,000YesNoNoNoMale4330-40,000YesYesYesNoFemale4140-50,000NoYesYesNoFemale4320-30,000NoYesYesNoMale2950-60,000YesYesYesNoFemale3940-50,000NoYesNoNoMale5520-30,000NoNoYesYesFemale1911/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技

34、术有指导的学习有指导的学习假设假设Acme Acme 信用卡公司己经批准了一个与上表所列的以前的信用卡公司己经批准了一个与上表所列的以前的促销相似的新的寿险促销活动。这个促销材料将作为信用促销相似的新的寿险促销活动。这个促销材料将作为信用卡账单的一部分发送给非零余额的所有信用卡持有者。我卡账单的一部分发送给非零余额的所有信用卡持有者。我们将使用数据挖掘来帮助我们把账单发送到选定的一组客们将使用数据挖掘来帮助我们把账单发送到选定的一组客户手中，他们当前没有信用卡余额，但有可能利用促销机户手中，他们当前没有信用卡余额，但有可能利用促销机会。会。我们的问题要求有指导数据挖掘使用寿险促销作为输出属我们

35、的问题要求有指导数据挖掘使用寿险促销作为输出属性。我们的目的是开发一个可能利用寿险促销的客户的特性。我们的目的是开发一个可能利用寿险促销的客户的特征文件，该寿险促销是通过该客户下一次信用卡结算表来征文件，该寿险促销是通过该客户下一次信用卡结算表来宣传的。宣传的。11/10/2022数据挖掘的基本技术数据挖掘的基本技术有指导的数据挖掘技术有指导的数据挖掘技术有指导的学习有指导的学习IF IF 性别性别=Female&19=Age=43=Female&19=Age5&交易方式=OnlineTHEN Cluster=3准确度0.82覆盖率0.65 11/10/2022数据挖掘的基本技术数据挖掘的基本

36、技术关联规则挖掘技术关联规则挖掘技术 关联规则关联规则（association ruleassociation rule）挖掘技术用于发现）挖掘技术用于发现数据库中属性之间的有趣联系。和传统的产生式规则不同，数据库中属性之间的有趣联系。和传统的产生式规则不同，关联规则可以有一个或多个输出属性。同时，一个规则的关联规则可以有一个或多个输出属性。同时，一个规则的输出属性可以是另一规则的输入属性。输出属性可以是另一规则的输入属性。关联规则分析有时也叫购物篮分析，是因为它可以找关联规则分析有时也叫购物篮分析，是因为它可以找寻出潜在的令人感兴趣的所有的产品组合。由此，有限数寻出潜在的令人感兴趣的所有的产

37、品组合。由此，有限数目的属性可能生成上百条关联规则。目的属性可能生成上百条关联规则。11/10/2022数据挖掘的基本技术数据挖掘的基本技术关联规则挖掘技术关联规则挖掘技术通过通过aprioriapriori关联规则挖掘算法，从关联规则挖掘算法，从AcmeAcme公司公司信用卡促销数据库可以得到以下关联规则：信用卡促销数据库可以得到以下关联规则：IF IF 性别性别=Female&=Female&年龄年龄=over40&=over40&信用卡保险信用卡保险=No=NoTHEN THEN 寿险促销寿险促销=Yes=YesIF IF 性别性别=Male&=Male&年龄年龄=over40&=ove

38、r40&信用卡保险信用卡保险=No=No THENTHEN 寿险促销寿险促销=No=NoIF IF 性别性别=Female&Age=over40=Female&Age=over40THEN THEN 信用卡保险信用卡保险=No&=No&寿险促销寿险促销=Yes=Yes 11/10/2022数据挖掘的基本算法数据挖掘的基本算法其它数据挖掘算法其它数据挖掘算法 K-平均值算法（一种无指导聚类算法）平均值算法（一种无指导聚类算法）遗传算法（可用于有指导学习的算法）遗传算法（可用于有指导学习的算法）神经网络算法（可用于有指导学习的算法）神经网络算法（可用于有指导学习的算法）11/10/2022目 录S

39、大数据技术概论 S云数据库技术S数据挖掘技术S商业智能11/10/2022BI理解数据商务智能是通过对来自不同的数据源进行统一处理及管理，通过灵活的展现方法来帮助企业进行决策支持。数据信息知识决策获取管理使用11/10/2022BI概念S商业智能（商业智能（Business Intelligence，简称，简称BI）的概念最早是）的概念最早是Gartner Group于于1996年提出来的。当时将商业智能定义为一类由数据仓库年提出来的。当时将商业智能定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部

40、分组成的、以帮助企业决策为目的技术及其应用。部分组成的、以帮助企业决策为目的技术及其应用。S目前，商业智能通常被理解为将企业中现有的数据转化为知识，帮助企目前，商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。业做出明智的业务经营决策的工具。S从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。和数据挖掘等技术的综合运用。11/10/2022S商业智能是一种商业智能是一种解决方案解决方案，关键是从许多来自不同的企业，关键是从许多来自不同的企业运作系统的数据中，提

41、取出有用的数据，进行清理以保证运作系统的数据中，提取出有用的数据，进行清理以保证数据的正确性，然后经过抽取（数据的正确性，然后经过抽取（Extraction）、转换）、转换（Transformation）和装载（）和装载（Load），即），即ETL过程，合过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、挖掘工具、OLAP工具等对其进行分析和处理（这时信息工具等对其进行分析和处理（这时信息变为辅助决策的知识），最后将知识呈现给管

42、理者，为管变为辅助决策的知识），最后将知识呈现给管理者，为管理者的决策过程提供支持。理者的决策过程提供支持。11/10/2022外外 部部 数数 据据 库库MSSQLORACAL外部外部文件文件ETL工具工具大数据大数据平台，平台，数据数据仓库仓库元数据元数据数据挖掘数据挖掘OLAP分析分析信息表现信息表现查询报表查询报表数据仓库数据模型数据仓库数据模型BI系统用户系统用户元数据库元数据库元数据元数据数据数据描述描述用用法法结构结构安全安全设置设置数据数据数据数据数据数据查询查询请求请求 商业智能基本过程图商业智能基本过程图 11/10/2022信息孤岛各自为政，互相独立财务分析运营分析客户分

43、析财务系统营销系统服务系统11/10/2022帮助企业提高战略决策建立业务单一视图、消除信息孤岛、多角度审视业务数据提高服务水平和客户满意度敏锐洞悉市场机会加强企业监管、防范欺诈内部效益考核优化资源科学决策数据仓库11/10/2022商务智能对企业的作用和价值理解业务：网络资源分析产品结构及组合分析服务质量分析业务发展分析理解客户：客户贡献度分析客户群体划分客户行为分析制订市场营销策略风险分析：客户流失的测算信用分析欺诈分析内部绩效考核：产品、部门利润分析资源分配资源成本分析谁是最好的客户?如何扩大利润?如何避免风险?收入/成本如何分配?大数据平台、数据仓库11/10/2022数据质量控制数据

44、重新组织EII解决方案数据展现数据管理数据获取数据迁移作业分配数据清洗数据仓库元数据管理数据集市管理安全性、分析管理企业商务智能体系架构规划最终用户数据质量控制数据重新组织ETL/DQ解决方案数据抽取、迁移、加载周数据加载日常数据增加日周期数据源ETL/EII数据存储管理业务模型数据展现利润成本分析资产分析营销分析投资组合分析平衡计分卡/KPI解决的业务问题数据分析采购系统生产系统销售系统财务系统即席查询Intranet/Internet产品报告数据挖掘例外分析随即查询报表例外分析数据挖掘决策人员管理人员分析人员业务人员实时增量虚拟数据仓库元数据管理（运营元数据、技术元数据、分析元数据）数据仓

45、库企业数据模型MDMBW11/10/2022决策支持系统解决五个层次的问题以前发生了什么为什么发生了现在发生了什么将来会发生什么业务活动管理11/10/2022商务智能5类前端展现的工具固定报表KPI指标即席查询例外分析数据挖掘11/10/2022Copyright 2005 Business Objects Greater China.All rights reserved.商业智能应用的三个阶段 阶段一:报表 固定报表 灵活报表 复杂报表 报表共享 报表分发 阶段二:查询分析 交互查询 切片钻取旋转 OLAP 阶段三:高层次分析 AA/DM DSS11/10/2022商务智能的5个后台数据

46、处理工具ETL工具 实时数据抽取 数据质量防火墙 元数据管理主数据管理11/10/2022经营分析的关键主题经营操作分析决策业务发展的趋势客户行为分析风险分析竞争优势分析客户服务分析营业收入分析绩效考核管理入库率分析产品组合分析异常预警分析11/10/2022分析型客户关系管理q收入分析市场细分客户类型地区年度业务部门q争取客户能力分析市场细分客户类型地区年份q客户成本分析市场细分客户类型地区年度业务部门q客户活动周期分析q保留客户能力分析市场细分客户类型地区年份q客户忠诚度分析市场细分客户类型地区年份业务部门q客户产品毛利分析市场细分客户类型地区年度业务部门q市场细分表现分析市场活动营销媒体

47、销售渠道时段q目标市场表现分析市场活动营销媒体销售渠道时段q客户满意度分析市场细分客户类型地区年份业务部门活动q最佳/最差客户分析历史收入预测收入平均定单销售额重复购买率加权评分q潜在流失客户分析历史收入预测收入客户满意度服务请求加权评分等等11/10/2022客户分析的关键主题经营操作分析决策客户获取能力客户保留能力风险分析交叉销售能力向上销售能力客户管理能力客户轮廓分析客户行为分析产品组合分析客户细分分析11/10/2022数据仓库建设应以应用主题驱动主题客户关系管理问题客户流失分析-客户消费行为统计-客户群体的细分-存运票价的确定和客户的趋势分析-客户的满意程度-客户流失分析-获取新的客户-获利能力和在目标市场上所占的份额模型f(要素1,要素2要素n)要素1要素2要素n.业务系统网上信息市场数据问题客户满意度分析模型f(要素1,要素2要素n)要素1要素2要素n.业务系统网上信息市场数据11/10/2022 完整的、统一的数据模型 所有数据存储在单一数据库中 提供单一的“实事”数据 统一数据模型是基础统一数据模型客户服务财务人力资源合作伙伴市场营销销售产品管理定单管理