大数据时代下的商业智能-zhengli课件.ppt

1、大数据时代下的商业智能大数据时代下的商业智能大数据时代下的商业智能目 录BI行业的发展前景BI的历史、现在和未来主要BI厂商传统商业智能和未来商业智能的区别大数据与商业智能的结合大数据时代下的商业智能从全球范围来看，商业智能(BI)已经成为最具有前景的IT领域。2010年中国大陆地区的BI市场份额约为46亿元人民币，同比2009年增长27%BI的人才目前在IT行业并不是很多,BI人员发展的机遇很大。BI行业的发展前景行业的发展前景大数据时代下的商业智能BI从业人员的关注点从业人员的关注点设计、开发设计、开发架构、咨询架构、咨询数据仓库模型设计ETL设计、开发报表设计和开发对业务的理解数据架构的

2、思想案例关注点关注点关注点关注点数据仓库模型设计ETL设计、开发对业务的理解数据仓库的环境难点难点难点难点大数据时代下的商业智能 商业智能是从许多来自不同系统的数据中提取出有用的数据,并进行清理，以保证数据的正确性，然后经过抽取、转换和装载的过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图。在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理，最后将知识呈现给管理者，为管理者的决策过程提供支持。商业智能的概念大数据时代下的商业智能 追本溯源，学界已公认，赫伯特西蒙对决策支持系统的研究，是现代商业智能概念最早的源头和起点。1970年，IBM的研究员

3、埃德加科德(Edgar Codd)发明了关系型数据库。1979年，一家以决策支持系统为已任，致力于构建单独的数据存储结构的公司Teradata诞生。1983年，该公司利用并行处理技术为美国富国银行建立了第一个决策支持系统。1988年，为解决企业集成问题，IBM公司的研究员Barry Devlin和Paul Murphy创造性地提出一个新的术语：数据仓库(Data Warehouse)1992年，比尔.恩门（Bill Inmon)出版了如何构建数据仓库一书，他主张由顶至底的构建方法，强调数据的一致性，拉开了数据仓库真正得以大规模应用的序幕。1993年，拉尔夫.金博尔出版了数据仓库的工具一书，他主

4、张务实的数据仓库应该由下往上，从部门到企业，并把部门的数据仓库叫做“数据集市”。BI的历史大数据时代下的商业智能经历一轮并购潮之后，BI厂商分为两类，一类是综合性BI提供商。例如IBM、Oracle、SAP和Microsoft等。另一类是专业化BI提供商，例如Teradata和SAS。IBM在BI领域有许多发展，先后并购了Datastage,Cognos和SPSS，最近又提出了业务分析（BA)。Oracle收购海波龙(Hyperion)之后，Oracle的BI排名大大提升，而BEA的中间件更是加强了Oracle的BI战略。SAP收购Business Objects之后，在BI产品的易用性上下足

5、功夫。Teradata精于数据仓库技术，而SAS在数据挖掘分析方面见长。BI的现在大数据时代下的商业智能IBM-DB2、DataStage、Cognos、SPSS，覆盖BI全部领域 Oracle-Oracle、BIEE/Hyperion，覆盖BI全部领域，数据挖掘有待加强 Microsoft-SQL Server，覆盖BI全部领域，适合中小型企业，性价比高 SAP-Business Objects、Crystal Reports，主要是OLAP和报表领域 Informatica-Informatica，主要是数据集成领域 Teradata-Teradata，主要是数据仓库领域 Sybase-S

6、ybase IQ，主要是数据仓库领域 SAS-SAS，数据挖掘领域领先主要BI厂商大数据时代下的商业智能BI工具在中国遇到的挑战报表格式复杂 中国是世界上报表最复杂的国家。中国的报表设计思想与西方不同，西方报表倾向于仅用一张报表说明一个问题，而中国的报表倾向于将尽可能多的问题集中在一张报表中，这种思路直接导致了中国报表的复杂格式 数据量大 中国是世界上人口最多的国家。以中国移动公司为例，仅我国一个省的用户数量，就相当于欧洲一个中等国家的人口，是真正的海量数据！我国很多BI系统的架构和设计也不如外国，所以在性能上存在较大的差距。在外国，可能一个客户分析应用一两分钟就能出结果，但是在中国，可能就是

7、要一两个小时了。数据回写 中国是世界上对 BI 系统要求最奇特的国家。本来 BI 系统是以真实再现源数据为原则，但这个原则在中国遇到了难题，许多领导都提出了数据修改的需求，“报表里数字不好看，就要能改啊，这样上级领导看着就好嘛！”目前Microsoft,Oracle BIEE就是能满足这样要求的 BI 产品大数据时代下的商业智能传统商业智能和未来商业智能的区别有一种观点：预测未来分析历史未来商业智能传统商业智能大数据时代下的商业智能传统商业智能的使用情况固定报表：目前中国市场上的商业智能应用停留在这个层面，主要过程是通过ETL工具，将业务系统源数据抽取到数据仓库中，在装载到数据集市，建立模型，

8、利用前端工具将数据展现出来。OLAP分析：生成OLAP多维模型，实现多指标分析。数据挖掘：通过分析具体数据，发现潜在的、有价值的信息，例如啤酒和尿布。分析应用：与业务信息系统相结合。例如企业绩效管理。大数据时代下的商业智能第一阶段：查询。第二阶段：报表。第三阶段：多维分析和统计分析。第四个阶段：数据挖掘。传统商业智能的几个阶段：未来商业智能的方向：(1)建立实时动态数据仓库。传统数据仓库是基于历史数据分析，动态数据仓库支持前端应用，利用分析结果发起业务流程。(2)增加对非结构化数据的处理。(3)缩短响应时间。大数据时代下的商业智能传统商业智能和未来商业智能的区别BI传统的过滤、上钻、下钻、比较

9、等功能也难于满足一些特殊企业用户的分析要求。如何来保证外部数据的准确性、实时性和有效性是个重大问题。.在多媒体、智能手机和社交网站获取的信息，我们正面临着比以往任何时候都更多的数据，传统数据仓库的性能已无法应付庞大的信息，只有通过大数据（Big Data）技术使我们能够访问和使用这些宝贵的、大规模数据集，以应对越来越复杂的数据分析和更好的商业决策制定。大数据时代下的商业智能1.操作型商业智能。BI用户群也会相应地从现在的后台管理决策层向前端业务操作型用户延伸。2.交互式商业智能。预测、分摊、假设模拟、数据挖掘等技术应用将会越来越普遍。3.可视化商业智能。越来越多的用户不再满足于传统的图像展现，

10、而要求数据的进一步可视化。4.实时商业智能。由于BI应用将向操作型发展的特点，也导致了用户对BI应用的实时性需求。5.移动商业智能。将原来人们依赖于电脑的商业智能搬到了手机或者黑莓上。6.SaaS商业智能。商业智能作为云计算，作为服务来使用。未来商业智能的发展大数据时代下的商业智能为了满足未来商业智能的发展，应该将大数据技术和商业智能技术结合起来大数据(Big Data)是对你在数据仓库技术中现有投资的补充主要的商业智能（BI）供应商都宣布对大数据技术的支持，或在解决方案中使用大数据技术数据海洋中的大数据要做的事不仅要对大规模的信息运行分析而且也成为数据仓库的一种来源大数据有益于大型分析以及长

11、期的战略方向大数据是传统数据库、数据仓库、BI概念外延的扩展，手段的扩充，不存在取代的关系，也并不是互斥的关系大数据时代下的商业智能大数据与商业智能的结合例如，某位信用卡用户月均刷卡10次，月均刷卡300元，每年平均打5次客服电话，但是从未投诉。那么按照这些信息，该客户是一命满意度较高，流失率很低的客户。利用商业智能得出的结论真实情况该客户多次打客服电话都没有接通，客户多次在微博和博客上进行抱怨还款不方便，客户服务不好，所以该客户的流失风险很高。大数据时代下的商业智能大数据概念的提出最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。2011年，麦肯锡出版了研究报告大数据：创新、竞争

12、和生产力的下一个新领域，产学研界对“大数据”的关注达到历史性新高度。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。互联网、移动互联网、物联网、云计算的快速兴起以及移动智能终端的快速普及，正使得当前人类社会的数据增长比以往任何一个时期都要快。越来越大、越来越快、越来越复杂，数据特性的演变和发展，催生了一个全新的概念大数据。大数据时代下的商业智能结构化数据：存在于关系数据库中，多年来一直主导着IT应用；半结构化数据：包括电子邮件、文字处理文件以及大量发布在网络上的新闻等，以内容为基础，

13、这也是谷歌和百度存在的理由；非结构化数据：广泛存在于社交网络、物联网、电子商务之中。伴随着社交网络、移动计算和传感器等新技术不断产生，有报告称，超过80%的数据属于非结构化数据。更广的信息范围新的数据与分析类型实时信息来自新技术的数据非传统形式的媒体大数据量社交媒体数据最新流行词定义大数据*2012年IBM对95个国家中26个行业的1144名专业人员调查结果大数据 是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。IBM将“大数据”理念定义为4个V，即数量（Volume）、多样性（Variety）、速度（Velocity）及数据的准确

14、性（Veracity）。大数据时代下的商业智能数据规模TB 至PB 级数据数据的多种形式结构化、非结构化、文本、多媒体数据的运动分析流数据，在不到一秒内做出决策数据的不确定性管理数据的可靠性和可预测性，尽管原生数据内生性的不精确多样性（Variety）精确性（Veracity）速度（Velocity）数量（Volume）大数据时代下的商业智能大数据和商业智能结合已应用于各行各业能源与公用事业 智能电表分析 资产管理零售 全渠道营销 实时促销司法执法 多点监测 网络安全检测交通运输 物流优化 缓解交通拥堵金融服务业 欺诈检测 360客户视图数字媒体 实时广告定位 属性分析健康与生命科学 病历分析

15、 疾病监测通讯 客户资料货币化 网络分析&优化大数据时代下的商业智能美国医疗保健制造业全球个人定位数据欧洲公共管理部门美国零售产值每年增长3000亿美元开发成本、装配成本降低%50服务提供商收入增加1000亿美元产值每年增长2500亿欧元净利润增长%60在大数据领域，不能充分形成大数据使用能力的竞争者将被淘汰大数据时代下的商业智能大数据的使用情况大数据时代下的商业智能4、大数据的应用不仅仅是精准营销通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象大数据时代下的商业智能大数据涉及的关键

16、技术需求大数据涉及的关键技术描述技术海量数据存储技术分布式文件系统实时数据处理技术Streaming Data流计算引擎数据分析技术Text Analytics EngineVisual Data Modeling自然语言处理、文本情感分析、机器学习、聚类关联、数据模型数据高速传输技术服务器/存储间高速通信Infini BandHadoop，x86/MPPMap Reduce搜索技术文本检索、智能搜索、实时搜索Enterprise Search大数据时代下的商业智能c.建立对非结构化数据进行SQL语法查询的支持，实现与结构化数据的集成关联（key）非结构化数据数据获取结构化数据分析应用数据集市

17、数据集市EDW结构化元数据Hadoopa.建立非结构化信息的标签、摘要、索引、日志、内容等b.提取结构化的元数据信息，如类别、标引、摘要等；实现与结构化数据的整合ODSSQL大数据下的商业智能架构大数据时代下的商业智能大数据BI系统的底层技术体系分布式计算内存计算 实质上就是CPU直接从内存而非硬盘上读取数据，并对数据进行计算、分析。此项技术是对传统数据处理方式的一种加速，是实现商务智能中海量数据分析和实施数据分析的关键应用技术列存储大数据时代下的商业智能大数据BI系统的演变过程第一阶段第一阶段OLTP&OLAP第二阶段第二阶段Materialized View（物化视图）（物化视图）,Sta

18、ge、ODS、DWD（细节数据层）、（细节数据层）、DWA（衍生汇总层）（衍生汇总层）第三阶段第三阶段一体机，一体机，MPP(大规模并行处理大规模并行处理)DW，MPP(大规模并行处理大规模并行处理)DM大数据时代下的商业智能大数据下的BI系统不仅仅是数据展现1 能够掌握情况，分析问题，找到答案。2 前端系统的交互和分析能力要强大。3 数据挖掘、预测变成重要的需求。大数据时代下的商业智能建设大数据BI系统大数据时代下的商业智能小张，作为某银行的老客户，申请一张信用卡在数据仓库系统中进行OLTP操作银行员工通过CRM系统查询小张借记卡和信用卡历史交易信息，分析过去的消费能力和还款能力大数据社交信息进一步分析消费潜力、还款能力、消费习惯大数据时代下的商业智能大数据时代下的商业智能大数据和传统BI的结合大数据时代下的商业智能大数据时代下的商业智能谢 谢