大数据概述PPT课件(PPT38页).ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《大数据概述PPT课件(PPT38页).ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 概述 PPT 课件 PPT38
- 资源描述:
-
1、提纲1.1 大数据时代大数据时代1.2 大数据概念大数据概念1.3 大数据的影响大数据的影响1.4 大数据的应用大数据的应用1.5 大数据关键技术大数据关键技术1.6 大数据计算模式大数据计算模式1.7 大数据产业大数据产业1.8 大数据与云计算、物联网的关系大数据与云计算、物联网的关系1.1大数据时代1.1.1第三次信息化浪潮根据IBM前首席执行官郭士纳的观点,IT领域每隔十五年就会迎来一次重大变革信息化浪潮信息化浪潮发生时间发生时间标志标志解决问题解决问题代表企业代表企业第一次浪潮1980年前后个人计算机信息处理Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等第二次浪潮1995年
2、前后互联网信息传输雅虎、谷歌、阿里巴巴、百度、腾讯等第三次浪潮2010年前后物联网、云计算和大数据信息爆炸将涌现出一批新的市场标杆企业表表1-1 三次信息化浪潮三次信息化浪潮1.1.2信息科技为大数据时代提供技术支撑图1-1 存储价格随时间变化情况1. 存储设备容量不断增加存储设备容量不断增加1.2信息科技为大数据时代提供技术支撑来自斯威本科技大学(Swinburne University of Technology)的研究团队,在2013年6月29日刊出的自然通讯(Nature Communications)杂志的文章中,描述了一种全新的数据存储方式,可将1PB(1024TB)的数据存储到一
3、张仅DVD大小的聚合物碟片上。1.1.2信息科技为大数据时代提供技术支撑图1-3 CPU晶体管数目随时间变化情况2. CPU处理能力大幅提升处理能力大幅提升 1.1.2信息科技为大数据时代提供技术支撑图1-4 网络带宽随时间变化情况3. 网络带宽不断增加网络带宽不断增加1.1.3数据产生方式的变革促成大数据时代的来临图1-5 数据产生方式的变革1.1.4 大数据的发展历程阶段阶段时间时间内容内容第一阶段:萌芽期上世纪90年代至本世纪初随着数据挖掘理论和数据库技术的逐步成熟,一批商业智能工具和知识管理技术开始被应用,如数据仓库、专家系统、知识管理系统等。第二阶段:成熟期本世纪前十年Web2.0应
4、用迅猛发展,非结构化数据大量产生,传统处理方法难以应对,带动了大数据技术的快速突破,大数据解决方案逐渐走向成熟,形成了并行计算与分布式系统两大核心技术,谷歌的GFS和MapReduce等大数据技术受到追捧,Hadoop平台开始大行其道第三阶段:大规模应用期2010年以后大数据应用渗透各行各业,数据驱动决策,信息社会智能化程度大幅提高表1-2 大数据发展的三个阶段1.2大数据概念1.2.1数据量大n根据IDC作出的估测,数据一直都在以每年50%的速度增长,也就是说每两年就增长一倍(大数据摩尔定律)n人类在最近两年产生的数据量相当于之前产生的全部数据量n预计到2020年,全球将总共拥有35ZB的数
5、据量,相较于2010年,数据量将增长近30倍1.2.2 数据类型繁多n大数据是由结构化和非结构化数据组成的 10%的结构化数据,存储在数据库中 90%的非结构化数据,它们与人类信息密切相关p科学研究基因组LHC 加速器地球与空间探测p企业应用Email、文档、文件应用日志交易记录pWeb 1.0数据文本图像视频pWeb 2.0数据查询日志/点击流Twitter/ Blog / SNSWiki1.2.3处理速度快p从数据的生成到消耗,时间窗口非常小,可用于生成决策的时间非常少p1秒定律:这一点也是和传统的数据挖掘技术有着本质的不同1.2.4价值密度低价值密度低,商业价值高价值密度低,商业价值高以
6、视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒,但是具有很高的商业价值继续装ing1.3大数据的影响图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自古以来,在科学研究上,先后历经了实验、理论、计算和数据四种范式实验理论计算数据1.3大数据的影响在思维方式方面,大数据完全颠覆了传统的思维方式: 全样而非抽样 效率而非精确 相关而非因果1.3大数据的影响在社会发展方面,大数据决策逐渐成为一种新的决策方式,大数据应用有力促进了信息技术与各行业的深度融合,大数据开发大大推动了新技术和新应用的不断涌现在就业市场方面,大数据的兴起使得数据科学家成为热门职业在人才培养方面,大数
7、据的兴起,将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制1.4大数据的应用大数据无处不在,包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹典型的大数据应用实例Kevin SpaceyDavid Fincher 英国同名小说纸牌屋风靡全球的美剧纸牌屋大数据分析典型的大数据应用实例从谷歌流感趋势看大数据的应用价值 “谷歌流感趋势”,通过跟踪搜索词相关数据来判断全美地区的流感情况1.5大数据关键技术表1-5 大数据技术的不同层面及其功能技术层面技术层面功能功能数据采集利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数
8、据文件等,抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础;或者也可以把实时采集的数据作为流计算系统的输入,进行实时处理分析数据存储和管理利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等,实现对结构化、半结构化和非结构化海量数据的存储和管理数据处理与分析利用分布式并行编程模型和计算框架,结合机器学习和数据挖掘算法,实现对海量数据的处理和分析;对分析结果进行可视化呈现,帮助人们更好地理解数据、分析数据数据隐私和安全在从大数据中挖掘潜在的巨大商业价值和学术价值的同时,构建隐私数据保护体系和数据安全体系,有效保护个人隐私和
9、数据安全1.5大数据关键技术分布式存储分布式处理GFSHDFSBigTableHBaseNoSQL(键值、列族、图形、文档数据库)NewSQL(如:SQL Azure)MapReduce大数据两大核心技术1.6大数据计算模式大数据计算模式大数据计算模式解决问题解决问题代表产品代表产品批处理计算针对大规模数据的批量处理MapReduce、Spark等流计算针对流数据的实时计算Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等图计算针对大规模图结构数据的处理Pregel、GraphX、Giraph、PowerGraph、Hama、G
10、oldenOrb等查询分析计算大规模数据的存储管理和查询分析Dremel、Hive、Cassandra、Impala等表1-3 大数据计算模式及其代表产品1.7大数据产业大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合产业链环节产业链环节包含内容包含内容IT基础设施层包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业,比如,提供数据中心解决方案的IBM、惠普和戴尔等,提供存储解决方案的EMC,提供虚拟化管理软件的微软、思杰、SUN、Redhat等数据源层大数据生态圈里的数据提供者,是生物大数据(生物信息学领域的各类研究机构)、交通大数据(交通主管部
展开阅读全文