大数据的关键技术和应用分享课件.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《大数据的关键技术和应用分享课件.pptx》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 关键技术 应用 分享 课件
- 资源描述:
-
1、BIG DATA网络系统设计原则,结合XXX省级应急平台建设工程的实际应用和发展要求,在进行网络系统设计时,以需求为导向、以应用促发展。网络系统的建设应遵循以下原则:中国网民数量:7.51亿半年增长率:2.7%中国注册网站数量:344.3万个手机网民:7.236亿 占网民总数:96.3%月均网络交易:16亿笔 每日新发微博数量:1亿+条 注册微博用户数:2.9071亿 发布的网页数量:866亿页年增速:40%网络直播用户:3.43亿 占网民总数:47.1%刊物报表指与值班业务事务有关的定期与不定期刊物和一定格式的报文,如通讯、摘报、简报、通告、政府公文、报批单等,它们主要为与省政府值班室业务关
2、联的网络内部通讯服务,也可以向外部提供数据和信息发布。刊物报表包括电子文档和印刷品两种形式,它们都具有文字和图片传真的数据传输、储存与编辑功能,无论服务于传统印刷还是网站方式,数据都要求有多种格式显示。很多人还没搞清楚什么是PC互联网,移动互联来了;我们还没搞清楚移动互联的时候,大数据时代又来了!马云Contents13我们可以做些什么我们可以做些什么2实操分享实操分享4大数据,你从大数据,你从哪来哪来你是谁你是谁网络设备厂商通常采用2 种方式增强设备的可扩展性:将同类设备堆叠、互联,使多个单体作为一台设备工作;设备提供基本的、有多个插槽的机箱,从而可根据客户的实际需求确定要提供多少处理能力,
3、以及物理接口类型。除单个设备本身的扩展能力之外,在网络系统的设计过程中,还需要考虑整个网络系统在未来几年的扩容能力和扩容办法。这样才能既照顾到目前的应用需求,又能满足今后整个计算机系统的发展需要。数据爆炸式的增长数据资产管理的挑战需要更高性价比的数据计算与储存方式需要不同的数据管理策略你从哪里来?你从哪里来?网络建设现状,XXX省级应急平台的网络建设主要依托XXX省电子政务外网。省电子政务网络外网:是电子政务网络对外的窗口,与互联网通过网络安全系统逻辑相连,对外提供一些网上服务,如受理申请、审批等;同时也是办公人员与外面进行信息交流的通道。连接范围为省、市、县(区)级政府及相关职能部门,以及因
4、需要接入的企事业单位。Twitter上发布98000+新微博13000+个iPhone应用下载Skype上37万+分钟的语音通话上传6600张新照片到flickr发出1.68亿+条EmailYouTube上上传600+新视频淘宝光棍节10680+个新订单Facebook上更新69.5万+条新状态12306出票1840+张数据爆炸式的增长数据爆炸式的增长系统自动将按模版生成固定的CEB版式文件。在版式文件上盖突发事件报送章,确保信息的准确性。上报突发事件信息。(上报单位已经根据预案自动设置)。3)接收数据资产管理的挑战数据资产管理的挑战数据资产数据资产B数据资产管理数据资产管理传统数据管理方式面
5、临传统数据管理方式面临挑战挑战AC风险隐患监测预警接入系统,目标,对重大危险源、关键基础设施和重要防护目标等运行情况进行动态监测分析,预防潜在危害和突发破坏等,同时汇总分析国土资源、水利、卫生、环保、林业、地震、气象等有关部门的预测研判结果,了解事件影响范围、影响方式、持续时间和危害程度等情况,并根据预案规定进行预警分级,供领导同志指挥决策时参考。需要更高性价比的数据计算与储存方式需要更高性价比的数据计算与储存方式计算更快 存储更省10万 GB10万 TB1Byte=8 Bit1KB =1,024 Bytes1MB =1,024 KB=1,048,576 Bytes1GB =1,024 MB=
6、1,048,576 KB=1,073,741,824 Bytes1TB =1,024 GB=1,048,576 MB=1,099,511,627,776 Bytes1PB =1,024 TB=1,048,576 GB=1,125,899,906,842,624 Bytes1EB =1,024 PB=1,048,576 TB=1,152,921,504,606,846,976 Bytes1ZB =1,024 EB=1,180,591,620,717,411,303,424 Bytes1YB =1,024 ZB=1,208,925,819,614,629,174,706,176 Bytes1Bit
7、y1KB1MB1GB1TB1PB1EB1ZB1YB网络系统应提供足够的带宽,丰富的接口形式,满足用户对应用和带宽的基本需要,并保留一定的余量供扩展使用,最大可能地降低网络传输的延迟,网络系统应具有良好的可扩充性,对未来的应用和技术有一定的前瞻性,随着网络的规模及其运行的应用在不断发展,现有系统应提供足够的扩充能力,适应发展的需要,网络系统应易于安装、操作和维护,能对网络设备进行必要的必不可少的配置,并能够以直观、灵活的方式展现出来,提供完整的网络拓扑图,可以根据网络的流量情况作出分析和建议。85%半/非结构化的Log/Web page/Email/PDF/Image/Full-text/MS-
8、Office file 需要需要不同的数据管理策略不同的数据管理策略15%结构化的 DB/DW残缺当我们想要扩充时,才发觉:架构只能 scale-up,scale-out 不易 处理时间过长,time-to-value 受限 成本过高,cost-efficiency 受限数据接入,接入的数据主要包括水利、卫生、环保、气象、地震等部门的预测和研判结果,省应急指挥中心数据接入的方式主要是通过数据交换平台向各部门发出数据请求,同时定义好数据格式,各部门在收到数据请求后,按照规定的数据格式,传输相应数据到省应急指挥中心,中心在接受到这些数据后进行综合展现,供领导者决策。概念(Concept)特征(Fe
9、atures)变革(Change)技术(Technology)数据库(数据库(database)大数据(大数据(bigdata)你是什么?你是什么?综合业务管理系统,应急综合应用系统可对各单位日常和应急所涉及到的各项工作提供全过程综合管理,该系统所涉及的内容主要包括:应急值守、信息报送、刊物报表等。大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。全球信息咨询机构国际数据公司(IDC)对大数据的技术定义是:通过高速捕捉、发现或分析,从大容量数据中获取价值的一种新的技术架构。所谓“大数据”(big data)指的是
10、这样一种现象:一个公司日常运营所生成和积累用户行为数据“增长如此之快,以至于难以使用现有的数据库管理工具来驾驭,困难存在于数据的获取、存储、搜索、共享、分析和可视化等方面。”这些数据量是如此之大,已经不是以我们所熟知的多少G和多少T为单位来衡量,而是以P(1000个T),E(一百万个T)或Z(10亿个T)为计量单位,所以称之为大数据。概念概念4、易维护性原则,要保证网络能正常稳定运行,要求网络维护人员可以方便地对网络设备进行远程控制和配置;并且网络设备要能够进行热插拔,方便进行日常维护。n 数据类型多越来越多非结构化数据;音频、食品,地理位置信息等多类型数 据对数据处理能力提出更高要求。n 数
11、据价值高海量数据带来了巨大的商业价值。数据之间关联性支持深层的数据挖掘。大数据的特点大数据的特点-4V理论理论n 数据处理速度快 对数据实时处理有着极高的要求,通过传统数据库查询方式得到的“当前结果”很可能已经没有价值。n 数据规模大从TB跃升到PB甚至EB。一组公式:1024GB=1TB;1024TB=1PB;1024PB=1EB。根据突发事件的种类和对应预案的要求,事先生成信息报送模版,规定必须报送的信息,在突发事件发生时,只要选择相应得系统模版,就可以按照预案要求在表单内填写信息,保证信息的完整性,系统自动生成符合国务院办公厅值班信息报送要求的CEB版式文件;。各级政府、主管部门、上市公
12、司、企业集团、外资公司都将基于大数据分析平台优化其决策。优化 大数据分析能力逐渐加强,传统市场研究行业、证券研究所、产业链咨询机构将逐渐消失。革命 银行都将基于企业大数据平台开展银行直销业务,同时按照产业链金融服务事业部模式开展业务颠覆 因大数据系统的出现,所有依赖信息不对称盈利的业务都将消失。改变大数据改变生活大数据改变生活IBM C&P Industry需求需求海量数据存储技术实时数据处理技术数据高速传输技术搜索技术描述描述分布式文件系统流计算引擎服务器/存储间高速通信文本检索、智能搜索、实时搜索技术技术Hadoop,x86/MPPMap ReduceStreaming DataInfin
13、i BandEnterpriseSearch数据分析技术大大数据涉及的关键技术数据涉及的关键技术Text Analytics Engine 自然语言处理、文本情感分析、Visual Data Modeling 机器学习、聚类关联、数据模型顾客顾客一次购买商品一次购买商品 1面包、黄油、尿布、牛奶面包、黄油、尿布、牛奶 2咖啡、糖、小甜饼、鲑鱼咖啡、糖、小甜饼、鲑鱼 3面包、黄油、咖啡、尿布、牛奶、鸡蛋面包、黄油、咖啡、尿布、牛奶、鸡蛋 4面包、黄油、鲑鱼、鸡面包、黄油、鲑鱼、鸡 5鸡蛋、面包、黄油鸡蛋、面包、黄油 6鲑鱼、尿布、牛奶鲑鱼、尿布、牛奶 7面包、茶叶、糖、鸡蛋面包、茶叶、糖、鸡蛋
14、8咖啡、糖、鸡、鸡蛋咖啡、糖、鸡、鸡蛋 9面包、尿布、牛奶、盐面包、尿布、牛奶、盐10茶叶、鸡蛋、小甜饼、尿布、牛奶茶叶、鸡蛋、小甜饼、尿布、牛奶顾客顾客一次购买商品一次购买商品 1面包、黄油、面包、黄油、尿布尿布、牛奶牛奶 2咖啡、糖、小甜饼、鲑鱼咖啡、糖、小甜饼、鲑鱼 3面包、黄油、咖啡、面包、黄油、咖啡、尿布尿布、牛奶牛奶、鸡蛋、鸡蛋 4面包、黄油、鲑鱼、鸡面包、黄油、鲑鱼、鸡 5鸡蛋、面包、黄油鸡蛋、面包、黄油 6鲑鱼、鲑鱼、尿布尿布、牛奶牛奶 7面包、茶叶、糖、鸡蛋面包、茶叶、糖、鸡蛋 8咖啡、糖、鸡、鸡蛋咖啡、糖、鸡、鸡蛋 9面包、面包、尿布尿布、牛奶牛奶、盐、盐10茶叶、鸡蛋、小
15、甜饼、茶叶、鸡蛋、小甜饼、尿布尿布、牛奶牛奶品种计数项:品种面包6牛奶5尿布5鸡蛋5黄油4糖3咖啡3鲑鱼3小甜饼2鸡2茶叶2盐1总计41对报送信息,可以生成汇总电子文件,进行打印或网络交流。4)其它系统管理和检索等功能可以对信息进行全文检索、分类、并可以直接发布。(2)系统流程概念(Concept)分类(Features)流程(Technological process)我们可以做些什么?我们可以做些什么?网络系统应具有较高性能、最好的升级途径、充分的带宽,在关键性业务中不存在单点故障,在出现问题时提供快速的恢复能力。网络设备也能进行负载均衡和动态伸缩。系统选用的设备和技术应符合国际标准。网络
16、中使用的设备和协议应完全符合国际通用的技术标准,兼容现有的网络环境,提供很好的互联性;网络系统应该有很高的可靠性、稳定性及冗余,在投资充裕的前提下,提供拓扑结构及设备的冗余和备份,把单点失效对网络系统的影响减少到最小,避免由于网络故障造成用户损失。什么是数据分析什么是数据分析1)预案准备根据各种应急预案要求,事先设定突发事件信息上报模版。2)发送在突发事件发生时,迅速选择需要上报的信息模版,以表单方式填写模版规定的要素。数据分析有哪些类型描述性描述性数据分析探索性探索性验证性验证性初级数据分析初级数据分析高级数据分析高级数据分析 先决条件 提供方向明确目的明确目的 数据库 其他媒介数据收集数据
17、收集 清洗、转化、提取、计算数据处理数据处理 统计分析 数据挖掘数据分析数据分析 图表表格文字数据展现数据展现 框架清晰 明确结论 提出建议报告撰写报告撰写数据分析的一般环节数据分析的一般环节网络系统应具有较高性能、最好的升级途径、充分的带宽,在关键性业务中不存在单点故障,在出现问题时提供快速的恢复能力。网络设备也能进行负载均衡和动态伸缩。系统选用的设备和技术应符合国际标准。网络中使用的设备和协议应完全符合国际通用的技术标准,兼容现有的网络环境,提供很好的互联性;网络系统应该有很高的可靠性、稳定性及冗余,在投资充裕的前提下,提供拓扑结构及设备的冗余和备份,把单点失效对网络系统的影响减少到最小,
展开阅读全文