大数据应用场景(大数据预测)课件.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《大数据应用场景(大数据预测)课件.pptx》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 应用 场景 预测 课件
- 资源描述:
-
1、大数据应用大数据应用场景之场景之-大数据预测大数据预测0101图像接入,目前XXX省公安、交通、水利等部门已在重点监控地方安装了监控设备,图像接入系统就是要把这些众多分布在各地的监控点纳入到指挥中心来,同时还要解决卫星图像、电视图像的综合接入。目录目录CONTENTSCONTENTS021 1大数据预测概述2 2描述性数据分析3 3诊断性数据分析4 4大预测性数据分析5 5处方式数据分析6 6数据分析示例7 7大数据预测度特征8 8大数据的其他功能应用领域随着网络规模的扩大和系统复杂程度的增加,网络的管理、监控和维护,以及网络故障的诊断和排除变得越来越复杂。为了使网络系统易于管理和维护,本方案
2、将提供先进而完善的网络管理系统。这样,既方便网络管理员的工作,减轻了劳动强度,也提高了网络系统的管理程度。PART 01 PART 01 大数据预测概述大数据预测概述大数据预测是大数据最核心的应用,大数据预测将传统意义预测拓展到“现测”。03031)预案准备根据各种应急预案要求,事先设定突发事件信息上报模版。2)发送在突发事件发生时,迅速选择需要上报的信息模版,以表单方式填写模版规定的要素。预测是大数据的核心价值预测是大数据的核心价值0404大数据预测是大数据最核心的应用l 大数据的本质是解决问题,大数据的核心价值就在于预测,而企业经营的核心也是基于预测所做出的正确判断。由于省政府已建有屏显系
3、统,随着全省应急会商系统的建设,应急会商业务的发展,可以考虑扩建或重建。显示屏组合模式,大屏幕组合模式分两种:LCD多屏拼接模式和电视墙显示模式;大数据预测的优势大数据预测的优势0505l 大数据预测则是基于大数据和预测模型去预测未来某件事情的概率,让分析从“面向已经发生的过去”转向“面向即将发生的未来”是大数据与传统数据分析的最大不同l 大数据预测的优势体现在它把一个非常困难的预测问题,转化为一个相对简单的描述问题,而这是传统小数据集根本无法企及的l 从预测的角度看,大数据预测所得出的结果不仅仅得到处理现实业务简单、客观的结论,更能用于帮助企业经营决策,收集起来的资料还可以被规划,引导开发更
4、大的消费力量图像接入的重点在于对图像信息的集中管理和控制。要求采用数字化的存储和查询方式,支持基于TCP/IP的图像信号传输。系统必须对各种来源的图象信号实现集中控制切换和共享。可以设置专门的图象监控终端,也可在所有处警席位、值班主任席位、紧急指挥席位监视、控制所需要的图像。收统一的权限管理系统来控制。数据分析的四个层次数据分析的四个层次0606l 数据分析的根本目的就是要洞察数据背后的规律,企业可以基于数据分析的结果制订决策、并采取相应措施和行动,进而达成想要的结果l 数据分析的四个层次描述性分析(Descriptive Analysis)诊断性分析(Diagnostic Analysis)
5、预测性分析(Predictive Analysis)处方性分析(Prescriptive Analysis)LCD多屏拼接模式,根据实际工程实施经验,建议组合屏底座高度在0.8米左右,控制台到大屏幕的观看距离不小于4.5米。同时,为了方便安装维护,投影单元箱体后面需要保留净空间60厘米。数据分析的四个层次数据分析的四个层次0707图像接入的重点在于对图像信息的集中管理和控制。要求采用数字化的存储和查询方式,支持基于TCP/IP的图像信号传输。系统必须对各种来源的图象信号实现集中控制切换和共享。可以设置专门的图象监控终端,也可在所有处警席位、值班主任席位、紧急指挥席位监视、控制所需要的图像。收统
6、一的权限管理系统来控制。描述性分析描述性分析发生了什么发生了什么0808l 描述性分析主要是对已经发生的事实用数据做出准确的描述l 比如某企业本月订单签约额比上月增加100万,至1100万,但是订单履约率从上月的98%下降到了95%,库存周转率从上月的0.8下降到了0.75、扩展性原则和易于升级,随着网络用户应用规模的不断扩大,要求网络能方便地扩充容量,支持更多的用户和应用。随着通信技术的不断发展,网络要能平滑地过渡到新的技术和设备,保护用户现有投资。由于XXX省级应急平台业务系统的不断发展,网络系统必然随之不断扩大。因此,目前的网络设计必须为今后的扩充留有足够的余地,这样才能最好地保护投资。
7、诊断性分析诊断性分析为什么会发生为什么会发生0909l 通过评估描述型数据,诊断分析工具能够让数据分析师深入地分析数据,钻取到数据的核心l 比如经过分析,发现订单履约率下降的原因是成品生产不出来,无法完成交付,而成品生成不出来的原因则是部分原材料的供应商未能按时送货,导致原材料不齐套,无法开始生产可以根据一定条件,将突发事件相关的多份信息统一导出成文件汇编(单一的CEB),可以再上报,并可通过数码印刷设备输出到纸张。(3)系统特点可以事先平时与战时相结合。预测性分析预测性分析什么可能会发生什么可能会发生1010l 预测型分析对事件未来发生的可能性,预测一个可量化的值,或者是预估事情发生的时间点
8、l 比如通过建模可以预测本月该供应商会使我们的订单履约率下降2%处方性分析处方性分析该做些什么该做些什么1111l 处方性分析基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析,来帮助用户决定应该采取什么措施l 通常情况下,是在前面的所有方法都完成之后,最后需要完成的分析方法l 比如,供应商A会导致本月订单履约率下降,可能采取的措施就是把A换掉,但是现在有B和C两个供应商供选择,通过分析和计算得出:选用供应商B会比选C的订单履约率高1%,因此建议选择供应商B5、扩展性原则和易于升级,随着网络用户应用规模的不断扩大,要求网络能方便地扩充容量,支持更多的用户和应用。随着通信技术的不断发
9、展,网络要能平滑地过渡到新的技术和设备,保护用户现有投资。由于XXX省级应急平台业务系统的不断发展,网络系统必然随之不断扩大。因此,目前的网络设计必须为今后的扩充留有足够的余地,这样才能最好地保护投资。数据分析方法总结数据分析方法总结1212l 传统分析方法只能完成描述性和诊断性分析l 大数据分析方法使用大量多样化和可变数据来实现预测,在充满不确定性的环境下,能够帮助企业做出更好的决定l 大数据预测是大数据在很多领域的重要应用PART 02 PART 02 描述性数据分析描述性数据分析描述性分析做为商业数据分析的第一个层次,主要回答发生了什么的问题。1313描述性分析描述性分析1414l 描述
10、性分析对采集到的大量数据进行初步的整理和归纳,对调查总体所有变量的有关数据进行统计性描述,主要包括数据的频数分析数据的集中趋势分析数据的离散程度分析数据的分布统计图形绘制协同会商决策业务应用包括一系列模块化应用与子系统,并提供高度集成的系统,根据客户的实际工作需求进行专门定制。可以集成各种类型的设备(IT、电话、记录、无线电、视频、GPS、传感器等)。同时也完全集成训练和支持功能。数据的频数分析数据的频数分析1515l 利用频数分析可以发现一些统计规律l 比如说,被调查者使用个人支票支付方式的最多,使用信用卡支付的最少突发事件信息在进入到值守业务模块以后,首先被值班员鉴别分类,且同时系统自动加
11、上序号和时间标签。分类以后的信息根据不同的类别,进行适当格式转换。主要信息都要存入到资产中,一部分信息还可能直接转发到上下级单位。当收到的信息来自上级部门或遇重大紧急事件时,系统应该自动发回回执给发送单位并进行督察,督察被发送单位确切发回回执。数据的集中趋势分析数据的集中趋势分析1616数据的集中趋势分析是用来反映数据的一般水平l 平均值:是衡量数据的中心位置的重要指标,反映了一些数据必然性的特点,包括算术平均值、加权算术平均值、调和平均值和几何平均值 l 中位数:是反映数据的中心位置的指标,其确定方法是将所有数据以由小到大的顺序排列,位于中央的数据值就是中位数l 众数:是指在数据中发生频率最
12、高的数据值l 如果各个数据之间的差异程度较小,用平均值就有较好的代表性l 如果数据之间的差异程度较大,特别是有个别的极端值的情况,用中位数或众数有较好的代表性对报送信息,可以生成汇总电子文件,进行打印或网络交流。4)其它系统管理和检索等功能可以对信息进行全文检索、分类、并可以直接发布。(2)系统流程数据的离散程度分析数据的离散程度分析1717l 数据的离散程度分析主要是用来反映数据之间的差异程度,常用的指标有方差和标准差l 方差是标准差的平方,根据不同的数据类型有不同的计算方法系统整体结构设计,在省应急指挥会商系统中,对屏显系统进行以下设计:选用一台具有数字RGB输出端口的多屏拼接控制器、配合
13、矩阵输入,构成多通道、分布式的全屏信号处理显示系统。系统可以接入电脑的VGA信号,普通的监控模拟信号(包括指挥中心监控信号和全球眼监控信号),视频会议终端的模拟信号,DVD,VCD信号;以及可以直接向多屏控制器传输网络数据。数据的分布数据的分布1818l 在统计分析中,通常要假设样本的分布属于正态分布,因此需要用偏度和峰度两个指标来检查样本是否符合正态分布偏度衡量的是样本分布的偏斜方向和程度而峰度衡量的是样本分布曲线的尖峰程度l 如果样本的偏度接近于0,峰度接近于3,就可以判断总体的分布接近于正态分布为了使网络可靠地运行,本方案选用了高品质、高性能价格比的产品,把故障率降到最低。同时,我们采用
14、了系统容错技术,当网络系统内某一点出现故障时,整个系统仍然能够继续运行而不会造成停机,从而把损失降到最小。绘制统计图绘制统计图1919l 绘制统计图:用图形的形式来表达数据,比用文字表达更清晰、更简明l 绘制各个变量的统计图形,包括条形图、饼图和折线图等对报送信息,可以生成汇总电子文件,进行打印或网络交流。4)其它系统管理和检索等功能可以对信息进行全文检索、分类、并可以直接发布。(2)系统流程描述性分析方法描述性分析方法2020l 了解业务场景首先要了解和还原数据产生的业务场景,包括:数据涉及到的部门和岗位,这些部门和岗位之间的业务流程,在不同业务流程中有哪些输入,对数据做了什么处理,又是如何
15、输出和传递给下游部门的l 探索性分析1.提问,理顺初步分析思路和目标2.收集数据3.选择相应分析方法l 提炼指标对数据做探索性分析后,可对数据反映的事实有一个直观的感受,但是要想更准确、简洁地描述发生了什么,还应该进行总结和提炼出相应指标,做为企业日常经营管理的KPI比如描述库存周转的整体情况,库存周转率、库存周转天数等指标更有效填写信息后生成的版式文件,根据预案事先确定,由系统自动生成,保证信息的规范化;根据预案,可以事先设定报送单位,实现报送范围的完整性。探索性分析步骤探索性分析步骤21211.提问,理顺初步分析思路和目标在了解清楚数据产生的业务场景后,试问一些what happened的
16、问题比如,本月销售额是多少?环比和同比变化分别是多少?本财年销售的变化趋势是怎么样的?2.收集数据有了初步的分析思路和目标以后,就可以确定需要收集哪些数据了比如销售额分析可能用到的数据为销售订单数据、销售开票数据3.选择相应分析方法根据分析的思路和目标,就可以对收集到的数据选择相应的分析方法了。具体的方法包括:对数据位置的探索,包括:最大值、最小值、均值、中位数、分位数等对数据分布的探索,包括:偏差、方差、标准差、茎叶图、直方图、箱形图、密度图等对数据趋势的探索,包括:同比、环比、趋势图、条形图等对数据聚合的探索,包括:排序、筛选、计数、重复项、分组、求和、比例、条形图、饼图等协同会商辅助决策
17、系统,目标,协同会商决策业务应用为各级指挥场所与现场人员提供实时信息和通讯,以支持适时的决策、事件管理和控制功能,实现集成、灵活和模块化的协同会商环境。PART 03 PART 03 诊断性数据分析诊断性数据分析诊断性分析可以明确到底发生了什么。2222为提高省应急指挥会商中心的综合控制管理能力,解决大信息量、高数据流以及多种应急业务需求,设计在指挥中心安装一套大屏幕组合显示系统。大屏幕组合显示系统能够灵活方便地提供一个内容丰富、准确高效的信息图像显示平台,一个贴近实战需要的综合信息显示界面,能够对各路信号、网络资源和相关资讯进行实时的监控、分析和智能化管理,使监管人员能及时提出预案、方案和决
18、策意见,确保指挥系统的决策、命令能够稳妥迅速地传达执行并反馈,从而保证整个省应急指挥会商系统具有联动性、高效性、完整性。诊断性分析诊断性分析2323诊断性分析的目的是明确为什么发生1.寻找相关特征首先需要知道和结果可能相关的因素有哪些,这依赖于对业务的了解程度,只要是可能相关的,都纳入考虑,也可以基于现有特征构造新特征2.相关性分析列出和结果可能相关的特征后,就需要验证这些特征和结果到底是否相关3.因果性分析诊断性分析就是要找到事物的因果关系,即因果性分析所谓因果性,假设X是因,Y是果,则只要X出现,必然会导致Y的发生省级应急平台网络与通信系统建设是整体系统的重要组成部份,其主要目的就是为覆盖
19、全区范围并在其上的各种支撑平台、应用系统提供网络支持,保证系统的正确连通,正常运行。目前建设的网络系统主要是连接XXX省应急指挥中心、应用服务器所部署的省电信机房、电子政务网中的相关应急单位部门,同时提供INTERNET的接入。相关性分析相关性分析2424二维散点图l 若分析的仅是一个特征与结果的相关性,则可以通过画二者的二维散点图进行分析,通过图形描述,可以初步且直观判断二者的存在何种相关关系:正相关、负相关、无关;如果相关的话,是线性相关还是非线性相关(抛物线、指数等)。左图为不同性别年龄与身高关系的散点图,可以看出在青少年时期,这二者是呈线性正相关的应急值守,值守业务是基本处理模块,所有
20、值班员受理的值班信息,包括各种电子文档、电话、传真、邮件、视频文件都要首先送到值班业务模块,在值班员的受理过程中进行鉴别、确定类型与编号,然后进行分发,分发包括输出信息到上下级端口,也包括到数据库,以及到别的模块,以便作进一步的数据处理。相关性分析相关性分析2525矩阵散点图l 当有多个特征与结果相关的情况时需要矩阵散点图进行分析。l 其实质就是针对每一个特征与结果分别做二维散点图,以分析其相关性。省级应急平台网络与通信系统建设是整体系统的重要组成部份,其主要目的就是为覆盖全区范围并在其上的各种支撑平台、应用系统提供网络支持,保证系统的正确连通,正常运行。目前建设的网络系统主要是连接XXX省应
21、急指挥中心、应用服务器所部署的省电信机房、电子政务网中的相关应急单位部门,同时提供INTERNET的接入。因果性分析因果性分析2626l 诊断性分析的隐含意思就是要找到事物的因果关系,即因果性分析l 所谓因果性,假设X是因,Y是果,则只要X出现,必然会导致Y的发生为提高省应急指挥会商中心的综合控制管理能力,解决大信息量、高数据流以及多种应急业务需求,设计在指挥中心安装一套大屏幕组合显示系统。大屏幕组合显示系统能够灵活方便地提供一个内容丰富、准确高效的信息图像显示平台,一个贴近实战需要的综合信息显示界面,能够对各路信号、网络资源和相关资讯进行实时的监控、分析和智能化管理,使监管人员能及时提出预案
22、、方案和决策意见,确保指挥系统的决策、命令能够稳妥迅速地传达执行并反馈,从而保证整个省应急指挥会商系统具有联动性、高效性、完整性。PART 04 PART 04 预测性数据分析预测性数据分析预测性分析可以明确未来会发生什么。2727电视墙显示模式,电视墙显示设备由多台29”100HZ彩色电视机和1台100”的背投显示系统组成。彩色电视机采用100Hz纯平彩色显像管,数码流Y、Cr、Cb分量信号输入,支持高清晰显示、图象特别细腻,高密度显像,100Hz双频显示、无闪烁、图象更稳定,菜单全线帮助提示、操作方便、调节直观,最新数字图像处理电路、图象清晰、视角宽阔,I2C总线控制、整机可靠性高、扩展性
23、好,自动(或手动)转换PAL/NTSC标准制式,内置扬声器、最大输出不失真功率1W,2路AV输入/输出、1路S端子输入/输出,数字静止画面、以便仔细观看,实时钟显示、关电后时钟可保持10年以上,自适应运动检测及降噪处理,数字动态图像补偿、内插技术,多种数字图像校正电路、图形失真最小,所有各路输入信号自动浏览,宽电源电压自动调整、预测性分析预测性分析2828l 预测性分析试图基于历史数据来预测未来的结果l 预测性分析的步骤:建立预测模型,模型评估和预测7、开放性与标准化原则,开放的网络可以让用户自由地选择不同厂家的产品,不受原有厂家的限制。最大程度地保护用户的利益。要求网络的设计一定要基于国际标
24、准,使用标准的通信协议。让不同厂家的设备能够在同一个网络上同时运行。预测性分析第一步:建立模型预测性分析第一步:建立模型2929预测性分析第二步:用模型进行预测预测性分析第二步:用模型进行预测3030网络系统应具有较高性能、最好的升级途径、充分的带宽,在关键性业务中不存在单点故障,在出现问题时提供快速的恢复能力。网络设备也能进行负载均衡和动态伸缩。系统选用的设备和技术应符合国际标准。网络中使用的设备和协议应完全符合国际通用的技术标准,兼容现有的网络环境,提供很好的互联性;网络系统应该有很高的可靠性、稳定性及冗余,在投资充裕的前提下,提供拓扑结构及设备的冗余和备份,把单点失效对网络系统的影响减少
25、到最小,避免由于网络故障造成用户损失。预测性分析的数据挖掘算法预测性分析的数据挖掘算法3131回归分析模型SVM神经网络对报送信息,可以生成汇总电子文件,进行打印或网络交流。4)其它系统管理和检索等功能可以对信息进行全文检索、分类、并可以直接发布。(2)系统流程预测性分析的数据挖掘算法预测性分析的数据挖掘算法3232回归分析模型一元回归多元回归非线性回归线性回归非线性回归线性回归两个及两个以上自变量一个自变量填写信息后生成的版式文件,根据预案事先确定,由系统自动生成,保证信息的规范化;根据预案,可以事先设定报送单位,实现报送范围的完整性。回归分析的一般步骤回归分析的一般步骤3333信息报送,突
展开阅读全文