基于大数据的智慧电力解决方案(电力大数据)课件.pptx

1、日程基于大数据的智慧电力解决方案（电力大数据）电力大数据来源电网拓扑智能电表读数客户情感信息地理空间信息设备图像数据设备运行监测历史动态事件客户用电信息客户服务数据（文本+语音）外部环境信息（气象、气候）3电力大数据的特征数据特征数据特征 数据类型不同数据类型不同：营销、生产等核心业务系统的结构化数据，智能电表、系统日志等半结构化数据，客 户服务的音频、运行检修的视频监测、电网设计和拓扑等的非结构化数据。加载频率不同加载频率不同：根据业务数据分析时效要求，数据加载频率可按小时、天、周、月等。数据价值不同数据价值不同：相同的业务数据在不同专业体现不同的作用和价值。处理特征处理特征 调度模式不同调

2、度模式不同：数据有时需要在不同平台间迁 移和复制，有时无需移动而只是简单的查询。加工特征不同加工特征不同：对于结构化数据，需要进行汇 总、分组、排序等，对于半结构化和非结构化 数据，需要先通过自然语言处理、视频分析等 技术转化成结构化数据。使用特征使用特征 使用角色不同使用角色不同：业务分析人员、数据分析 师、数据科学家。使用方式不同使用方式不同：业务指标统计、预测分析、深度数据挖掘和探索。使用时效不同：使用时效不同：不同频度的指标统计、Ad-hoc查询、自助式的数据探索等。日程电力业务与大数据的有什么关系?电力大数据驱动电力业务管理模式发生变革发电输电变电配电用电1、基于数字化 电厂建设中不

3、断 积累的海量数据，分析生产运行分析生产运行 状态，提升对机状态，提升对机 组的控制和优化组的控制和优化 策略、故障诊断策略、故障诊断 的能力的能力；2、对大量的分 布式能源进行实 时监测和控制，能够及时准确掌准确掌 握分布式电源的握分布式电源的 设备及运行状态设备及运行状态1、通过大量积累的电网输、变、配电设备的运行状态设备的运行状态 和历史检修工作记录数据和历史检修工作记录数据，能够实现预测性资产维护预测性资产维护，提升电网运行的可靠性；2、结合外部环境数据外部环境数据（如：天气和自然灾害预报）、电网设备的地理信息数据、设备维护数据等，分析和评 估外部环境对电网设备的影响程度，并及时作出防

4、灾、减灾措施（智能防灾智能防灾）；3、通过配电网络的实时监测和分析实时监测和分析，能够快速定位电快速定位电 力中断的地点、识别断电原因力中断的地点、识别断电原因、估算电力恢复时间等，提高事故的响应程度；1、通过分析智能电 表产生的海量用电明海量用电明 细数据细数据，分析客户的 用电行为，引导客户 提升用电效率，平衡平衡 用电负荷用电负荷；2、通过对智能电表智能电表 运行状态运行状态的监控，并 结合地理信息数据，能够高效判断故障来判断故障来 源源，提升运营效率；7提升用电环节的智能化，从大数据中掘金1、实现电网与用户的双向 互动，提升用户服务质量，满足用户多元化需求；2、改善终端用户用能模式，提

5、升用电效率；智能用电整合整合智能电表客户服务客户档案社交网络分析分析地理信息通过用电大数据分析，发现大价值客户服务：客户服务：为用电客户提供图形化 的分析工具，以准实时的方式告知 客户电力使用情况，并为客户提出 电力使用方案建议，从而 提升客 户服务能力。用电效率：用电效率：通过及时获知用电信息，以调整用电方式和期间，降低用 电成本，提高用电效率。运营效率：运营效率：自动读取智能电表数据，通过及时分析智能电表运行状态，能够高效地判断故障来源。资产利用率：资产利用率：通过提供透明的用电信息，影响客户的用电 行为模式，以降低高峰期的用电负荷，平衡用电，从而能 提高电网设备的利用率。8日程如何解决大

6、数据架构困惑?什么样的平台能够承载大数据的分析和探索需求？大数据的数据独特特征对数据处理平台提出了全新的要求大数据的数据独特特征对数据处理平台提出了全新的要求。10如何有效应用多种大数据处理技术？大数据时代没有大数据时代没有“银弹银弹”可以高效低成本的满足大数据处理的全方位要求，可以高效低成本的满足大数据处理的全方位要求，各种技术相辅相成，优势互补。各种技术相辅相成，优势互补。11如何实现对大数据的统一管理和运维实现大数据的元数据、数据质量和安全统一管理，实现统一的开发管理实现大数据的元数据、数据质量和安全统一管理，实现统一的开发管理（IDE）和调度管理。和调度管理。12电力统一大数据平台架构

7、统统 一一 数数 据据 管管 控控统一分析应用统一分析应用数据整合平台数据整合平台数据探索平台数据探索平台数据汇集平台数据汇集平台构建在高性能高可靠硬件 平台上的MPP RDBMS高并发/高性能构建在X86平台上的MPP RDBMS较低并发/较低成本存储冷数据和非结构化原 始数据高并发/高性能存储热数据高效数据加工，支撑KPI、月报的及时展现支撑数据的高可靠低时延 访问存储温数据支持大量Ad-hoc访问支撑各类高级分析和数据 挖掘通过沙盒模式支持自助分 析服务存储冷数据和非结构化原 始数据实现自定义、灵活的数据 加工和挖掘大规模简单数据查询数据互通数据互通服务器及本地存储服务器及本地存储数据采

8、集与预处理平台数据采集与预处理平台数据源数据源运检运检营销营销建设建设规划规划运监运监物资物资财务财务13用电信息查询用电信息查询用电策略优化用电策略优化 分析分析用电策略建议用电策略建议负荷预测负荷预测用电行为模式用电行为模式 分析分析数据探索平台数据整合平台营销业务营销业务用电采集用电采集客户档案客户档案电网运行电网运行电网拓扑电网拓扑电力政策电力政策天气数据天气数据数据汇集平台电力营销电力营销 智能用电管理应用智能用电管理应用 大数据平台技术架构大数据平台技术架构工程师工程师负荷实时监测负荷实时监测 用户数据科学家数据科学家业务分析师业务分析师管理统一数据管控迁移访问快速加载用电采用电采

9、 集数据、电网运集数据、电网运 行、电网拓扑、行、电网拓扑、电力政策、外部电力政策、外部 天气等天气等半结构化 或非结构化数据，并对其进行原 始存储和初步加 工。整合智能电表采集、用电客户档 案等数据，利用数据探索和挖掘 技术，实现基于用电采集信息的基于用电采集信息的 用户用电行为模式识别用户用电行为模式识别。整合客户档案、用电信息、电网拓扑、天 气等数据，构建电力负荷预测模型，分析分析 预测用户用电负荷和配电网络负荷预测用户用电负荷和配电网络负荷。同时，结合用户用电行为模式分析结果，设计设计 和仿真执行智能用电优化策略和仿真执行智能用电优化策略。14统一分析应 用数据源客户历史用电客户历史用

10、电 信息查询信息查询客户满意度分客户满意度分 析析客户业务状态客户业务状态 分析分析客户投诉智能客户投诉智能 分析分析用户数据探索平台数据整合平台营销业务营销业务客户服务客户服务 系统系统客户档案客户档案电力政策电力政策天气数据天气数据数据汇集平台客户服客户服务务 智能识别与智能识别与分分析应用析应用大数据平台技术架构大数据平台技术架构工程师工程师数据科学家数据科学家业务分析师业务分析师统一数据管控管理迁移访问快速加载大量的客户量的客户 投诉、咨询、建议和投诉、咨询、建议和 保修等业务的文本记保修等业务的文本记 录和语音记录录和语音记录、电力 政策文档和外部天气 数据等半结构化或非 结构化数据

11、，并对其 进行原始存储和初步 加工、转换。引入文本挖掘和智能识别技术，整合客服文本记录数据和用电客整合客服文本记录数据和用电客 户档案数据户档案数据，实现对客户需求的 深度挖掘和精准分析。整合用电客户档案、业务办理过程、用电 信息、客户电话记录智能分析结果等数据，全方位地获知和分析客户的业务状态全方位地获知和分析客户的业务状态，并结合对客户需求的智能识别和分析，提提 升客户服务的精准度和及时性升客户服务的精准度和及时性。14统一分析应 用数据源设备状态历史设备状态历史 分析分析设备智能防灾设备智能防灾设备运行监测设备运行监测预测性资产维预测性资产维 护分析护分析用户数据探索平台数据整合平台生产

12、管理生产管理 系统系统SCADA电网拓扑电网拓扑外部环境外部环境 数据数据数据汇集平台电力生电力生产产 设备运维管理智能分析应用设备运维管理智能分析应用大数据平台技术架构大数据平台技术架构工程师工程师数据科学家数据科学家业务分析师业务分析师统一数据管控管理迁移访问快速实时加载大量的大量的 设备运行状态、设备设备运行状态、设备 运行视频、生产工作运行视频、生产工作 票、电网拓扑地理空票、电网拓扑地理空 间数据间数据和外部环境数 据等多结构化或非结 构化数据，并对其进 行原始存储和初步加 工、转换。利用MPP并行处理技术架构和流式计算技 术，通过对设备运行检修的视频流数据进设备运行检修的视频流数据

13、进 行分析和挖掘行分析和挖掘，实现以自动化方式对设备 运行状态进行大范围和长周期的分析，从 而能够识别设备故障发生模式识别设备故障发生模式。整合设备当前运行状态、历史检修工作记设备当前运行状态、历史检修工作记 录、设备地理空间信息录、设备地理空间信息和外部环境数据等，实现预测性设备资产维护和智能防灾和 减灾，同时，对设备运行的实时监测，实实时监测，实 现快速故障定位和原因分析现快速故障定位和原因分析。14统一分析应 用数据源Gartner 大数据市场评估报告(2014)从1999年起，Teradata连续16年在Gartner数 据仓库平台总体性能评测中排名第一;Teradata 在各项主要测

14、评指标中全面领先 本报告反映了当今的大本报告反映了当今的大数数据市据市场场Teradata是领导者是领导者本报告是对大数据市场的综合评估（包括Hadoop，竞争对手，客户，分析师等）市场趋势是如何更好的市场趋势是如何更好的使使用数用数据据仓库仓库，并并 对不同技术进行整合对不同技术进行整合LDW逻辑数据仓库是综合了数据不同的 存储策略，而不是取代传统的数据仓库，对不同技术的整合才是真正的大数据。LDW逻辑数据仓库逻辑数据仓库成成为新为新的的标准标准Teradata的统一数据架构UDA是对Gartner提出的LDW最全面的实现。Teradata不仅是市场领导者，而且还引 领未来的方向。Terad

15、ata引领持续创新引领持续创新Teradata进一步通过和客户实践UDA的 创新而引领市场，通过EDW和LDW为超 过1200名客户提供服务。来源:http:/ 着新的机会减少大数据分析的 复杂性让已有资源能从大 数据中产生价值使用下一代新的分 析方法实现业务洞 察力利用大数据 获取竞争优势19数据探索数据数据仓库仓库/商商业业智能智能高高级级分析分析问题问题20各种复杂的高各种复杂的高级分析级分析环环境导致境导致数数据碎片据碎片，更，更 高的成本，需高的成本，需要更复要更复杂杂的技能的技能，更长时更长时间才间才 能实现业务价能实现业务价值值。数据探索集成的探索平台集成的探索平台(IDP)问题

16、问题数据数据仓库仓库/商商业业智能智能高高级级分析分析解决方案解决方案各种复杂的高各种复杂的高级分析级分析环环境导致境导致数数据碎片据碎片，更，更 高的成本，需高的成本，需要更复要更复杂杂的技能的技能，更长时更长时间才间才 能能实实现现业业务务价值价值。集成的分析集成的分析探探索提供索提供了了更输入更输入的的洞察，洞察，统统一一的的 访问接口，易访问接口，易用性，用性，低低成本，成本，更更好的洞好的洞察。察。SQL框架访问层框架访问层21预置分析函数预置分析函数分析探索平台的需求数据源结构化 数据多结构化 数据非关系型 数据分析探索分析探索工具用户分析分析探索平探索平台台数据科学家业务分析师S

17、QLMapReduce统计功能交易型 数据库结构化和多结构化数据不需要大量的数据建模需要从尽可能多的数据 中进行分析探索一定的数据完备性要求往往没有严格的SLAs具有快速迭代开发的能 力22欺诈模式分析客户行为分析数字营销优化供应链分析等日程大数据从小做起大数据的海洋浩瀚无大数据的海洋浩瀚无边边常见 问题大数据很重要，但对 我的现有业务似乎没 有太大的影响?我没有那么多的预算 投入用于大数据的收 集、分析、与平台？我没有收集非传统数 据，如何进行大数据 的分析与应用?我没有能力进行大数 据的分析?24Why？电力大数据应用的蓝图？电力大数据战略的第一步应该从哪里开始？为此需要开展哪些配套的工作

18、？What?当前主流的大数据架构和技术？如何将大数据和传统“小数据”结合？配套的组织、人员、技能要求？电力企业目前大数据的现状是怎么样？国内外领先电力企业的大数据应用状况如何其他行业的大数据应用经验哪些可以借鉴？When?大数据于电力企业有什么业务价值？在电力哪些业务领域中可以应用大数据？为什么大数据对电力企业的发展至关重要？How?如何着手大数据？如何着手大数据？25但成功案例告诉我们：但成功案例告诉我们：一切从一切从“小小”而而“美美”做做起起26但成功案例告诉我们：但成功案例告诉我们：一切从一切从“小小”而而“美美”做做起起Teradata 解决方案大数据与传统数据相 结合，才能带来最大

19、 化的商业价值在传统的数据上也可 以进行大数据分析，带来新的业务价值提供多种大数据的收 集工具与存储方式提供大数据分析咨询 服务，通过项目发现 商业价值，并进行知 识转移27寻找合适的切入点是开始应用寻找合适的切入点是开始应用大大数据的关数据的关键键完整的、集成的，基完整的、集成的，基 于大数据的优化战略于大数据的优化战略营销、服务、生产营销、服务、生产(集成的统一视图集成的统一视图)大数据战略启动大数据战略启动（建立面向营销、（建立面向营销、服务、生产的服务、生产的可操作性策略）可操作性策略）基于大数据的分析 和战略咨询基于实践的客户化 大数据分析集成的、数据驱动 型分析和策略完整的决策优化

20、大资料收集大资料收集设计和制度建立设计和制度建立理解并将大数据和传理解并将大数据和传基于传统数据进行大基于传统数据进行大统数据集成统数据集成数据分析数据分析大数据收集和 分析咨询开始收集大数据结合传统数据源应用大数据分析开始大 数据分 析的最 佳方法28日程通过大数据带动业务创新 并真正落地通过大数据做创新不光去了解不光去了解什么，什么，也了也了解解为什么为什么数据量大，有素材数据量大，有素材可以结合可以结合不同的数据源不同的数据源不同的分析方法不同的分析方法通过数据和分析来加快对问题通过数据和分析来加快对问题和和形势形势 的深入了解的深入了解3031大数据里的创新通过大量高质量的尝试可以创造

21、巨大的商业价值！32速度代表一切数据科学家、分析师业务用户快速探讨快速探讨尝试的越多，挖掘的价值越多尝试的越多，挖掘的价值越多?数据获取1数据准备2数据展现4数据分析333大数据，从小做起大数据的天时，地利，人和数据 价值34人员 技能流程 制度技术 平台成熟的大数据平台易于让不同人员应用和数据仓库有高性能 连接结合大数据需求的敏 捷项目管理方法根据业务需求快速让 技术人员利用平台去 提升数据的价值了解国内外不同行业的 大数据应用，可灵活借 鉴案例和经验大数据的敏捷项目管理35分析方向已定但细节还没确定的情况下 小量数据加载（1个月）加载更多数据 数据初定型 数据轮廓分析 数据是否符合 加载更

22、多数据 数据再定型 数据分析 成果展现 数据是否符合 应用测试 分析是否符合 展现是否符合快速把整个流程建起再一步步优化35分析数据分析师数据ETL数据模型业务业务人员智能电网发展愿景近些年来，SCE将发展智能电网作为公司战略目标，其愿景是：以环保和更加多样的方式生 产电力，通过更智能和可靠的网络传输电力，为客户提供更优质的服务，帮助客户通过多种 途径更高效地使用电力。39智能电表项目 SmartConnect 从2008年起，SCE启动了智能电表项 目 SmartConnect；同年，该项目获得了加州公共事业委员 会的批准通过，项目投资约16亿美元；该项目计划从2009年-2012年，使用5

23、百万智能电表替换老式的机械或电子表；通过智能电表的应用，电力用户能够及 时地获知其电力的使用情况和成本消耗 情况，而且，通过近实时地获取用户的 用电信息，从而使实时定价机制的执行 成为可能；40SmartConnect 从概念到技术实现SCE分步骤、分阶段进行SmartConnect项目的设计和实施工作，将安装近5万块智能电表和 开发和部署相应的信息支持系统。调研和收集用户需求和 业务用例；分析电表需求，设计系 统架构；完成供应商提供的原型 系统测试；41项目实施过程控制；完成两种电表和通信解 决方案的现场测试；完成业务用例的开发和 系统需求的完善；完成智能电表设备的采 购流程完成信息支持系统

24、的开 发和实施；安装和部署5万块智能电 表；为终端用户提供对用电 效率的分析能力，提升 客户服务水平；SmartConnect 业务变革与创新在实施SmartConnect项目后，SCE在12个小时内采集的智能电表数据要比采 用非智能电表时期一年内采集的电表数据还要多。每块电表每个月采集一次数 据，每月大约5百万条电表 数据。每年大概2.4百万次现场服务 变更 每年大概8.5万次电表数据校 验 每年约18.5万次由抄表人员 完成的现场客户服务；每月生成一次账单；每块电表每个月采集720次 数据，每月共计56亿次数据 采集。通过远程完成服务方式变更 通过远程完成电表数据校验 为终端用户提供更多服

25、务：获知每天的用电情况、用电 费用预测和用电预算监测等；42SmartConnect 客户用电服务体验通过SmartConnect系 统技术，提升电力负 载管理能力直 观 的 用 电 信 息 展 示，促 进 了 电 力 消 耗 的 降 低 和 电 力 节 约客户能够与智能电器进行自动化交互基于web的 移动终端应 用，展示客 户用电信息预定义的客 户用电模式，客户可以按 需选择43客户用电信息展示可以按照小时频度展示客户用电信息，同时，可以展示一个算费周期内每一天 的客户用电信息，而且，可以进行每月客户用电趋势预测分析。44算费周期内的电费计算客户能够使用SCE提供的电费计算自助工具主动计算当

26、前算费周期内的电费消 耗情况（电量消耗 阶梯电价），从而能够帮助客户有效管理用电成本。45电量电费综合展示SCE提供基于WEB的客户工具，协助客户及时获知电量和电费信息，从而主动 调整用电行为，降低电力消耗和浪费。46阶梯电价和电费计算说明电费计算报告能够帮助客户更好地理解居民阶梯电价结构，这个动态的图形展 示了客户实际的电力成本和预测成本。47Budget Assistant 电费预算辅助工具电费预算辅助工具能够允许客户设定一个电力消费目标，通过短消息、电子邮 件或电话语音的方式周期性地接收到电费信息和是否超过预定目标提示信息。48SCE SmartConnect 技术架构uLDM各部分功能

27、简述：MDMS：智能电表数据校验和估算，电费计 算因素生成，远程服务转换；数据仓库：存储智能电表明细数据和其他电 表数据元素；ENS：事件生成、通知和交互；SCE.COM：客户能够通过基于web的应用获 知用电信息，电费预算管理和电费预测等；4950基于地理信息的客户用电信息展示51电网资产信息展示52停电和现场人员检修信息展示 整合天气信息通过数据整合，发掘各部分数据的关系和价值智能电表（28GB/天）用电客户（5M）用电检修气象数据（42气象站采集）响应事件 信息电费电价/费率电网拓扑（地理信息）用户调查结果（基于WEB）每年产每年产生生 10TB数据，预计数据，预计到到2015年将达到年将达到50TB53发掘更多价 值.配网设备 状态监测配网负荷 分析与预测客户用电行 为分析业务价业务价值值智能电表54客户档案电网拓扑气象数据通过将数据整合，发掘各部分数据的关系和价值总结大数据统一架构 通过统一数据架 构(UDA)管理企 业大数据大数据探索平台 大数据探索平台 的定位及重要性大数据落地方法 通过“从小做起”实现大数据快速 落地