大数据体系结构及关键技术ppt课件.ppt

1、大数据科学与工程系列大数据科学与工程系列 大数据体系结构大数据体系结构 主要内容主要内容一、大数据时代的新命题一、大数据时代的新命题二、大数据的体系结构二、大数据的体系结构三、大数据的关键技术三、大数据的关键技术四、物联网与云计算架构四、物联网与云计算架构五、知名企业大数据架构五、知名企业大数据架构六、大数据系统设计案例六、大数据系统设计案例u 总结、交流、作业总结、交流、作业一、大数据时代的新命题一、大数据时代的新命题谷歌大数据中心：谷歌大数据中心：全球主要全球主要DC有有8个个大数据表象概念：大数据表象概念：百度数据规模百度数据规模大数据表象概念：大数据表象概念：对系统要求对系统要求大数据

2、时代的新命题大数据时代的新命题:n 数据在爆炸式增长数据在爆炸式增长 互联网海量大数据互联网海量大数据 物联网各类型数据物联网各类型数据n 发数据处理能力要求提高发数据处理能力要求提高 大规模数据存取方式大规模数据存取方式 大数据并行技术能力大数据并行技术能力n 数据间关联性分析加强数据间关联性分析加强 社交网络关系社交网络关系 多业务关联性多业务关联性 用户行为分析用户行为分析n 网络数据的实时同步网络数据的实时同步 一切营销都线下线上一切营销都线下线上 多业务跨地域数据同步多业务跨地域数据同步n“数据结构化数据结构化”本身是最本身是最具挑战性的一个环节具挑战性的一个环节.n 海量数据与快速

3、处理是一海量数据与快速处理是一对悖论对悖论.信息社会需求：信息社会需求：信息化信息化-智能化智能化-现代化现代化农业社会工业社会信息社会人力工具 -镰刀 -锄头 动力工具 -机车 -机床智能工具-推理机-智能网 信息时代的大数据需求信息时代的大数据需求信息时代数据大爆炸，信息时代数据大爆炸，推动智能技术发展推动智能技术发展信息时代，软件编程模型发展信息时代，软件编程模型发展n“面向信息处理面向信息处理”的智能化编程模型，编程简化为数据配置与管理大数据技术架构大数据技术架构数据数据智能智能二、大数据的系统架构二、大数据的系统架构传统数据库技术架构传统数据库技术架构:n Oracle数据库体系架构

4、数据库体系架构大数据架构：分层架构大数据架构：分层架构u 从数据在生命周期看，大数据从数据源经过分析挖掘到最终获得价值需要经过从数据在生命周期看，大数据从数据源经过分析挖掘到最终获得价值需要经过5个环节，包括个环节，包括数据准备、数据存储与管理、计算处理、数据分析和知识展现。数据准备、数据存储与管理、计算处理、数据分析和知识展现。大数据的系统架构：大数据的系统架构：整体系统架构整体系统架构新一代编程语言大数据架构：大数据架构：整体逻辑功能架构整体逻辑功能架构大数据架构理解：搜索引擎大数据架构理解：搜索引擎大数据架构理解：网页内容抓取大数据架构理解：网页内容抓取大数据系统架构大数据系统架构Had

5、oopuHadoop分布式系统组成分布式系统组成大数据系统架构大数据系统架构Hadoop在图中，在图中，Hadoop主要的功能组件有：主要的功能组件有：n Hadoop Common:包含包含HDFS、MapReduce和其他项目公共内容；和其他项目公共内容；n HDFS：Hadoop分布式文件系统；分布式文件系统；n MapReduce：一个用于并行处理大数据集的软件框架。：一个用于并行处理大数据集的软件框架。Map 函数接受一组数函数接受一组数据并将其转换为一个键据并将其转换为一个键/值对列表，输入域中的每个元素对应一个键值对列表，输入域中的每个元素对应一个键/值对。值对。Reduce 函

6、数接受函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一函数生成的列表，然后根据它们的键（为每个键生成一个键个键/值对）缩小键值对）缩小键/值对列表；值对列表；n HBase:类似类似Google BigTable的分布式的分布式NoSQL列数据库；列数据库；n Hive：是基于：是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的张数据库表，并提供完整的sql查询功能，可以将查询功能，可以将sql语句转换为语句转换为MapReduce任任务进行运行；务进行运行；n Zookeeper：分

7、布式锁，提供类似：分布式锁，提供类似Google Chubby的功能；的功能；n Avro：新的数据序列化格式与传输工具，将逐步取代：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的原有的IPC机制；机制；n Pig：大数据数据流分析平台，为用户提供多种接口；：大数据数据流分析平台，为用户提供多种接口；n Sqoop：在：在HADOOP与传统的数据库间进行数据的传递。与传统的数据库间进行数据的传递。大数据系统架构大数据系统架构Hadoop：功能定位功能定位1.大数据系统架构大数据系统架构Hadoop：层次对应层次对应大数据：分布式计算架构大数据：分布式计算架构大数据架构大数据架构:M

8、apReduce工作原理工作原理1大数据架构大数据架构:MapReduce工作原理工作原理2三、大数据的关键技术三、大数据的关键技术大数据关键技术到底有哪些？大数据关键技术到底有哪些？核心问题是：核心问题是：(计算、存储、分析计算、存储、分析)算法算法大数据：恐怖的大数据大数据：恐怖的大数据(生活示例生活示例)智能性：数据分析、自然语言理解智能性：数据分析、自然语言理解 逻辑推理逻辑推理(演示演示)艺术性：分形算法、视频动画艺术性：分形算法、视频动画(演示演示)大数据关键技术大数据关键技术1：大数据存储技术大数据存储技术u数据的海量化和快增长特征、以及数据格式的多样化数据的海量化和快增长特征、

9、以及数据格式的多样化是大数据对是大数据对存储技术提出的首要挑战。要求存储技术提出的首要挑战。要求底层硬件架构和文件系统在性价比上要大大高于传底层硬件架构和文件系统在性价比上要大大高于传统技术，并能够弹性扩展存储容量。统技术，并能够弹性扩展存储容量。谷歌文件系统（GFS）和Hadoop 的分布式文件系统HDFS（Hadoop Distributed File System）奠定了大数据存储技术的基础。GFS/HDFS 将计算和存储节点在物理上结合在一起，从而避免在数据密集计算中易形成的I/O 吞吐量的制约，同时这类分布式存储系统的文件系统也采用了分布式架构，能达到较高的并发访问能力。网络附着存储

10、系统（NAS）和存储区域网络（SAN）等体系，存储和计算的物理设备分离，它们之间要通过网络接口连接，这导致在进行数据密集型计算（Data Intensive Computing）时I/O 容易成为瓶颈。单机文件系统不提供数据冗余、可扩展性、容错及并发能力差大数据关键技术大数据关键技术2：并行计算能力并行计算能力u 大数据的分析挖掘是数据密集型计算，需要巨大的计算能力。u 针对不同计算场景发展出特定分布式计算框架。Yahoo 提出的提出的S4 系统、系统、Twitter 的的Storm,谷歌谷歌2010 年公布的年公布的Dremel系统，系统，MapReduce内存化以提高实时性的内存化以提高实

11、时性的Spark 框架框架.数据爆炸，知识贫乏数据爆炸，知识贫乏 苦恼:淹没在数据中;不能制定合适的决策!数据数据n模式模式n趋势趋势n事实事实n关系关系n模型模型n关联规则关联规则n序列序列n目标市场目标市场n资金分配资金分配n贸易选择贸易选择n在哪儿做广告在哪儿做广告n销售的地理位置销售的地理位置n金融金融n经济经济n政府政府nPOS.n人口统计人口统计n生命周期生命周期大数据关键技术大数据关键技术3：数据分析技术数据分析技术u基于计算流体力学的三维呈现基于计算流体力学的三维呈现:如如用能场所用能场所3D场景及场景及CFD温度及能温度及能效云场呈现如下图。效云场呈现如下图。大数据关键技术大

12、数据关键技术4：数据显示技术数据显示技术大数据分析大数据分析u世界杯：英格兰世界杯：英格兰vs意大利意大利 1:2。数据热。数据热图图大数据关键技术大数据关键技术5：数据挖掘算法数据挖掘算法代代特征特征数据挖掘算法数据挖掘算法集成集成分布计算分布计算模型模型数据模型数据模型第一第一代代数据挖掘作为数据挖掘作为一个独立的应一个独立的应用用支持一支持一个或者个或者多个算多个算法法 独立独立的系的系统统单个单个机器机器向量向量数据数据第二第二代代和数据库以及和数据库以及数据仓库集成数据仓库集成多个算法：能够多个算法：能够挖掘一次不能放挖掘一次不能放进内存的数据进内存的数据数据管理系数据管理系统，包括

13、数统，包括数据库和数据据库和数据仓库仓库同质同质/局局部区部区域的域的计算计算机群机群集集有些系统支有些系统支持对象、文持对象、文本、和连续本、和连续的媒体数据的媒体数据第三第三代代和预言和预言模型系模型系统集成统集成 多个算法多个算法数据管理和数据管理和预言模型系预言模型系统统intranet/extranet网网络计算络计算支持半结构支持半结构化 数 据 和化 数 据 和webweb数据数据第四第四代代和移动和移动数据数据/各种计各种计算数据算数据联合联合 多个算多个算法法数据管理、数据管理、预言模型、预言模型、移动系统移动系统移动和各移动和各种计算设种计算设备备普 遍普 遍存 在存 在的

14、 计的 计算 模算 模型型Debt$40KQ QQ QQ QQ QI II I1 12 23 34 45 56 6factor 1factor 2factor n神经网络神经网络 Neural NetworksNeural Networks聚类分析聚类分析 ClusteringClusteringOpenAccntAdd NewProductDecreaseUsage?Time序列分析序列分析 Sequence AnalysisSequence Analysis决策树决策树 Decision TreesDecision Trees 倾向性分析 客户保留 客户生命周期管理 目标市场 价格弹性分析

15、 客户细分 市场细分 倾向性分析 客户保留 目标市场 欺诈检测关联分析关联分析 AssociationAssociation 市场组合分析 套装产品分析 目录设计 交叉销售大数据关键技术大数据关键技术5：数据挖掘算法数据挖掘算法 分类（分类（Classification）聚类聚类(Clustering)相关规则相关规则(Association Rule)回归回归(Regression)其他其他 知识发现系统需要一个前处理知识发现系统需要一个前处理过程过程 数据抽取数据抽取 数据清洗数据清洗 数据选择数据选择 数据转换数据转换 知识发现系统是一个自动知识发现系统是一个自动/半半自动过程自动过程

16、知识发现系统要有很好的性能知识发现系统要有很好的性能数据挖掘主要方法：数据挖掘主要方法：ETLuETL Process Framework ETL工具有：工具有：OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、I n f o r m a t i c P o w e r C e n t e r、AICloudETL、DataStage、DataSpider,等。等。ApplicationApplication&Operations&OperationsServicesServicesTransportTransportServi

17、cesServicesLoadLoadTransformTransformExtractExtractTarget adaptorsTarget adaptorsSource adaptorsSource adaptorsETL Data import/ETL Data import/Rule importRule importETL Data ExportETL Data ExportRuntimeRuntimeMata dataMata dataServicesServicesDesign Design managementmanagementMeta data Meta data Imp

18、ort/Import/exportexportMeta data Meta data managementmanagement四、物联网与云计算架构四、物联网与云计算架构互联网上的物联网：概念互联网上的物联网：概念互联网上的物联网：发展互联网上的物联网：发展u 2009年年8月月7日日，温家宝视察中科院嘉兴无线传感网工程中心，温家宝视察中科院嘉兴无线传感网工程中心无锡无锡研发分研发分中心，提出中心，提出“在传感网发展中，要早一点谋划未来，早一点攻破核心技术在传感网发展中，要早一点谋划未来，早一点攻破核心技术”，明确要求尽快建立中国的传感信息中心，或叫，明确要求尽快建立中国的传感信息中心，或叫“

19、感知中国感知中国”中心。中心。u 2010年年2月月25日日,中国首个传感网大学科技园在无锡成立，中国首个传感网大学科技园在无锡成立，北京邮电大北京邮电大学学无锡感知技术与产业研究院是首家入驻大学科技园的高校科研机构。无锡感知技术与产业研究院是首家入驻大学科技园的高校科研机构。u 移动、电信、联通移动、电信、联通三大运营商纷纷在无锡成立物联网研究中心，以无锡为三大运营商纷纷在无锡成立物联网研究中心，以无锡为首的国内大中城市争相建设智能城市，争取成为感知中国首的国内大中城市争相建设智能城市，争取成为感知中国示范示范城市。城市。u 2010年年3月月2日日，上海物联网中心在上海，上海物联网中心在上

20、海嘉定嘉定揭牌，宣称将以此打造国内揭牌，宣称将以此打造国内最具竞争力、具有国际影响的物联网技术研发基地，总投资达最具竞争力、具有国际影响的物联网技术研发基地，总投资达8亿元。把亿元。把合作伙伴锁定为中国科学院上海微系统与信息技术研究所。合作伙伴锁定为中国科学院上海微系统与信息技术研究所。u 2010年年3月月9日日，中国物联网标准联合工作组筹备会议在京召开。，中国物联网标准联合工作组筹备会议在京召开。3月中月中旬，浙江省成立了物联网产业规划编制小组，旬，浙江省成立了物联网产业规划编制小组，浙江浙江省经济和信息化委员会省经济和信息化委员会副主任郑一方担任组长。杭州市已经联合浙江省工业经济研究所启

21、动物联副主任郑一方担任组长。杭州市已经联合浙江省工业经济研究所启动物联网产业调研和发展规划编制工作，提出网产业调研和发展规划编制工作，提出“感知杭州感知杭州”的发展愿景。的发展愿景。物联网的体系架构物联网的体系架构物联网的体系架构物联网的体系架构物联网的体系架构物联网的体系架构物联网示范：智能家居大数据管理系统物联网示范：智能家居大数据管理系统物联网示范：动态跟踪管理，牧场大数物联网示范：动态跟踪管理，牧场大数据据物联网示范：医疗健康大数据物联网示范：医疗健康大数据 管理体系架构管理体系架构短信接口短信接口平台功能平台功能紧急呼叫一键通紧急呼叫一键通运动能量检测运动能量检测终端功能终端功能血压

22、血压/血糖管理血糖管理GPSGPS定位定位健康档案自管理健康档案自管理心电图诊断呈现心电图诊断呈现心电图测量心电图测量移动移动OAOA彩信接口彩信接口用药提醒用药提醒互动交流互动交流预约就医预约就医WAPWAP接口接口体重管理体重管理血糖管理血糖管理心脏疾病管理心脏疾病管理血压管理血压管理健康管理功能健康管理功能客户关怀功能客户关怀功能日常心电监测日常心电监测血压监测血压监测运动情况监测运动情况监测医疗服务功能医疗服务功能血糖监测血糖监测移动全球眼移动全球眼云计算演进：云计算演进：桌面云理解桌面云理解(NDNCCCN)(NDNCCCN)云计算架构：云计算架构：通用三层架构通用三层架构(IBM(

23、IBM为例，加为例，加BPaaS)BPaaS)IaaSIaaSPaaSPaaSSaaSSaaSBPaaSBPaaS云计算的不同服务层次和内容：云计算的不同服务层次和内容：云计算的应用案例：广州品高云计算的应用案例：广州品高IaaS云计算的统一数据中心云计算的统一数据中心 Ciscos Cloud Computing Approach Combining the unified data center and cloud intelligent network Network Service becomes an essential element 五、知名企业大数据架构五、知名企业大数据架构又

24、拍云存储架构又拍云存储架构大数据：大数据：IBM大数据方案大数据方案大数据分析实例：大数据分析实例：u北京邮电大学北京邮电大学“云海云海”移动互联网数据分析平台移动互联网数据分析平台1.大数据架构：大数据架构：曙光智慧交通系统架构曙光智慧交通系统架构1.大数据架构：大数据架构：IBM1.大数据架构：大数据架构：HP云监控大数据解决方案云监控大数据解决方案大数据架构大数据架构uIntel分布式分布式Hadoop架构架构大数据架构：大数据架构：微软大数据解决方案微软大数据解决方案u 设计了一套基于设计了一套基于 Microsoft SQL Server 2012 和和 Microsoft Azur

25、e HDInsight 的端到端大数据解决方案。在的端到端大数据解决方案。在 HDInsight 上快速部署上快速部署 Hadoop 群群集。集。大数据平台架构大数据平台架构u引跑科技EngineOne平台大数据虚拟化架构：大数据虚拟化架构：VMWare BDEu vSphere Big Data Extensions（BDE）是VMware基于 Serengeti开源技术的企业发行版，增强基础架构，更好地部署、运行和管理大数据负载，虚拟化应用。大数据虚拟化（BDE/Serengeti）的部署结构图大数据虚拟化架构：大数据虚拟化架构：VMWare BDESerengeti管理服务器的系统架构图

26、大数据架构大数据架构u Netflix基于基于AWS的大数据平台，不用的大数据平台，不用HDFS而用而用amazon的的S3 (美国最大的在线美国最大的在线DVD租赁商，租赁商，奈飞公司奈飞公司，提供在线影片租赁业务，提供在线影片租赁业务)Siri的技术实现架构的技术实现架构大数据大数据u购物网站的大数据分析系统购物网站的大数据分析系统大数据大数据u某银联机房某银联机房u大数据架构大数据架构大数据大数据:安全架构安全架构六、大数据系统设计案例分析六、大数据系统设计案例分析1.Web数据分析系统的软件验证模型数据分析系统的软件验证模型UML及其及其扩扩展机制展机制/QVTWeb领领域模型域模型转

27、换转换及代及代码码生成生成研研究究Web领领域建模工具原型域建模工具原型研发研发(基于基于eclipse-modeling Ecore tools,GMF的的Web领领域元建模及建模工具域元建模及建模工具)Web模型模型转转化化与与代代码码生成工具原型生成工具原型研发研发（基于（基于mediniQVT及及 eclipse-modeling operational QVT EMF的模型的模型转转化化与与代代码码生成工具）生成工具）在具体在具体Web系系统开发统开发中的中的应应用、用、验证与验证与比比较较Web应应用用实践实践基于基于MDA的的Web领领域模型域模型研研究究Web领领域的域的CIM

28、模型模型（基于（基于Ecore的的web领领域域需求的元模型需求的元模型)Web领领域的域的PIM模型模型（基于（基于Ecore的的web领领域域独独立平台的元模型）立平台的元模型）Web领领域的域的PSM模型模型Web领领域域CIM到到PIM转换转换（基于（基于QVT的的CIM到到PIM转换转换）Web领领域域PIM到到PSM转换转换（基于（基于QVT的的CIM到到PIM转换转换）Web领领域域PSM到源代到源代码转换码转换模型到元模型模型到元模型归纳转换归纳转换技技术术模型体系模型体系与与模型模型转换转换分析模型元模型分析模型元模型数据访问层元模型数据访问层元模型业务逻辑层元模型业务逻辑层

29、元模型展现层元模型展现层元模型2.淘宝大数据架构淘宝大数据架构 淘宝大数据架构淘宝大数据架构大数据架构大数据架构:淘宝海量数据产品技术架构淘宝海量数据产品技术架构n 按照数据的流向来划分，淘宝的数据产品的技术架构分为五层（自上而下），按照数据的流向来划分，淘宝的数据产品的技术架构分为五层（自上而下），分别是数据源、计算层、存储层、查询层、产品层。分别是数据源、计算层、存储层、查询层、产品层。大数据架构大数据架构:淘宝海量数据淘宝海量数据,搜索引擎架构搜索引擎架构大数据架构大数据架构:淘宝海量数据淘宝海量数据,网络服务架构网络服务架构3.大数据架构设计：大数据架构设计：智慧城市架构设计智慧城市架

30、构设计u基于结合物联网、云计算、大数据的智慧城市系统架构基于结合物联网、云计算、大数据的智慧城市系统架构案例分析：案例分析：基于工业物联网基于工业物联网与大数据分析平与大数据分析平台的台的能源管理系能源管理系统统总体架构总体架构一次能源生产二次能源生产一次排放二次能源使用二次排放次生排放原煤油气矿精炼电热油焦矿当前热点雾霾污染问题根源来自于无序无控排放，当前热点雾霾污染问题根源来自于无序无控排放，现在公布的雾霾指数标示只是城市若干个监测点现在公布的雾霾指数标示只是城市若干个监测点的结果呈现，具体排放源头及排放关键因素是什的结果呈现，具体排放源头及排放关键因素是什么？基于国情大量燃煤，燃煤换能效

31、率低排放高，么？基于国情大量燃煤，燃煤换能效率低排放高，二次排放占较大比例，二次能源消耗再产生大量二次排放占较大比例，二次能源消耗再产生大量次生排放。次生排放。煤煤煤电热焦煤电热焦电电热热焦焦油油气气所有排放环节均缺所有排放环节均缺失精细在线监测数失精细在线监测数据，无序无控恶性据，无序无控恶性排放无缘节能增效，排放无缘节能增效，发展决定总体能耗发展决定总体能耗继续升高，缓解危继续升高，缓解危局只能走节能减排局只能走节能减排信息化助力工业节信息化助力工业节能改造道路能改造道路节节能减减排管理如何着手节节能减减排措施如何把控节节能减减排效果如何确认认节能减排空间节能减排空间如何诊断如何诊断节能减

32、排计节能减排计量监测量监测管理分析评管理分析评估估？节能减排是覆盖全社会所有生产消费过程的节能减排是覆盖全社会所有生产消费过程的大系统工程，配套的能源排放在线计量监测大系统工程，配套的能源排放在线计量监测管理分析评估大数据信息化系统是其关键基管理分析评估大数据信息化系统是其关键基础架构。目前存在四大难题础架构。目前存在四大难题1、节能规划部署、节能规划部署2、能耗诊断审计、能耗诊断审计3、节能手段实施过程控制、节能手段实施过程控制4、节能效益量化计算、节能效益量化计算、EPC分成认证上报分成认证上报电信运营商覆盖全国物联网及云计算体现优势 十二五期末年排放超千吨标煤的省级重点能耗十二五期末年排

33、放超千吨标煤的省级重点能耗单位原则上必须纳入政府节能减排监管机构的监测单位原则上必须纳入政府节能减排监管机构的监测量化管理，年排放超万吨标煤的国家级重点能耗单量化管理，年排放超万吨标煤的国家级重点能耗单位必须自建企业级能源管理系统接入当地市级能源位必须自建企业级能源管理系统接入当地市级能源管理监控中心，市级汇聚到省级能源管理监控中心，管理监控中心，市级汇聚到省级能源管理监控中心，省级接入中央发改委全国能源管理监控中心平台，省级接入中央发改委全国能源管理监控中心平台，市省中央所汇集的排放原始数据向全社会开放。市省中央所汇集的排放原始数据向全社会开放。这样超级大数据系统需要极高的云计算网络这样超级

34、大数据系统需要极高的云计算网络存储资源，还要对各用能户建立多维度关联能耗存储资源，还要对各用能户建立多维度关联能耗排放模型，对自控可靠的用能户以模型仿真模拟排放模型，对自控可靠的用能户以模型仿真模拟结果对相关用能设备实施反向开关待机操作，实结果对相关用能设备实施反向开关待机操作，实现用能设备动态能效优化，这样的操控实施理应现用能设备动态能效优化，这样的操控实施理应掌控在国有掌控在国有3大运营商手中大运营商手中解决瓶颈问题-其他问题迎刃而解国家综合能源管理平台A省数据仓库及平台B省数据仓库及平台某行业数据接口服务器前端数据采集物联网网关前端辅助数据接口服务器前端数据采集物联网网关前端辅助数据接口

35、服务器前端数据采集物联网网关前端辅助数据接口服务器物联网云计算大数据结合-关键技术途径 网管系统、动环系统负责运营商自身能耗数据网管系统、动环系统负责运营商自身能耗数据采集及融合，政府发文强制重点能耗企业采用标采集及融合，政府发文强制重点能耗企业采用标准化物联网采集网关及国标智能电表无线接入此准化物联网采集网关及国标智能电表无线接入此系统、或企业已有系统按统一能耗排放数据采集系统、或企业已有系统按统一能耗排放数据采集及接口标准规范专线转发接入此系统（只要挂表及接口标准规范专线转发接入此系统（只要挂表接入政府均有适当补贴），运营商收流量费及功接入政府均有适当补贴），运营商收流量费及功能费，如用能

36、户使用能源审计诊断功能可另收咨能费，如用能户使用能源审计诊断功能可另收咨询费等，政府向运营商付财政补贴、维护费、流询费等，政府向运营商付财政补贴、维护费、流量费及服务费购买服务，运营商还可收能耗排放量费及服务费购买服务，运营商还可收能耗排放源数据交易费并向政府交管理费等。源数据交易费并向政府交管理费等。用能端能耗分量计量及影响因素感知采集辅助辅助设备设备能耗能耗主设备主设备能耗能耗照明照明能耗能耗办公设办公设备能耗备能耗室内室内外温外温湿度湿度振动振动压力压力等等地理地理装机装机空间空间建材建材环境环境等等物联网网关物联网网关电信运营商电信运营商综合能耗管理综合能耗管理大数据云平台大数据云平台

37、m2m(包括包括3G/4G、WLAN、PTN、IP)产量产量负荷负荷等等生生产产ERP系系统统能源管理大数据系统信息标准化能源管理大数据系统信息标准化动态数据静态数据静态数据l 基本配置信息：名称、编号、归属地市、位置信息（GPS经纬度）、面积、总载频数等；l 设备信息：标识码、名称、厂家、设备类型、规格型号、用途、入网时间、额定功率、额定负荷 等；l 节能措施：技术名称、实施时间、描述等；l 能耗数据：用能场所总耗电量、主设备耗电量、空调耗电量；l 环境因素：室内外温湿度；l 业务量：话务量、数据业务流量；AI量：电流、电压、温度、湿度、压力、流量、振动；DI量：告警信息；实现耗电量、PUE

38、值、电费、告警的分时段、任意时段统计查询。能耗有效管理始于精准、全面、标准化的能耗排放数据计量。能源数据的多维度分析与呈现能源数据的多维度分析与呈现网上演示：http:/113.108.158.22:7070/EnergySystem,总结、交流、作业总结、交流、作业小结：小结：大数据：大数据：系统结构：系统结构：分层架构、总体架构、分层架构、总体架构、HadoopHadoop、MapReduceMapReduce 关键技术：关键技术：并行计算、存储处理、并行计算、存储处理、ETLETL、多维显示、多维显示 相关领域：相关领域：物联网、云计算、各应用领域物联网、云计算、各应用领域讨讨 论：论：

39、大数据系统架构很多，如果要你进行分类，你从哪些大数据系统架构很多，如果要你进行分类，你从哪些维度来划分为哪些类型的架构？维度来划分为哪些类型的架构？作业：作业：题目题目:下图是下图是“车联网车联网”系统，请理解，然后回答问题系统，请理解，然后回答问题。作业：作业：问题问题 如上图是如上图是“车联网车联网”系统架构，请根据图并结合日常生系统架构，请根据图并结合日常生活经验作答：活经验作答：1.1.关于车联网系统，其包含哪些关于车联网系统，其包含哪些“数据数据”，这些数据从何，这些数据从何而来，到何处去？而来，到何处去？(画数据流图画数据流图)2.2.车联网系统中，有哪些场景下用到的数据可能很大，

40、对车联网系统中，有哪些场景下用到的数据可能很大，对系统的哪些环节有更高要求？你能设计一个车联网大数系统的哪些环节有更高要求？你能设计一个车联网大数据的系统方案吗？据的系统方案吗？3.3.车联网系统中，可能用到哪些数据分析工具或算法，在车联网系统中，可能用到哪些数据分析工具或算法，在哪些场景下有用？哪些场景下有用？主要参考文献：主要参考文献：1.1.工业和信息化部电信研究院，中国工业和信息化部电信研究院，中国大数据白皮书大数据白皮书(2014)(2014)，20142014年年5 5月月.2.2.大数据的系统架构支持，林仕鼎，大数据的系统架构支持，林仕鼎，20132013年年4 4月月.3.3.

41、物联网与智能计算，陈志成，物联网与智能计算，陈志成，20102010年年8 8月月.4.4.基于大数据的工业节能系统，北京易能境科技公司，基于大数据的工业节能系统，北京易能境科技公司，20142014年年5 5月月.5.5.软件工程领域建模，蒋严冰，北京大学软件学院，软件工程领域建模，蒋严冰，北京大学软件学院，20122012年年4 4月月.6.6.大数据文档，百度网站，大数据文档，百度网站，20142014年年5 5月月.心语共勉：心语共勉：学习、工作、生活的本质：学习、工作、生活的本质：Smile and do well.Smile and do well.微笑着做好微笑着做好 (笑对人生、干事认真笑对人生、干事认真).).站好一班岗，做好一件事，影响一个人站好一班岗，做好一件事，影响一个人敢想敢想,敢做敢做,做好做好