《物联网概论》第10章-物联网的数据处理课件.ppt

1、物联网概论物联网概论&第第1010章章 物联网的数据处理物联网的数据处理&机械工业出版社机械工业出版社第第10章章 物联网的数据处理物联网的数据处理&10.1 10.1 数据中心数据中心&10.2 10.2 数据库系统数据库系统&10.3 10.3 数据挖掘数据挖掘&10.4 10.4 搜索引擎搜索引擎&10.5 10.5 海量数据存储海量数据存储&10.6 10.6 云计算云计算&10.7 10.7 普适计算普适计算10.1 数据中心数据中心&10.1.1 10.1.1 数据中心的组成数据中心的组成&10.1.2 10.1.2 数据中心的分类与分级数据中心的分类与分级&10.1.3 10.1

2、.3 数据中心的建设数据中心的建设数据数据中心中心的定义的定义 可以实现信息的集中处理、存储、传输、交换和可以实现信息的集中处理、存储、传输、交换和管理等功能的基础设施管理等功能的基础设施计算机设备服务器网络设备通信设备存储设备物联网概论-韩毅刚4数据中心外部数据中心外部 Google物联网概论-韩毅刚5IDCIDC物联网概论-韩毅刚6数据中心内部数据中心内部物联网概论-韩毅刚7数据中心内部数据中心内部物联网概论-韩毅刚810.1.1 10.1.1 数据中心的数据中心的组成组成物联网概论-韩毅刚9 物理组成物理组成 逻辑组成逻辑组成数据中心物理组成数据中心物理组成 计算机设备计算机设备 服务器

3、服务器 网络设备网络设备 通信设备通信设备 存储设备存储设备物联网概论-韩毅刚10数据中心逻辑组成数据中心逻辑组成 支撑系统支撑系统 计算设备计算设备 业务信息系统业务信息系统物联网概论-韩毅刚11数据中心的逻辑组成示意图数据中心的逻辑组成示意图物联网概论-韩毅刚1210.1.2 10.1.2 数据中心的分类与数据中心的分类与分级分级 分类分类EDCIDC 分级分级国标GB50174-92物联网概论-韩毅刚13数据中心分类数据中心分类 EDC企业数据中心 IDC互联网数据中心物联网概论-韩毅刚14分级分级 国标国标GB50174-92A（容错型）B（冗余型）C（基本型）国际国际TIA-942标

4、准TierTierTierTier物联网概论-韩毅刚1510.1.3 10.1.3 数据中心的数据中心的建设建设 建筑建筑 装修装修 设备安装设备安装物联网概论-韩毅刚16数据中心部分机柜数据中心部分机柜物联网概论-韩毅刚17数据中心部分通信设备机柜数据中心部分通信设备机柜物联网概论-韩毅刚18走线架走线架物联网概论-韩毅刚19数据中心的电源组数据中心的电源组物联网概论-韩毅刚20UPCUPC供电系统供电系统物联网概论-韩毅刚21发电机供电发电机供电物联网概论-韩毅刚22空调系统空调系统物联网概论-韩毅刚23监控系统监控系统 单个机房单个机房物联网概论-韩毅刚24计算机网络 TCP/IP TC

5、P/IPAgent软件或Client软件机房环境 TCP/IPWeb软件 TCP/IP网络设备嵌入式系统消防系统消防系统 原理原理物联网概论-韩毅刚25防雷接地系统防雷接地系统物联网概论-韩毅刚2610.2 数据库系统数据库系统&10.2.1 10.2.1 数据库的类型数据库的类型&10.2.2 10.2.2 数据库的操作数据库的操作&10.2.3 10.2.3 数据库与物联网数据库与物联网27物联网概论-韩毅刚10.2.1 10.2.1 数据库的数据库的类型类型物联网概论-韩毅刚28 关系数据库关系数据库 层次数据库层次数据库 网状数据库网状数据库新型数据库新型数据库 演绎数据库演绎数据库

6、面向对象数据库面向对象数据库 分布式数据库分布式数据库 分布式实时数据库分布式实时数据库 工程数据库工程数据库 时态数据库时态数据库 模糊数据库模糊数据库物联网概论-韩毅刚2910.2.2 10.2.2 数据库的数据库的操作操作 DBMSDBMS SQLSQL物联网概论-韩毅刚30DBMSDBMS 桌面数据库桌面数据库AccessFoxProdBase 客户客户/服务器数据库服务器数据库SQL ServerOracleSybase物联网概论-韩毅刚31SQLSQL 查询查询 更新更新 添加添加 删除删除物联网概论-韩毅刚3210.2.3 10.2.3 数据库与物数据库与物联网联网 非关系数据库

7、非关系数据库系统系统 物联网数据库特征物联网数据库特征物联网概论-韩毅刚33非关系数据库系统非关系数据库系统 非非SQL亚马逊的Dynamo脸谱的Cassandra阿帕奇的HBase物联网概论-韩毅刚34物联网数据库物联网数据库特征特征 数据量大数据量大 数据异构性强数据异构性强 数据关联性复杂数据关联性复杂 分布式存储分布式存储 数据实时性数据实时性物联网概论-韩毅刚35物联网数据库举例物联网数据库举例 分布式实时数据库分布式实时数据库 主动数据库主动数据库物联网概论-韩毅刚3610.3 数据挖掘数据挖掘&10.3.1 10.3.1 数据挖掘的过程数据挖掘的过程&10.3.2 10.3.2

8、数据挖掘的方法数据挖掘的方法&10.3.3 10.3.3 物联网中的数据挖掘物联网中的数据挖掘37物联网概论-韩毅刚10.3.1 10.3.1 数据挖掘的数据挖掘的过程过程物联网概论-韩毅刚38 1.1.数据处理数据处理 2.2.数据数据挖掘挖掘 3.3.知识评估与表示知识评估与表示1.1.数据处理数据处理 1）数据准备）数据准备 2）数据选取）数据选取 3）数据预处理）数据预处理 4）数据变换）数据变换物联网概论-韩毅刚392.2.数据数据挖掘挖掘 1）选择算法）选择算法 2）数据挖掘。）数据挖掘。物联网概论-韩毅刚403.3.知识评估与知识评估与表示表示 模式选择模式选择 知识评估知识评估

9、 结果可视化结果可视化物联网概论-韩毅刚4110.3.2 10.3.2 数据挖掘的数据挖掘的方法方法 集合论方法集合论方法 信息论方法信息论方法 仿生学方法仿生学方法 其他方法其他方法物联网概论-韩毅刚42数据数据挖掘挖掘的具体方法的具体方法 1）统计分析方法）统计分析方法 2）决策树）决策树 3）神经网络）神经网络 4）遗传算法）遗传算法 5）粗糙集）粗糙集 6）联机分析处理技术）联机分析处理技术物联网概论-韩毅刚4310.3.3 10.3.3 物联网中的数据物联网中的数据挖掘挖掘 1.1.异构数据的异构数据的处理处理 2.2.分布式数据挖掘分布式数据挖掘物联网概论-韩毅刚441.1.异构数

10、据的异构数据的处理处理 结构化数据结构化数据 半结构化半结构化数据数据 非结构化数据非结构化数据物联网概论-韩毅刚452.2.分布式数据分布式数据挖掘挖掘 集中式集中式 局部式局部式物联网概论-韩毅刚4610.4 搜索引擎搜索引擎&10.4.1 10.4.1 搜索引擎的分类搜索引擎的分类&10.4.2 10.4.2 搜索引擎的组成和工作原理搜索引擎的组成和工作原理&10.4.3 10.4.3 面向物联网的搜索引擎面向物联网的搜索引擎47物联网概论-韩毅刚10.4.1 10.4.1 搜索引擎的搜索引擎的分类分类物联网概论-韩毅刚48 全文全文搜索引擎搜索引擎 目录目录索引类索引类搜索引擎搜索引擎

11、 元元搜索引擎搜索引擎10.4.2 10.4.2 搜索引擎的组成和工作搜索引擎的组成和工作原理原理 工作过程工作过程 组成组成 工作原理工作原理物联网概论-韩毅刚49搜索引擎工作过程搜索引擎工作过程 搜索信息搜索信息 整理信息，建立索引整理信息，建立索引 结果排序结果排序物联网概论-韩毅刚50搜索引擎系统结构搜索引擎系统结构物联网概论-韩毅刚51搜索引擎的组成搜索引擎的组成 1.搜索器搜索器 2.索引器索引器 3.检索器检索器 4.用户接口用户接口物联网概论-韩毅刚5210.4.3 10.4.3 面向物联网的面向物联网的搜索引擎搜索引擎 数据特征数据特征 搜索引擎特征搜索引擎特征物联网概论-韩

12、毅刚53搜索引擎特征搜索引擎特征 1）搜索内容的时空性强）搜索内容的时空性强 2）实体搜索）实体搜索 3）查询输入方式多样）查询输入方式多样 4）安全和隐私问题）安全和隐私问题 5）多媒体搜索）多媒体搜索物联网概论-韩毅刚5410.5 海量数据存储海量数据存储&10.5.1 10.5.1 磁盘阵列磁盘阵列&10.5.2 10.5.2 网络存储网络存储&10.5.3 10.5.3 云存储云存储55物联网概论-韩毅刚10.5.1 10.5.1 磁盘磁盘阵列阵列物联网概论-韩毅刚56 1 1RAIDRAID级别级别 2 2.RAID.RAID技术技术特点特点 3 3.RAID.RAID的实现的实现磁

13、盘阵列磁盘阵列物联网概论-韩毅刚574 4盘位磁盘阵列存储器盘位磁盘阵列存储器物联网概论-韩毅刚58机柜式磁盘阵列机柜式磁盘阵列物联网概论-韩毅刚59RAIDRAID级别级别 RAID分为分为 07个级别个级别 RAID 10RAID 0与RAID 1的组合 RAID 50RAID 0与RAID 5的组合物联网概论-韩毅刚60RAIDRAID优点优点 传输速率传输速率高高 容错容错物联网概论-韩毅刚61RAIDRAID的具体实现的具体实现 软件软件RAID 硬件硬件RAID物联网概论-韩毅刚6210.5.2 10.5.2 网络网络存储存储 1.1.直接附加存储直接附加存储DASDAS 2.2.

14、网络附加存储网络附加存储NASNAS 3.3.存储区域网存储区域网SANSAN物联网概论-韩毅刚631.1.直接附加存储直接附加存储DASDAS 直附直附式式存储存储Direct Attached Storage 电缆直接相连电缆直接相连物联网概论-韩毅刚642.2.网络附加存储网络附加存储NASNAS 网附网附式式存储存储Network Attached Storage 通过网络接口连接通过网络接口连接物联网概论-韩毅刚653 3.存储区域网存储区域网SANSAN SANStorage Area Network物联网概论-韩毅刚6610.5.3 10.5.3 云云存储存储 概念概念 结构模型

15、结构模型物联网概论-韩毅刚67云存储的概念云存储的概念 一种服务模式一种服务模式 云计算的延伸云计算的延伸物联网概论-韩毅刚68云存储的体系结构云存储的体系结构 访问层访问层 应用接口层应用接口层 基础管理层基础管理层 存储层存储层物联网概论-韩毅刚6910.6 云计算云计算&10.6.1 10.6.1 云计算的概念云计算的概念&10.6.2 10.6.2 云计算系统的组成和结构云计算系统的组成和结构&10.6.3 10.6.3 云计算系统实例云计算系统实例&10.6.4 10.6.4 云计算系统的开发云计算系统的开发70物联网概论-韩毅刚10.6.1 10.6.1 云计算的云计算的概念概念物

16、联网概论-韩毅刚71 定义定义 分类分类 延伸延伸云计算的定义云计算的定义 一种基于互联网的新的一种基于互联网的新的IT服务增加、使用和交付服务增加、使用和交付模式模式物联网概论-韩毅刚72云云计算的计算的服务模式服务模式 基础设施即服务基础设施即服务IaaSInfrastructure as a Service 平台即服务平台即服务PaaSPlatform as a Service 软件即服务软件即服务SaaSSoftware as a Service物联网概论-韩毅刚73云计算的类型云计算的类型 公共云公共云 私有云私有云 企业云企业云物联网概论-韩毅刚74云计算云计算的延伸的延伸 云存储

17、云存储 云安全云安全 云电视云电视 云手机云手机 海计算海计算 框计算框计算 风计算风计算物联网概论-韩毅刚7510.6.2 10.6.2 云计算系统的组成和云计算系统的组成和结构结构 SOASOA层层 中间管理层中间管理层 资源池层资源池层 物理物理资源资源层层物联网概论-韩毅刚76云计算体系结构云计算体系结构物联网概论-韩毅刚7710.6.3 10.6.3 云计算系统云计算系统实例实例 1.1.亚马逊云亚马逊云计算计算 2.2.微软云计算微软云计算Windows AzureWindows Azure物联网概论-韩毅刚781.1.亚马逊云亚马逊云计算计算 弹性计算云弹性计算云EC2Elast

18、ic Compute Cloud 简单存储服务简单存储服务S3Simple Storage Service 简单数据库服务简单数据库服务SDBSimpleDB物联网概论-韩毅刚79EC2EC2基本架构基本架构物联网概论-韩毅刚80S3S3基本数据结构基本数据结构物联网概论-韩毅刚812.2.微软云计算微软云计算Windows Windows AzureAzure 云计算操作系统云计算操作系统 SQL Azure云计算数据库云计算数据库.NET服务服务物联网概论-韩毅刚82 Windows Azure Windows Azure主要部分主要部分物联网概论-韩毅刚8310.6.4 10.6.4 云

19、计算系统的云计算系统的开发开发 1 1.开开源云计算系统源云计算系统HadoopHadoop 2 2.云云计算虚拟化计算虚拟化技术技术 3.3.云计算仿真器云计算仿真器CloudSimCloudSim物联网概论-韩毅刚841.1.开源云计算系统开源云计算系统HadoopHadoop HDFS分布式文档系统分布式文档系统 MapReduce分布式平行计算框架分布式平行计算框架 Hbase分布式数据库分布式数据库物联网概论-韩毅刚85HadoopHadoop的云计算架构的云计算架构物联网概论-韩毅刚862.2.云计算虚拟化云计算虚拟化技术技术 全虚拟化全虚拟化 半虚拟化半虚拟化 硬件辅助虚拟化硬件

20、辅助虚拟化物联网概论-韩毅刚873.3.云计算仿真器云计算仿真器CloudSimCloudSim 用户代码层用户代码层 CloudSim层层 GridSim层层 SimJava层层物联网概论-韩毅刚88CloudSimCloudSim体系结构体系结构物联网概论-韩毅刚8910.7 普适计算普适计算&10.7.1 10.7.1 普适计算技术的特征普适计算技术的特征&10.7.2 10.7.2 普适计算的组成普适计算的组成&10.7.3 10.7.3 普适计算的体系结构普适计算的体系结构&10.7.4 10.7.4 普适计算的关键技术普适计算的关键技术90物联网概论-韩毅刚普适计算的概念普适计算的

21、概念物联网概论-韩毅刚9110.7.1 10.7.1 普适计算技术的普适计算技术的特征特征物联网概论-韩毅刚92 信息空间与物理空间信息空间与物理空间 间断间断连接与轻量计算连接与轻量计算信息空间与物理信息空间与物理空间空间的融合的融合物联网概论-韩毅刚9310.7.2 10.7.2 普适计算的普适计算的组成组成 普适计算普适计算设备设备 普普适计算适计算网络网络 系统软件系统软件 人机交互人机交互物联网概论-韩毅刚94普适计算系统普适计算系统物联网概论-韩毅刚9510.7.3 10.7.3 普适计算的普适计算的体系结构体系结构 层次层次模型模型见仁见智 4 4层模型层模型 8 8层模型层模型

22、物联网概论-韩毅刚96应用环境中的普适计算体系结构应用环境中的普适计算体系结构物联网概论-韩毅刚9710.7.4 10.7.4 普适计算的关键普适计算的关键技术技术 1.1.人机接口人机接口技术技术 2.2.上下文感知上下文感知计算计算 3.3.服务的服务的组合组合 4.4.自适应技术自适应技术物联网概论-韩毅刚981.1.人机接口人机接口技术技术 1）接口的自适应性）接口的自适应性 2）不可见的用户接口）不可见的用户接口物联网概论-韩毅刚992.2.上下文感知上下文感知计算计算 上下文信息上下文信息“5何”何时、何地、何人、何事、何因5Wwhen,where,who,what,why 物联网概论-韩毅刚1003 3.服务的服务的组合组合 组合服务组合服务的发现的发现服务的匹配服务的选择 服务协调器服务协调器 错误检测与修复错误检测与修复物联网概论-韩毅刚1014 4.自适应自适应技术技术 对用户情境自适应对用户情境自适应 对设备资源自适应对设备资源自适应 对系统资源状态自适应对系统资源状态自适应 保留系统保留系统物联网概论-韩毅刚102总结总结&数据中心数据中心&数据存储、组织、搜索、挖掘数据存储、组织、搜索、挖掘&云计算云计算&普适计算普适计算