第七章-IT新技术课件.ppt

1、第七章 IT新技术7-2一、高性能计算的概念一、高性能计算的概念 高性能计算高性能计算简称简称HPC(High Performance Computing)HPC(High Performance Computing)，泛，泛指量大、快速、高效的运算指量大、快速、高效的运算 高性能计算通常使用高性能计算通常使用多个处理器多个处理器(作为单个机器的一部分作为单个机器的一部分)或者或者某一集群中组织的多台计算机某一集群中组织的多台计算机(作为单个计算资源操作为单个计算资源操作作)建立计算系统和环境，主要用于解决计算复杂度高和建立计算系统和环境，主要用于解决计算复杂度高和计算量大的科学问题计算量大的

2、科学问题7-3二、高性能计算机的发展现状二、高性能计算机的发展现状7-4日期日期系统系统厂商厂商国家国家处理核数处理核数目目实测浮点运算次数实测浮点运算次数峰值峰值20012001年年ASCI WHITEASCI WHITEIBMIBM公司公司美国美国8192819212TFLOPS12TFLOPS20022002年年20042004年上年上半年半年Earth-SimulatorEarth-SimulatorNECNEC公司公司日本日本5120512040TFLOPS40TFLOPS20042004年下半年年下半年20072007年年BlueGeneBlueGeneIBMIBM公司公司美国美国

3、212992212992478TFLOPS478TFLOPS20082008年年6 6月月RoadrunnerRoadrunnerIBMIBM公司公司美国美国1224001224001.026PFLOPS1.026PFLOPS20092009年年6 6月月RoadrunnerRoadrunnerIBMIBM公司公司美国美国1296001296001.105PFLOPS1.105PFLOPS20092009年年1111月月-20102010年年6 6月月JaguarJaguarCrayCray公司公司美国美国1296001296001.759PFLOPS1.759PFLOPS20102010年年

4、1111月月TH-1ATH-1A国防科技大学国防科技大学中国中国1863681863682.566PFLOPS2.566PFLOPS20112011年年6 6月月-11-11月月K computerK computer富士通公司富士通公司日本日本70502470502410.51PFLOPS10.51PFLOPS20122012年年6 6月月SequoiaSequoiaIBMIBM公司公司美国美国1572864157286416.325PFLOPS16.325PFLOPS20122012年年1111月月TitanTitanCrayCray公司公司美国美国56064056064017.59PFL

5、OPS17.59PFLOPS20132013年年6 6月月Tianhe-2Tianhe-2国防科技大学国防科技大学中国中国3120000312000033.86PFLOPS33.86PFLOPS全球高性能计算机全球高性能计算机Top500Top500榜首变化榜首变化7-5对称多处理器对称多处理器 （symmetric multiple processor,symmetric multiple processor,SMPSMP）技术）技术非一致访问分布共享存储（非一致访问分布共享存储（non uniform memory non uniform memory access,NUMAaccess,

6、NUMA）技术）技术大规模并行处理机（大规模并行处理机（massively parallel massively parallel processor,MPPprocessor,MPP）技术）技术三、高性能计算机的体系结构三、高性能计算机的体系结构7-61.1.对称多处理器技术对称多处理器技术多个处理器运行操作系统的单一复本，同时共享内存和多个处理器运行操作系统的单一复本，同时共享内存和计算机的其它资源计算机的其它资源7-72.2.非一致访问分布共享存储技术非一致访问分布共享存储技术每个处理器与本地存储器和高速缓存相连，多个处理器通每个处理器与本地存储器和高速缓存相连，多个处理器通过处理器、存

7、储器互联网络相连，处理器还通过处理器和过处理器、存储器互联网络相连，处理器还通过处理器和I/OI/O网络访问共享的网络访问共享的I/OI/O和外围设备和外围设备7-83.3.大规模并行处理机技术大规模并行处理机技术能够将更多的处理器纳入一个系统的存储器。具有多个节点，并且每个节点都有自己的存储器，通过单个的节点相互连接形成一个总系统7-9四、高性能计算的应用与展望四、高性能计算的应用与展望 地球科学地球科学 工业制造工业制造 海量信息处理海量信息处理7-10一、网格计算的概念一、网格计算的概念网格网格（GridGrid）是一个基础体系结构）是一个基础体系结构网格是把地理位置上分散的资源集成起来

8、的一种网格是把地理位置上分散的资源集成起来的一种基础基础设施设施-用户不需要了解这个基础设施上资源的具体细用户不需要了解这个基础设施上资源的具体细节就可以使用自己需要的资源节就可以使用自己需要的资源分布式资源分布式资源和和通信网络通信网络是网格的物理基础是网格的物理基础网格上的资源包括计算机、集群、计算机池、仪器、网格上的资源包括计算机、集群、计算机池、仪器、设备、传感器、存储设施、数据、软件等实体设备、传感器、存储设施、数据、软件等实体这些实体工作时需要的相关软件和数据也属于网格资这些实体工作时需要的相关软件和数据也属于网格资源源7-11按照网格客体的不同层次，可将网格分为按照网格客体的不同

9、层次，可将网格分为资源网格、资源网格、信息网格和知识网格信息网格和知识网格网格的主要功能是从底层的数据和信息中网格的主要功能是从底层的数据和信息中发掘知识、发掘知识、处理知识、应用知识处理知识、应用知识一、网格计算的概念一、网格计算的概念7-12二、网格体系结构二、网格体系结构五层沙漏结构（五层沙漏结构（Five-Level Sandglass Five-Level Sandglass ArchitectureArchitecture）伊安福斯特等人在早些时候提出开放网格服务体系结构开放网格服务体系结构 (Open Grid Services(Open Grid Services Archit

10、ectureArchitecture，OGSA)OGSA)在工业界的影响下，考虑到Web技术的发展与影响后，伊安福斯特等结合五层沙漏结构和Web Service提出的WebWeb服务资源框架（服务资源框架（Web Service Resource Web Service Resource FrameworkFramework，WSRFWSRF）由Globus联盟、IBM和HP于2004年初共同提出7-13二、网格体系结构二、网格体系结构-五层沙漏结构五层沙漏结构根据该结构中根据该结构中各组成部分各组成部分与共享资源的距离与共享资源的距离，将对，将对共享资源进行操作、管理共享资源进行操作、管理和

11、使用的功能分散在五个和使用的功能分散在五个不同的层次，由下至上分不同的层次，由下至上分别为构造层别为构造层(Fabric)(Fabric)、连、连接层接层(Connectivity)(Connectivity)、资、资源层源层(Resource)(Resource)、汇聚层、汇聚层(Collective)(Collective)和应用层和应用层(Application)(Application)7-14包括两大关键技术，即包括两大关键技术，即网网格技术格技术和和Web ServiceWeb Service技技术，术，它是在五层沙漏结构它是在五层沙漏结构的基础上，结合的基础上，结合Web Web

12、 ServiceService技术提出来的，技术提出来的，解决了两个重要问题解决了两个重要问题标准服务接口的定义和协标准服务接口的定义和协议的识别议的识别二、网格体系结构二、网格体系结构-开放网格服务体系结构开放网格服务体系结构7-15 WSRFWSRF采用了与网格服务完全不同的定义：资源是有状采用了与网格服务完全不同的定义：资源是有状态的，服务是无状态的态的，服务是无状态的 WSRFWSRF推出的目的在于定义出一个通用且开放的架构，推出的目的在于定义出一个通用且开放的架构，利用利用WebWeb服务对具有状态属性的资源进行存取，并包含服务对具有状态属性的资源进行存取，并包含描述状态属性的机制，

13、另外也包含如何将机制延伸至描述状态属性的机制，另外也包含如何将机制延伸至WebWeb服务中的方式服务中的方式 对于对于WSRFWSRF本身而言，由于其提出不久，其规范还有待本身而言，由于其提出不久，其规范还有待在实践中得到进一步应用证明，并逐步得到完善在实践中得到进一步应用证明，并逐步得到完善二、网格体系结构二、网格体系结构-WSRF-WSRF网格服务体系结构网格服务体系结构7-16三、网格计算的关键技术三、网格计算的关键技术 编程技术编程技术 编程支持系统，面向对象编程技术、商品化技术 中间件中间件 网格中最关键的一层，是网格系统中连接上层应用和下层资源的纽带，它提供对网格的管理功能 核心服

14、务技术核心服务技术 高吞吐率网格资源管理 数据收集、信息优化技术 网格中作业调度技术 网格安全技术7-17四、网格计算的应用与发展四、网格计算的应用与发展 分布式超级计算分布式超级计算 高吞吐率计算高吞吐率计算 数据密集型计算数据密集型计算 基于广泛信息共享的人与人交互基于广泛信息共享的人与人交互 据据Forbes ASAPForbes ASAP预测，网格技术将带来因特网的新预测，网格技术将带来因特网的新生生 有业界专家预测，网格计算将可能成为未来网络市场有业界专家预测，网格计算将可能成为未来网络市场发展的热点发展的热点7-18 20062006年年3 3月，亚马逊（月，亚马逊（AmazonA

15、mazon）推出弹性计算云）推出弹性计算云（Elastic Compute CloudElastic Compute Cloud，EC2EC2）服务）服务 20062006年年8 8月月9 9日，日，GoogleGoogle首席执行官埃里克首席执行官埃里克 施密特施密特（Eric Emerson SchmidtEric Emerson Schmidt）提出）提出“云计算云计算”的概念，的概念，自此云计算的迅速发展跨越了学术和科技界，融入到自此云计算的迅速发展跨越了学术和科技界，融入到了许多社会行业，并已经引起了广泛的关注了许多社会行业，并已经引起了广泛的关注 20122012年云计算已经被公认

16、为是普遍性的信息技术，云年云计算已经被公认为是普遍性的信息技术，云计算被认为是继计算被认为是继个人电脑、互联网个人电脑、互联网之后电子信息领域之后电子信息领域的第三次的第三次ITIT革命革命7-19一、云计算的基本概念一、云计算的基本概念云计算是一种云计算是一种按使用量付费按使用量付费的模式，这种模式提供的模式，这种模式提供可可用的、便捷的、按需的用的、便捷的、按需的网络访问网络访问云计算是基于云计算是基于互联网互联网相关服务的增加、使用和交付模相关服务的增加、使用和交付模式式云计算本质上是一种云计算本质上是一种共享服务共享服务，提供定制化的按需使，提供定制化的按需使用服务，将海量的信息资源进

17、行整合，并通过网络的用服务，将海量的信息资源进行整合，并通过网络的方式将这些资源分配给需要的用户，与此同时，可以方式将这些资源分配给需要的用户，与此同时，可以对资源进行对资源进行动态分配动态分配并进行并进行灵活扩充灵活扩充7-20一、云计算的基本概念一、云计算的基本概念云计算的特征云计算的特征以网络为中心以网络为中心以服务为提供方式以服务为提供方式资源池与透明化资源池与透明化高扩展、高可靠性高扩展、高可靠性云计算的分类云计算的分类(根据云的部署模式和服务对象根据云的部署模式和服务对象)公共云公共云私有云私有云混合云混合云云计算的标准化云计算的标准化7-21二、云计算的技术架构二、云计算的技术架

18、构根据云的服务层次和服务类型，云计算主要包括以下根据云的服务层次和服务类型，云计算主要包括以下三个层次的服务：三个层次的服务：基础设施即服务基础设施即服务(作为一种服务提供的基础设施作为一种服务提供的基础设施)平台即服务平台即服务(作为一种服务提供的平台作为一种服务提供的平台)软件即服务软件即服务(作为一种服务提供的软件作为一种服务提供的软件)7-22二、云计算的技术架构二、云计算的技术架构基础设施即服务基础设施即服务(Infrastructure as a Service，简称，简称IaaS)IaaS 为用户提供按需付费的弹性基础服务，其核心技术是虚拟化，它将硬件设备等基础资源，包括计算、存

19、储和网络等，封装成服务供用户使用，典型的如亚马逊的弹性计算云 EC2（Elastic Compute Cloud）和简单存储服务 S3（Simple Storage Service）7-23二、云计算的技术架构二、云计算的技术架构平台即服务平台即服务(Platform as a Service，简称，简称PaaS)PaaS面向广大互联网应用开发者，它将一个完整的应用开发平台都作为一种服务提供给客户在这种服务模式中，客户不需要购买硬件和软件，只需要利用 PaaS 平台，就能够创建、测试和部署应用和服务PaaS 负责资源的动态扩展、容错管理和结点间的配合，但与此同时，用户的自主权降低，必须使用特定

20、的编程环境并遵照特定的编程模型7-24二、云计算的技术架构二、云计算的技术架构软件即服务软件即服务(Software as a Service，简称，简称SaaS）SaaS 是指将某些特定应用软件功能封装成服务，如 Salesforce 公司提供的在线客户关系管理 CRM 服务SaaS 既不像 IaaS 一样提供计算或存储资源类型的服务，也不像 PaaS 一样提供运行用户自定义应用程序的环境，它只提供某些专门用途的服务调用7-25三、云计算的关键技术三、云计算的关键技术虚拟化技术虚拟化技术实现类物理资源的逻辑抽象和统一表示主要包括：计算虚拟化、存储虚拟化、网络虚拟化、应用虚拟化等分布式编程模型

21、与计算分布式编程模型与计算实现了在后台自动地将用户的程序分解为高效的分布式计算或并行计算模式海量数据分布式存储技术海量数据分布式存储技术采用分布式存储的方式存储数据可以满足云计算系统并行地为大量用户提供服务的需求7-26三、云计算的关键技术三、云计算的关键技术海量数据管理技术海量数据管理技术云计算的数据管理技术必须具备高效管理大量分布式数据的能力，满足云计算对分布式存储的海量数据进行处理和分析的需求虚拟资源的管理与调度虚拟资源的管理与调度大量的虚拟化资源协同工作，方便地进行业务部署和开通，快速发现和恢复系统故障，实现大规模系统的可靠运行云计算相关的安全技术云计算相关的安全技术云计算模式带来一系

22、列的安全问题，包括用户隐私的保护、用户数据的备份、云计算基础设施的防护等，这些问题都需要更强的技术手段7-27三、云计算应用与展望三、云计算应用与展望云计算的现状云计算的现状欧盟委员会在2012年9月启动“释放欧洲云计算潜力”的战略计划国家发改委、工信部将北京、上海、深圳、杭州、无锡、哈尔滨市确定为国家云计算服务创新发展试点城市亚马逊、IBM、微软、Google等国际知名IT公司均提供了云计算相关的商业服务百度、腾讯、联想、阿里巴巴等公司相继进入云计算领域，着力开发适合我国客户的云计算解决方案7-28三、云计算应用与展望三、云计算应用与展望云计算的应用领域云计算的应用领域医药医疗领域制造领域金

23、融与能源领域电子政务领域教育科研领域7-29三、云计算应用与展望三、云计算应用与展望云计算的展望云计算的展望私有云将首先发展起来混合云架构将成为企业IT趋势 云计算概念逐渐平民化 7-30 物联网（物联网（The Internet of things）是通过）是通过射频识别、红射频识别、红外感应器、全球定位系统、激光扫描器外感应器、全球定位系统、激光扫描器等信息传感设备，等信息传感设备，按预先约定的协议，按预先约定的协议，把任何物品与互联网连接起来把任何物品与互联网连接起来，进行，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一

24、种网络和管理的一种网络 物联网就是物联网就是“物物相连的互联网物物相连的互联网”两层含义两层含义 通过装置在物体上的各种信息传感设备赋予物体智能，并通过接通过装置在物体上的各种信息传感设备赋予物体智能，并通过接口与互联网相连而形成一个物品与物品相连的巨大口与互联网相连而形成一个物品与物品相连的巨大分布式协同网分布式协同网络络 物理世界与信息世界的无缝连接物理世界与信息世界的无缝连接一、物联网的概念一、物联网的概念7-31二、国内外物联网的发展二、国内外物联网的发展 1995年年，比尔比尔盖茨盖茨在在未来之路未来之路中提到中提到中提到物联网中提到物联网概念概念；1999年，年，(EPC)glob

25、al的前身麻省理工的前身麻省理工Auto-ID中心提中心提出出“Internet of Things”的构想的构想；2005年，国际电信联盟发布名为年，国际电信联盟发布名为Internet of Things的技术报告，正式提出的技术报告，正式提出“物联网物联网”的概念的概念；2009年年8月，无锡市率先建立了月，无锡市率先建立了“感知中国感知中国”研究中心研究中心；2010年，我国提出的传感器网络协同信息处理国际标准获年，我国提出的传感器网络协同信息处理国际标准获正式立项正式立项，互联网在各个领域开展了广泛的应用；，互联网在各个领域开展了广泛的应用；7-32二、国内外物联网的发展二、国内外物

26、联网的发展 物体协同分布式网络无缝连接的物理世界7-33二、国内外物联网的发展二、国内外物联网的发展未来物联网的发展预测未来物联网的发展预测2010年之前RFID被广泛应用于物流、零售和制药领域20102015年物体互联20152020年物体进入半智能化2020年之后物体进入全智能化7-34 物联网物联网具备三个特征具备三个特征：三、三、物联网体系架构及关键技术物联网体系架构及关键技术7-35三、三、物联网体系架构及关键技术物联网体系架构及关键技术 物联网的体系结构物联网的体系结构 感知层：感知层：识别物体，采集信息识别物体，采集信息 网络层网络层：信息传递和处理信息传递和处理 应用层应用层：

27、与行业需求结合，实现广泛智能化与行业需求结合，实现广泛智能化7-36 感知层技术感知层技术感知层是物联网发展和应用的基础，感知层是物联网发展和应用的基础，RFID技术、传感和控制技术技术、传感和控制技术、短距离无线通讯技术是感知层涉及的主要技术。其中又包括芯片、短距离无线通讯技术是感知层涉及的主要技术。其中又包括芯片研发，通讯协议研究，研发，通讯协议研究，RFID材料，智能节点供电等细分技术材料，智能节点供电等细分技术。网络层技术网络层技术物联网的网络层将建立在现有的移动通讯网和互联网基础上物联网的网络层将建立在现有的移动通讯网和互联网基础上，通过通过各种接入设备与移动通讯网和互联网相连。也包

28、括信息存储查询，各种接入设备与移动通讯网和互联网相连。也包括信息存储查询，网络管理等功能。网络层中的感知数据管理与处理技术是实现以数网络管理等功能。网络层中的感知数据管理与处理技术是实现以数据为中心的物联网的核心技术。据为中心的物联网的核心技术。应用层技术应用层技术应用层关键问题在于信息的社会化共享和开发利用、以及信息安全应用层关键问题在于信息的社会化共享和开发利用、以及信息安全的保障的保障，利用经过分析处理的感知数据，为用户提供丰富的特定服利用经过分析处理的感知数据，为用户提供丰富的特定服务。务。三、三、物联网体系架构及关键技术物联网体系架构及关键技术7-37四、物联网的应用四、物联网的应用

29、城市管理城市管理 智能交通，智能建筑，文物保护和数字博物馆，古迹、古树实时监测，数字图书馆和数字档案馆数字家庭数字家庭定位导航定位导航现代物流管理现代物流管理食品安全控制食品安全控制零售零售数字医疗数字医疗防入侵系统防入侵系统7-38一、大数据的概念一、大数据的概念 大数据的定义大数据的定义 Edd Dumbill（OReilly Radar公司首席分析师）：大数据因为量太大或者变化太快等原因而超出了传统数据库系统处理能力范围的数据，想要挖掘其中蕴含的价值，必须采用不同的方法。麦肯锡公司：大数据是其体量超出了传统数据库软件工具的采集、存储、管理和分析能力的数据。道格兰尼(Doug Laney)

30、（Gartner公司分析师）：大数据具有量大、变化快和多样性高的特点，需要新型的处理方式进行决策支持、科学探索和优化处理。共同点：共同点：大数据因为其特征使得传统的数据处理系统无大数据因为其特征使得传统的数据处理系统无能为力，需要新型的理论、硬件、软件处理技术。能为力，需要新型的理论、硬件、软件处理技术。7-39二、大数据的特性二、大数据的特性 大数据的特性（大数据的特性（5V）Volume（大量）：指的是大数据量大的特性，不仅量大而且增长速度快，IDC最新“数字宇宙”研究结果显示，全世界的信息量每两年以超过翻番的速度增长，其增长速度超过摩尔定律。Velocity（高速）：主要是指数据的流动性

31、很大，变化迅速，需要极强的处理能力以便能够随时响应数据的变化。Variety（多样）：指的是数据的多样性，这种多样性包括类型多样以及来源多样。Value（价值）：价值是决定大数据应用的根本属性。Veracity（真实）：只有准确的数据才会准确的反映真实世界，数据越准确，通过数据获取的关于真实世界的信息也就也准确。7-40三、大数据的处理技术三、大数据的处理技术 采用多机互联构建分布式集群是现阶段大数据问题的主流采用多机互联构建分布式集群是现阶段大数据问题的主流解决方案解决方案 分布式集群的核心功能主要包括存储以及处理分布式集群的核心功能主要包括存储以及处理 存储：用于文件存储的分布式文件系统、

32、具有数据管理功能的分布式数据库等 处理：面向数据密集型任务的分布式处理架构、面向计算密集型任务的分布式处理架构等7-41三、大数据的处理技术三、大数据的处理技术 Hadoop家族家族 HDFS(Hadoop Distributed File System)：可扩展、自动容错、高可用的分布式文件系统 MapReduce：用于大规模数据处理、支持细粒度容错的分布式计算架构 Hbase：高可靠性、高性能、面向列、可伸缩的分布式存储系统 Hive：将存储在HDFS中的结构化数据文件映射为一张数据表 Pig：基于Hadoop平台的大规模数据分析系统 大数据领域的分布式大数据领域的分布式系统系统还还有很多

33、有很多：Storm、用于用于集集群计算的群计算的Spark、分布式列式存储系统、分布式列式存储系统Cassandra、分布式文档存储系统分布式文档存储系统MongoDB等等7-42四、大数据的应用与挑战四、大数据的应用与挑战 大数据大数据的应用的应用 电子商务领域 移动互联网领域 物联网领域 医疗领域 社交媒体领域 环境领域 交通领域 7-43四、大数据的应用与挑战四、大数据的应用与挑战 大数据大数据带来的威胁带来的威胁 隐私泄露 可信度低 数据垄断 7-44 主要内容主要内容 高性能计算 网格计算 云计算 物联网 大数据技术 介绍方式介绍方式 概念定义 体系结构 关键技术 研究现状、应用及展望 学习意义学习意义 有助于了解信息时代的新知识、新技术及发展趋势，是学习更深层次IT技术的基础