分布式计算工作原理课件.ppt

1、高性能和分布式计算高性能和分布式计算林小拉林小拉中山大学信息科学与技术学院中山大学信息科学与技术学院内容提要内容提要一分布式计算和分布式系统二P2P计算三云计算和网格计算 四传感器网络和物联网 分布式计算和分布式系统分布式计算和分布式系统l分布式计算分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。l分布式系统分布式系统是这样的系统，它运行在不具有共享内存的多台机器上，但在用户的眼里却像是一台计算机（Andrew S.Tanenbaum）。分布式计算优点和特点分布式

2、计算优点和特点 1.资源共享资源共享:可共享系统中的硬件、软件和数据等信息资源。2.2.分布式透明处理平台分布式透明处理平台:展现给用户的是一个统一的整体系统;3 3.高性价比：高性价比：分布式系统具有较高的性能价格比。4.4.应用分布性：应用分布性：多数应用本身就是分布式的，如ATM应用。5.5.高可靠性：高可靠性：现代分布式系统具有高度容错机制。6.6.可扩展性：可扩展性：添加几台PC等可提高系统的性能。7.7.高度灵活性：高度灵活性：能够兼容不同硬件厂商的产品，兼容低配置机器和外设而获得高性能计算。若干著名高复杂性问题若干著名高复杂性问题l需要非常巨大的计算能力才能解决的问题。这类问题一

3、般是跨学科的、极富挑战性的、人类急待解决的科研课题。其中较为著名的是:1.解决较为复杂的数学问题，例如：GIMPS（寻找最大的梅森素数）。2.研究寻找最为安全的密码系统，例如：RC-72（密码破解）。3.生物病理研究，例如：Foldinghome（研究蛋白质折叠，误解，聚合及由此引起的相关疾病）。4.各种各样疾病的药物研究，例如：United Devices（寻找对抗癌症的有效的药物）。5.信号处理，例如：SETIHome（在家寻找地外文明）。分布式计算分布式计算工作原理工作原理l分布式计算是利用互联网上的计算机的中央处理器的闲置处理能力来解决大型计算问题的一种计算科学。l随着计算机的普及，越

4、来越多的电脑处于闲置状态，即使在开机状态下中央处理器的潜力也远远不能被完全利用。l互联网的出现,使得连接调用所有这些拥有限制计算资源的计算机系统成为了现实。l一个非常复杂的问题往往很适合于划分为大量的更小的计算片断的问题。服务端负责将计算问题分成许多小的计算部分，然后把这些部分分配给许多联网参与计算的计算机进行并行处理，最后将这些计算结果综合起来得到最终的结果。分布式分布式系统和分布式应用系统和分布式应用l基于分布式系统的分布式应用也非常广泛，例如多媒体应用、电子商务等。l分布式系统应能联接用户与资源、具有分布式透明、开放和可伸展性等特点。l通常，对用户来说，分布式系统只有一个模型或范型。在操

5、作系统之上有一层软件中间件中间件（middleware）负责实现这个模型。一个著名的分布式系统的例子是万维网（World Wide Web）.分布式分布式系统和分布式技术系统和分布式技术l主要分布式技术1.消息传递消息传递(Message Passing)在分布式系统中，最初的通信机制是消息传递。进行通信的两个进程使用发送原语(Send)和接收原语(Receive)进行消息的发送和接收。但是，通信原语的使用使分布式应用的开发成为一项繁杂的工作，开发出的程序既容易出错而又难于分析和调试。分布式分布式系统和分布式技术系统和分布式技术2.远程过程调用远程过程调用(Remote Procedure C

6、all)远程过程调用(RPC)隐蔽了网络的具体细节。使得用户使用远程服务就像进行一个本地函数调用一样，但在通信过程中需要远程与本地进行频繁的交互。3.远程求值远程求值(Remote Evaluation，REV)当要调用的过程在远程节点上并不存在，远程求值允许网络中的节点向远程节点发送子程序和参数信息。远程节点启动该子程序，一些初始请求可由该子程序发出，中间结果也由该子程序处理，子程序只是将最后的处理结果返回到源节点 分布式分布式系统和分布式技术系统和分布式技术 4.客户机客户机/服务器模式服务器模式(Client/Server，C/S)通信的实体双方有固定、预先定义好的角色:服务器提供服务，

7、客户使用服务。RPC模式和REV模式都是客户机/服务器模式的一种。著名的C/S模式主要有CORBA、(DCE)RPC等。5.代码点用代码点用(Code-on-demand)针对C/S结构中资源过于集中的缺点，Code-on-demand模式使用了代码移动技术，即在需要远程服务时，首先从远程获得能执行该服务的代码。典型的例子是Java中的applet(应用小程序)和servlet(服务小程序)。分布式分布式系统和分布式技术系统和分布式技术6.移动移动Agent(Mobile Agent，MA)MA可以(在一定范围内)随意移动到能提供服务的目标主机上，可以连续、多次、自主地移动。典型地，Java中

8、的applet和servlet被统一成移动Agent。7.万维网服务万维网服务(Web service)技术技术 Web Service 是自包含、自描述、模块化的应用程序，可以发布、定位、通过web调用。一旦部署以后，其他Web Service应用程序可以发现并调用它部署的服务。它可以使用标准的互联网协议，像超文本传输协议(HTTP)和XML，将功能纲领性地体现在互联网和企业内部网上。可将 Web服务视作Web上的组件编程。分布式系统若干相关的问题和课题分布式系统若干相关的问题和课题l命名 l同步 l复制技术和一致性 l容错l安全性 P2P计算计算l目前广泛应用的客户机/服务器模式(Clie

9、nt/Server，C/S),通过客户机分担工作负载,可全面改善系统效率而减少计算资源成本。l然而现在社会和家庭拥有的个人计算机(客户机)，只有小部分计算能力被利用，这些闲置的计算机资源和计算能力可以通过P2P系统才能得到更有效的利用。lP2PP2P(Peer-to-Peer,(Peer-to-Peer,对等）对等）计算是一种网络新技术，在P2P系统中,其中任何计算机既可作为客户机也可作为服务器,用户可使用整个网络资源,从而最大化地提高整个网络的性能。而构建P2P系统门槛较低，通常不需要特别的行政安排和财政开支。P2P计算应用分类计算应用分类lP2P计算应用分类：通信与协作、分布式计算、互联网

10、服务支持、数据库系统，内容分布系统。l内容分布系统内容分布系统：数字媒体和其它数据共享的系统和体系结构，目前大多数P2P系统是内容分布系统。lP2P内容分布系统构造分布式存储媒介，使系统中的有关成员能够发布、搜索和检索网络上的文件，还可具有提供安全、匿名、公平、并增加可伸展性和性能，以及资源管理和组织的能力。P2P计算若干相关的问题和课题计算若干相关的问题和课题l定位和路由l內容高速缓存、复制和迁移l安全和盗版问题l匿名和否定功能l激励机制和记帐l资源管理云计算云计算l云计算云计算（Cloud Computing）是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算

11、机技术和网络技术发展融合的产物。l狭义云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源；l广义云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务，它具有超大规模、虚拟化、可靠安全等独特功效。云计算基本原理和云计算基本原理和参考标准参考标准l云计算的基本原理：通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。l云计算的参考标准:1.资源来自网络;2.

12、伸缩能力强 3.性价比优势云计算特点云计算特点l数据安全可靠：云计算提供了最可靠、最安全的数据存储中心，用户不用再担心数据丢失、病毒入侵等麻烦。l客户端需求低：云计算对用户端的设备要求最低，使用起来也最方便。l轻松共享数据：云计算可以轻松实现不同设备间的数据与应用共享。l可能无限多：云计算为我们使用网络提供了几乎无限多的可能。云计算的核心技术云计算的核心技术 l编程模型 l海量数据分布存储技术 l海量数据管理技术 l虚拟化技术 l云计算平台管理技术 云计算的几大形式云计算的几大形式(1)1.SAAS（软件即服务（软件即服务):这种类型的云计算通过浏览器把程序传给成千上万的用户。Google A

13、pps和Zoho Office也是类似的服务2.实用计算（实用计算（Utility Computing):为IT行业创造虚拟的数据中心使得其能够把内存、I/O设备、存储和计算能力集中起来成为一个虚拟的资源池来为整个网络提供服务。3.网络服务网络服务:同SAAS关系密切，网络服务提供者们能够提供API让开发者能够开发更多基于互联网的应用，而不是提供单机程序。4.平台即服务平台即服务:另一种SAAS，这种形式的云计算把开发环境作为一种服务来提供。你可以使用中间商的设备来开发自己的程序并通过互联网和其服务器传到用户手中。云计算的几大形式云计算的几大形式(2)5.MSP（管理服务提供商）（管理服务提供

14、商）:最古老的云计算运用之一。这种应用更多的是面向IT行业而不是终端用户，常用于邮件病毒扫描、程序监控等等。6.商业服务平台商业服务平台:SAAS和MSP的混合应用，该类云计算为用户和提供商之间的互动提供了一个平台。比如用户个人开支管理系统，能够根据用户的设置来管理其开支并协调其订购的各种服务。7.互联网整合互联网整合:将互联网上提供类似服务的公司整合起来，以便用户能够更方便的比较和选择自己的服务供应商。云计算技术发展面临的主要问题云计算技术发展面临的主要问题 l数据隐私问题：如何保证存放在云服务提供商的数据隐私，不被非法利用，不仅需要技术的改进，也需要法律的进一步完善。l数据安全性：有些数据

15、是企业的商业机密，数据的安全性关系到企业的生存和发展。云计算数据的安全性问题解决不了会影响云计算在企业中的应用。l用户使用习惯：如何改变用户的使用习惯，使用户适应网络化的软硬件应用是长期而艰巨的挑战。l网络传输问题：云计算服务依赖网络，目前网速低且不稳定，使云应用的性能不高。云计算的普及依赖网络技术的发展。网格计算与云计算网格计算与云计算l网格计算网格计算是分布式计算的一种。网格计算的实质就是组合与共享资源并确保系统安全。网格计算中一类是在分布式的计算资源支持下作为服务被提供的在线计算或存储。另一类是一个松散连接的计算机网络构成的一个虚拟超级计算机，可以用来执行大规模任务。l网格计算强调资源共

16、享，任何人都可以做为请求者使用其它节点的资源，任何人都需要贡献一定资源给其他节点。网格计算强调将工作量转移到远程的可用计算资源上。l在云计算中，计算资源被转换形式去适应工作负载，它支持网格类型应用，也支持非网格环境，比如运行传统或 Web2.0 应用的三层网络架构。网格计算侧重并行的计算集中性需求，并且难以自动扩展。云计算侧重事务性应 用，大量的单独的请求，可以实现自动或半自动的扩展。传感器网络传感器网络l传感器网络传感器网络是由许多在空间上分布的自动装置组成的一种计算机网络，这些装置使用传感器协作地监控不同位置的物理或环境状况（比如温度、声音、振动、压力、运动或污染物）。l传感器网络的每个节

17、点除配备了一个或多个传感器之外，还装备了一个无线电收发器、一个很小的微控制器和一个能源（通常为电池）。传感器节点尺寸与复杂度的限制决定了能量、存储、计算速度与频宽的受限。l传感器网络主要包括三个方面：感应、通讯、计算（硬件、软件、算法）。其中的关键技术主要有无线数据库技术，比如使用在无线传感器网络的查询，和用于和其它传感器通讯的网络技术，特别是多次跳跃路由协议。例如摩托罗拉使用在家庭控制系统中的ZigBee无线协议。物联网（物联网（Internet of Things）l物联网物联网的定义：通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物体与

18、互联网相连接，进行信息交换和通信，以实现对物体的智能化识别、定位、跟踪、监控和管理的一种网络。l物联网就是“物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；第二，其用户端延伸和扩展到了任何物体与物体之间，进行信息交换和通信。l物联网是通过智能感知、识别技术与普适计算、泛在网络的融合应用，被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。与其说物联网是网络，不如说物联网是业务和应用，物联网也被视为互联网的应用拓展。物联网关键领域物联网关键领域 1.RFID（Radio Frequency Identification）：RFID射

19、频识别是一种非接触式的自动识别技术，它通过射频信号自动识别目标对象并获取相关数据，识别工作无须人工干预，可工作于各种恶劣环境。2.传感器网络。3.M2M（Machine to Machine）：M2M是机器与机器（Machine to Machine）的对话。广义上M2M可代表机器对机器人对机器、机器对人、移动网络对机器之间的连接与通信，它涵盖了所有实现在人、机器、系统之间建立通信连接的技术和手段。4.两化融合：信息化和工业化的高层次的深度结合，两化融合的核心就是信息化支撑，追求可持续发展模式。物联网若干相关的问题和课题物联网若干相关的问题和课题l国家安全国家安全l个人隐私个人隐私 l商业模式商业模式 l政策法规政策法规 l技术标准技术标准 l管理平台管理平台 l安全体系安全体系 l实际应用实际应用 谢谢！谢谢！