第五讲集群计算技术课件.pptx

1、第五章第五章 高性能集群计算技术高性能集群计算技术第三讲第三讲 高性能集群计算技术高性能集群计算技术1.机群系统的产生与发展机群系统的产生与发展 n成熟的理论基础成熟的理论基础q计算机体系结构计算机体系结构的发展已经比较成熟的发展已经比较成熟n从向量多处理机系统、共享存储的多处理机（包括对称和非对称两种）到MPP结构，人们积累了相当丰富的经验，发展了一套比较完整的理论n商用工作站或商用工作站或PC机能保持性能上的优势机能保持性能上的优势q由于由于RISCRISC技术的发展技术的发展，使得微处理器的性能不断提高。，使得微处理器的性能不断提高。高档芯片的运算能力平均每年增长高档芯片的运算能力平均每

2、年增长30%30%，而价格不断，而价格不断降低降低q直接使用商用工作站或直接使用商用工作站或PCPC机作为运算节点的机群机作为运算节点的机群,系系统在节点性能上能够同处理器的发展保持同步增长统在节点性能上能够同处理器的发展保持同步增长第三讲第三讲 高性能集群计算技术高性能集群计算技术1.1.机群系统的产生与发展机群系统的产生与发展 n网络技术的进步网络技术的进步q网络传输速度的提高网络传输速度的提高，提高了应用程序之间的通信带宽，提高了应用程序之间的通信带宽q交换技术的发展交换技术的发展则大幅度地降低了传输延迟，使得许多高则大幅度地降低了传输延迟，使得许多高速局域网的性能和速局域网的性能和MP

3、PMPP专用互连网络的性能相当专用互连网络的性能相当 n并行编程环境的开发使得编制并行程序更为容易并行编程环境的开发使得编制并行程序更为容易 并行应用程序的开发和在不同平台之间的可移植性并行应用程序的开发和在不同平台之间的可移植性,一直是传统一直是传统 并行系统能否广泛应用的一个关键。并行系统能否广泛应用的一个关键。q近年来出现了很多并行程序开发及运行系统近年来出现了很多并行程序开发及运行系统n如如PVMPVM、MPIMPI、ExpressExpress、LindaLinda等系统等系统n这些系统可以适应很多平台，应用程序在这些系统上的可移植性也比较好这些系统可以适应很多平台，应用程序在这些系

4、统上的可移植性也比较好（特别是特别是PVMPVM和和MPIMPI），由于其开放性，受到了许多大学和研究机构的重视，由于其开放性，受到了许多大学和研究机构的重视，并且在这些环境下开发了许多应用程序并且在这些环境下开发了许多应用程序 第三讲第三讲 高性能集群计算技术高性能集群计算技术2.2.使用廉价集群系统的好处使用廉价集群系统的好处n相对于专用并行超级计算机的性能相对于专用并行超级计算机的性能/价格比价格比n其增长速度与年度资金计划的匹配其增长速度与年度资金计划的匹配n提供多用途的系统提供多用途的系统q科学计算科学计算q网络应用服务网络应用服务第三讲第三讲 高性能集群计算技术高性能集群计算技术3

5、.3.集群技术的研究机会集群技术的研究机会第三讲第三讲 高性能集群计算技术高性能集群计算技术3.3.集群技术的研究机会集群技术的研究机会n并行处理并行处理 n用多个处理机构成类似用多个处理机构成类似 MPP/DSMMPP/DSM系统来进行并行计算。如何考虑一些新技术系统来进行并行计算。如何考虑一些新技术带来的新因素，优化并行计算模型、算法？带来的新因素，优化并行计算模型、算法？异构多核，协处理器为中心思想异构多核，协处理器为中心思想n网络网络 RAMRAMn基于新技术，如基于新技术，如PCI-ExpressPCI-Express设备，测试分析已有方法，提出优化新方法。新技设备，测试分析已有方法

6、，提出优化新方法。新技术有新特点，有效利用新特点就有新效果。术有新特点，有效利用新特点就有新效果。n用每台工作站上的内存构成用每台工作站上的内存构成协作缓存协作缓存，提高虚存和文件系统的性能，提高虚存和文件系统的性能n固态硬盘固态硬盘n软件软件 RAIDRAID、并行文件系统、并行文件系统n廉价磁盘的冗余阵列廉价磁盘的冗余阵列n使用工作站的磁盘阵列提供一个便宜、高可用性和可扩展的文件存储器使用工作站的磁盘阵列提供一个便宜、高可用性和可扩展的文件存储器n利用利用MPI-I/OMPI-I/O，有可能对应用程序提供并行，有可能对应用程序提供并行I/OI/O支持支持n多路通信多路通信n在节点间通过多网

7、络对数据进行并行传输，如链路聚集技术在节点间通过多网络对数据进行并行传输，如链路聚集技术n负载均衡负载均衡n资源动态分配，作业迁移等。基于虚拟化新技术等资源动态分配，作业迁移等。基于虚拟化新技术等n单一系统映像单一系统映像n集群文件系统，内存统一编址等集群文件系统，内存统一编址等.n低功耗问题低功耗问题新技术：多核技术，虚拟化技术，新技术：多核技术，虚拟化技术，IBA，PCI-E，等，等新理念：自主新理念：自主/自动计算，等自动计算，等4.4.集群计算机体系结构集群计算机体系结构第三讲第三讲 高性能集群计算技术高性能集群计算技术4.4.集群计算机体系结构集群计算机体系结构n集群：是一种并行或分

8、布式处理系统；由很多连在一起的独立计算集群：是一种并行或分布式处理系统；由很多连在一起的独立计算机组成；象一个单独集成的计算资源一样协同工作。机组成；象一个单独集成的计算资源一样协同工作。q节点可以是一个单处理器或多处理器的系统，拥有内存、节点可以是一个单处理器或多处理器的系统，拥有内存、I/OI/O设备和操作系统。设备和操作系统。q一般是连接在一起的两个或多个计算机。一般是连接在一起的两个或多个计算机。q节点节点n可以是在一起可以是在一起q对于用户和应用程序来说象一个单一个系统。对于用户和应用程序来说象一个单一个系统。q提供了一种价格合理的并可以获得所需性能和优势的解决方案。提供了一种价格合

9、理的并可以获得所需性能和优势的解决方案。n可以是物理上分散而通过可以是物理上分散而通过LANLAN连接在一起的连接在一起的第三讲第三讲 高性能集群计算技术高性能集群计算技术典型的集群系统结构典型的集群系统结构第三讲第三讲 高性能集群计算技术高性能集群计算技术集群集群/机群体系结构机群体系结构 所有节点都是完整的商用计算机系统所有节点都是完整的商用计算机系统高档高档PCPC、工作站，也可以是、工作站，也可以是SMPSMPIntel IA-32Intel IA-32，Intel EM64TIntel EM64T，PowerPower，AMD AMD x86_64x86_64，Intel IA-64

10、 Intel IA-64 每个节点机上都安装有一份完整的商每个节点机上都安装有一份完整的商用操作系统用操作系统LinuxLinux机群（如机群（如BeowulfBeowulf）、）、SolarisSolaris机群（如机群（如Berkeley NOWBerkeley NOW）、）、NTNT机群（如机群（如HPVMHPVM）、）、AIXAIX机群（如机群（如IBM SP2IBM SP2）、）、HP-UXHP-UX机群和微软机群和微软WolfpackWolfpack机群等机群等 系统域网（系统域网（SAN:System Area Network SAN:System Area Network）Gi

11、gabit EthernetGigabit Ethernet，MyrinetMyrinet，InfinibandInfiniband，QuadricsQuadrics，SCI SCI 单一的系统映象单一的系统映象（Single System ImageSingle System Image，简称，简称SSISSI）单一登录点、单一控制点、单一文件系统、单一登录点、单一控制点、单一文件系统、单一作业管理、单一用户界面、单一进程空单一作业管理、单一用户界面、单一进程空间等间等 高可用性保证机制高可用性保证机制第三讲第三讲 高性能集群计算技术高性能集群计算技术集群集群/机群系统举例机群系统举例 10

12、/100M快速以太网交换机 Node1 Node2 Node10 图2.2 Node1到Node10是并行工作站机群的计算节点，由八台UNIX工作站组成，它们直接挂接在Internet 上。Internet 第三讲第三讲 高性能集群计算技术高性能集群计算技术曙光曙光30003000超级服务器超级服务器 系统 管理员 RAID 磁带 3D 显示 外围子系统 内置Disk CPU cache内存 I/O 接口 PCI 总线 高速以太网接口 外部以太网接口 PCI-系统网络接口 结点 1点结点1 结点 n 用户 系统网络 高速以太网 控制台 UNIX工作站 用户 PC 终端 用户 外部以太网 CPU

13、 Cache 内存 PCI 总线 高速以太 网接口 图形接口 PCI-系统网络接口 内置Disk 内置Disk 图图 2.3 曙光曙光 3000 的体系结构的体系结构 CPU:80个个内存：内存：40GB硬盘：硬盘：180GB磁盘阵列：磁盘阵列：2TB第三讲第三讲 高性能集群计算技术高性能集群计算技术集群计算机的重要部件集群计算机的重要部件n节点：节点：q多个高性能计算机（多个高性能计算机（PCPC、工作站或、工作站或SMPSMP）q优秀的操作系统（完整或基于微内核）优秀的操作系统（完整或基于微内核）n网络：网络：q高性能网络高性能网络/交换开关（千兆以太网、交换开关（千兆以太网、Myrine

14、tMyrinet、InfiniBandInfiniBand等）等）q网络接口卡（网络接口卡（NICNIC）q快速通信协议和服务（活动消息和快速消息）快速通信协议和服务（活动消息和快速消息）n集群中间件：集群中间件：q单一映像系统单一映像系统(SSI)(SSI)和系统可用性基础和系统可用性基础q并行编程环境和工具，如编译器、并行编程环境和工具，如编译器、PVMPVM（并行虚拟机）和（并行虚拟机）和MPIMPI（消息传递接口）（消息传递接口）n应用程序：串行、并行应用程序：串行、并行第三讲第三讲 高性能集群计算技术高性能集群计算技术5.5.集群计算机的互连网络集群计算机的互连网络第三讲第三讲 高性

15、能集群计算技术高性能集群计算技术标准链路聚集标准链路聚集扩展的链路聚集扩展的链路聚集第三讲第三讲 高性能集群计算技术高性能集群计算技术交 换 机H U B外 部 网 络接 口 节 点 1接 口 节 点 2处 理 机 节 点0处 理 机 节 点1处 理 机 节 点n.内部交换网络网 络 服 务 器 系 统网 络 接 口 子 系 统举例：举例：网络接口子系统网络接口子系统第三讲第三讲 高性能集群计算技术高性能集群计算技术Myrinet第三讲第三讲 高性能集群计算技术高性能集群计算技术InfiniBand是面向下一代服务器的输入输出总线，原本是以是面向下一代服务器的输入输出总线，原本是以IntelI

16、ntel的的“Next Next Generation I/OGeneration I/O（NGIONGIO）”和和IBMIBM、惠普等主导的、惠普等主导的“Future I/OFuture I/O（FIOFIO）”合并在一起的合并在一起的I/OI/O架构架构 统一机箱内部和外部的互连方法统一机箱内部和外部的互连方法基于基于Switched FabricSwitched Fabric互连互连LinkLink具有具有x1x1、x4x4、x12x12规格。传输速度分别为规格。传输速度分别为2.5Gbps2.5Gbps、10Gbps10Gbps、30Gbps30Gbps。每个每个LinkLink可以

17、使用铜线或者光缆。如果使用铜线，传输距离可达可以使用铜线或者光缆。如果使用铜线，传输距离可达1717米米;如果使用光缆最长可以传输如果使用光缆最长可以传输1010公里。公里。第三讲第三讲 高性能集群计算技术高性能集群计算技术使用使用InfiniBandInfiniBand的系统的系统是由多个子网构成的，子网之间通过路由器是由多个子网构成的，子网之间通过路由器以及网桥连接，一个子网最多可以由以及网桥连接，一个子网最多可以由6.46.4万个节点构成。万个节点构成。使用使用IPv6IPv6扩展地址扩展地址，使，使InfiniBandInfiniBand交换机可以将数据包直接交换到交换机可以将数据包直

18、接交换到正确的设备上正确的设备上 消除了内部消除了内部I/OI/O总线总线，服务器的占地面积可以减少，服务器的占地面积可以减少6060，从而取代，从而取代体积庞大的服务器体积庞大的服务器 开发出速度更快的软件开发出速度更快的软件，因为开发人员可以使应用程序不必再经过，因为开发人员可以使应用程序不必再经过CPUCPU就可直接调用就可直接调用I/OI/O设备。设备。不仅能用于单台服务器，而且也可以用于不仅能用于单台服务器，而且也可以用于集群服务器集群服务器以及服务器之以及服务器之间高速互联间高速互联支持支持RMDARMDA、VIAVIA、多播、网管等、多播、网管等InfiniBandInfiniB

19、and将会在大型数据中心、系统互连方面发挥重要作用将会在大型数据中心、系统互连方面发挥重要作用InfiniBand第三讲第三讲 高性能集群计算技术高性能集群计算技术第三讲第三讲 高性能集群计算技术高性能集群计算技术第三讲第三讲 高性能集群计算技术高性能集群计算技术6.PCI Express第三讲第三讲 高性能集群计算技术高性能集群计算技术 点对点连接点对点连接与与PCIPCI相比，相比，PCI ExpressPCI Express采用点对点技术，能够为每一设备分采用点对点技术，能够为每一设备分配独享通道，不需要在设备之间共享资源，这样充分保障了配独享通道，不需要在设备之间共享资源，这样充分保障

20、了各设备的宽带资源，提高数据传输速率。而各设备的宽带资源，提高数据传输速率。而PCIPCI是所有设备共是所有设备共享同一条总线资源。享同一条总线资源。第三讲第三讲 高性能集群计算技术高性能集群计算技术 易于布线、减少串扰，多方式连接易于布线、减少串扰，多方式连接与与PCIPCI相比，相比，PCI ExpressPCI Express导线数量导线数量比比PCIPCI减少了将近减少了将近75%75%，速度会，速度会加快加快数据不需要同步数据不需要同步，在同一系统内能够以不同频率运行，在同一系统内能够以不同频率运行,而且能够而且能够延伸到系统之外，采用专用线缆可将各种外设直接与系统内的延伸到系统之外

21、，采用专用线缆可将各种外设直接与系统内的PCI ExpressPCI Express总线连接在一起。这是总线连接在一起。这是PCIPCI无法做到的。无法做到的。第三讲第三讲 高性能集群计算技术高性能集群计算技术支持不同工作速度支持不同工作速度设备之间的通信设备之间的通信第三讲第三讲 高性能集群计算技术高性能集群计算技术PCI ExpressPCI Express数据传输速率快数据传输速率快 连接可以由连接可以由x1x1、x2x2、x4x4、x8x8、x12x12、x16x16、x32x32组成组成 每个通道带宽为每个通道带宽为2.5Gb/s2.5Gb/s 理论上最高连接带宽可以达到理论上最高连

22、接带宽可以达到8-10GB/s8-10GB/s。第三讲第三讲 高性能集群计算技术高性能集群计算技术n兼容兼容PCIPCI和和PCI-XPCI-Xq跨平台兼容跨平台兼容,目前被广泛采用的目前被广泛采用的PCI 2.2PCI 2.2，但不兼容目前，但不兼容目前的的AGPAGP接口接口n其它功能其它功能qPCI ExpressPCI Express接口标准可以支持不同的接口标准可以支持不同的信令信令协议协议q采用先进的电源管理技术，支持热插拔功能采用先进的电源管理技术，支持热插拔功能q可以对所有的接入设备进行实时监控可以对所有的接入设备进行实时监控q同时采用独特的纠错机制保证整个系统的稳定运行同时采

23、用独特的纠错机制保证整个系统的稳定运行第三讲第三讲 高性能集群计算技术高性能集群计算技术包括处理层、数据连接层和物理层这三个协议层包括处理层、数据连接层和物理层这三个协议层处理层负责拆分和组装数据包、发送读写请求和处理连接设置和处理层负责拆分和组装数据包、发送读写请求和处理连接设置和控制信号，使数据控制信号，使数据顺利地实现顺利地实现端到端的通信。端到端的通信。数据连接层则用于保证数据数据连接层则用于保证数据完整地从完整地从一端传输到另外一端，通过一端传输到另外一端，通过命令应答校验协议技术检验错误并且进行修正。命令应答校验协议技术检验错误并且进行修正。PCI ExpressPCI Expre

24、ss通信协议通信协议第三讲第三讲 高性能集群计算技术高性能集群计算技术第三讲第三讲 高性能集群计算技术高性能集群计算技术7.7.集群计算机的系统层次结构集群计算机的系统层次结构第三讲第三讲 高性能集群计算技术高性能集群计算技术8.8.集群的特点集群的特点n开发周期短，开发成本低，投资风险小开发周期短，开发成本低，投资风险小n高性能高性能q单机性能越来越高，并且并行处理单机性能越来越高，并且并行处理q网络性能和协议性能不断提高网络性能和协议性能不断提高n性能价格比高性能价格比高q商品化部件商品化部件qNOWNOW不需要单独投资不需要单独投资n可扩展性、高吞吐量可扩展性、高吞吐量n可靠性、可用性可

25、靠性、可用性q备份计算机备份计算机 q作业动态迁移，负载均衡，等作业动态迁移，负载均衡，等 n易用性，编程方便易用性，编程方便q象使用普通工作站一样使用和编程象使用普通工作站一样使用和编程q已有应用可以不加修改地在集群上运行串行程序已有应用可以不加修改地在集群上运行串行程序第三讲第三讲 高性能集群计算技术高性能集群计算技术n2020世纪世纪8080年代的年代的VAXVAX机群称为第一代机群机群称为第一代机群n2020世纪世纪9090年代年代IBMIBM的的SP2SP2看成第二代机群的起点看成第二代机群的起点n第三代机群要突破的关键技术包括：第三代机群要突破的关键技术包括：q降低成本、降低功耗、

26、提高可用性、提高降低成本、降低功耗、提高可用性、提高I/OI/O能力，从能力，从而提高实际应用效益，提高组装密度等而提高实际应用效益，提高组装密度等 9.9.集群的分类集群的分类第三讲第三讲 高性能集群计算技术高性能集群计算技术集群的分类集群的分类 (1)(1)1 1 应用目的计算科学或具有很高要求的应用应用目的计算科学或具有很高要求的应用l高性能高性能(HP)(HP)集群集群l高可用性高可用性(HA)(HA)集群集群l资源共享资源共享2 2 节点归属归属于个人或只作为集群的节点节点归属归属于个人或只作为集群的节点l专用集群专用集群 COWCOWl非专用集群非专用集群 NOWNOWl所有者和需

27、求者存在使用上的竞争，窃取空闲所有者和需求者存在使用上的竞争，窃取空闲CPUCPU周期，运行的并周期，运行的并行计算叫作自适应并行计算行计算叫作自适应并行计算3 3 节点硬件节点硬件PCPC、工作站或、工作站或SMPSMPlPCPC集群集群(CoPCoP)l工作站集群工作站集群(CoWCoW)lSMPSMP集群集群(CLUMP)(CLUMP)l集群的机群集群的机群 l计算网格，元计算：因特网就是一个计算机群计算网格，元计算：因特网就是一个计算机群第三讲第三讲 高性能集群计算技术高性能集群计算技术集群的分类集群的分类 (2)(2)4 4 节点操作系统节点操作系统LinuxLinux、NTNT、S

28、olarisSolaris、AIXAIX等等lLinuxLinux集群集群(Beowulf)(Beowulf)lSolarisSolaris集群集群(Berkeley NOW)(Berkeley NOW)lNTNT集群集群(HPVM)(HPVM)lAIXAIX集群集群(IBM SP2)(IBM SP2)lDigital VMSDigital VMS集群集群lHP-UXHP-UX集群集群l微软微软WolfpackWolfpack集群集群第三讲第三讲 高性能集群计算技术高性能集群计算技术集群的分类集群的分类 (3)(3)5 5 节点构成节点的体系结构和其上运行的操作系统类型节点构成节点的体系结构和

29、其上运行的操作系统类型l同构集群：所有节点有相同的结构，运行相同的同构集群：所有节点有相同的结构，运行相同的OSOSl异构集群：异构集群：节点有不同的系统结构节点有不同的系统结构，运行不同的，运行不同的OSOS第三讲第三讲 高性能集群计算技术高性能集群计算技术集群的分类集群的分类 (4)(4)6 6 集群的级别按照节点的位置和数量集群的级别按照节点的位置和数量l组级集群（节点个数小于组级集群（节点个数小于100100？，节点由？，节点由SANSAN（系统域网络）连（系统域网络）连接，存在于一个机架上或在一个中心里）接，存在于一个机架上或在一个中心里）l部门级集群（节点个数：几十到上百）部门级集

30、群（节点个数：几十到上百）l团体级集群（节点个数：几百）团体级集群（节点个数：几百）l国家级元计算机（国家级元计算机（WAN/WAN/基于基于INTERNETINTERNET ）：（节点个数：几：（节点个数：几个部门级个部门级/团体级系统或集群组成）团体级系统或集群组成）l国际级元计算机（基于国际级元计算机（基于INTERNETINTERNET）：（节点个数：上千到几）：（节点个数：上千到几百万）百万）COWNOW10.10.集群的商品化部件集群的商品化部件第三讲第三讲 高性能集群计算技术高性能集群计算技术集群的商品化部件集群的商品化部件n处理器处理器 （RISC,CISC,VLIW,RISC

31、,CISC,VLIW,向量）向量）n内存和缓存内存和缓存 （越大越好）（越大越好）n系统总线系统总线 （PCI,PCI-X,PCI-PCI,PCI-X,PCI-Express,hyperTransportExpress,hyperTransport ）n操作系统（操作系统（LinuxLinux、SolarisSolaris、Windows NTWindows NT）n磁盘和磁盘和I/O I/O（每年只有（每年只有10%10%改进，集群瓶颈，基于软件改进，集群瓶颈，基于软件RAIDRAID、集群并、集群并行文件系统改进）行文件系统改进）n集群互连集群互连 （以太网（以太网100M/1000M10

32、0M/1000M、异步传输模式、异步传输模式(ATM)(ATM)、可扩展的计算、可扩展的计算机连接接口机连接接口(SCI)(SCI)、MyrinetMyrinet、IBAIBA、QSnetQSnet）11.11.网络服务网络服务/通信软件通信软件第三讲第三讲 高性能集群计算技术高性能集群计算技术网络服务网络服务/通信软件通信软件n网络服务：从应用或集群网络服务：从应用或集群OSOS角度需要的网络服务功能角度需要的网络服务功能n通信软件：服务功能的具体实现通信软件：服务功能的具体实现n分布式应用程序所需要的通信是变化多样的分布式应用程序所需要的通信是变化多样的q点对点通信，点对点通信，不可靠的多

33、播通信不可靠的多播通信q成批数据传输、流数据、组通信、其他用于分布式对象的协议成批数据传输、流数据、组通信、其他用于分布式对象的协议n网络服务调用提供了集群传输管理和用户数据所需的基本协议，如网络服务调用提供了集群传输管理和用户数据所需的基本协议，如ISO OSIISO OSI七层协议系统七层协议系统q服务质量保证：延迟、带宽、可靠性、容错、抖动控制服务质量保证：延迟、带宽、可靠性、容错、抖动控制第三讲第三讲 高性能集群计算技术高性能集群计算技术网络服务网络服务/通信软件通信软件n集群使用的特殊网络，可以绕开操作系统，节省通信开销，提供对网集群使用的特殊网络，可以绕开操作系统，节省通信开销，提

34、供对网络接口直接的、用户级的访问络接口直接的、用户级的访问q MyrinetMyrinet（轻量级通信协议）（轻量级通信协议）q活动消息（用户级的访问、网络接口直接的访问）活动消息（用户级的访问、网络接口直接的访问）n在集群中，网络服务是用相对底层的通信在集群中，网络服务是用相对底层的通信APIAPI来支持大范围的高层通来支持大范围的高层通信库和协议信库和协议qRPCRPC、DSMDSMq基于流的接口基于流的接口q消息传递接口：消息传递接口：MPIMPI，PVMPVM12.12.集群中间件和单一系集群中间件和单一系统映像统映像(SSI)(SSI)第三讲第三讲 高性能集群计算技术高性能集群计算技

35、术什么是单一系统映像什么是单一系统映像(SSI)(SSI)nSSISSI是一个虚像，由硬件或软件创建，使分散的资源集是一个虚像，由硬件或软件创建，使分散的资源集合起来作为一个统一的、更强大的资源使用。合起来作为一个统一的、更强大的资源使用。n对于用户、应用程序，对于用户、应用程序，SSISSI使集群资源看起来象一台机使集群资源看起来象一台机器。器。q用户希望单一入口、单一使用界面等用户希望单一入口、单一使用界面等q应用程序希望单一存储空间、单一应用程序希望单一存储空间、单一IOIO空间、单一空间、单一CPUCPU等等n没有没有SSISSI的集群不能称为集群。的集群不能称为集群。nSSISSI主

36、要是为了提高集群系统的效率、易用性和易管理主要是为了提高集群系统的效率、易用性和易管理性性第三讲第三讲 高性能集群计算技术高性能集群计算技术SSISSI的构成的构成n用中间件层实现，处于操作系统和用户层环境中间用中间件层实现，处于操作系统和用户层环境中间n基本上使用软件实现基本上使用软件实现n这个中间件基本上由软件基础结构的两个子层组成这个中间件基本上由软件基础结构的两个子层组成nSSI SSI 基础结构：主要是提高系统的可管理性、易用性、可编程性基础结构：主要是提高系统的可管理性、易用性、可编程性 nSSI SSI 基础结构与操作系统联系在一起，在所有节点上提供对系统资源基础结构与操作系统联

37、系在一起，在所有节点上提供对系统资源的统一访问的统一访问n系统可用性基础结构：提供集群可用性服务系统可用性基础结构：提供集群可用性服务n在集群各个节点上提供集群可用性服务，如检查点、自动故障检测、在集群各个节点上提供集群可用性服务，如检查点、自动故障检测、故障恢复、容错、调度和负载均衡支持。故障恢复、容错、调度和负载均衡支持。好用、可靠的系统好用、可靠的系统自动屏蔽故障节点自动屏蔽故障节点第三讲第三讲 高性能集群计算技术高性能集群计算技术SSISSI和系统服务的实现层次和系统服务的实现层次n硬件层、操作系统层、应用程序和子系统硬件层、操作系统层、应用程序和子系统q各层考虑给予各层考虑给予SSI

38、SSI实现支持实现支持q低层实现低层实现SSISSI，上层软件可移植性好，上层软件可移植性好n硬件层硬件层qDigitalDigital（DECDEC）内存通道、硬件）内存通道、硬件DSMDSM和和SMPSMP技术技术qDigitalDigital内存通道和硬件内存通道和硬件DSMDSM提供了硬件层的提供了硬件层的SSISSI支持，使支持，使用户可以将集群看成一个共享内存的系统用户可以将集群看成一个共享内存的系统第三讲第三讲 高性能集群计算技术高性能集群计算技术SSISSI和系统服务的实现层次和系统服务的实现层次n操作系统层操作系统层q易用性和可编程性好，现有程序可不加修改的移植易用性和可编程

39、性好，现有程序可不加修改的移植n大部分支持大部分支持SSISSI的操作系统建立在现有操作系统之上，如的操作系统建立在现有操作系统之上，如BerkeleyBerkeley的的GlUnixGlUnixn支持支持SSISSI的的OSOS内核包括内核包括SCO UnixWareSCO UnixWare和和SolarisSolarisMCMC。n集群集群SSISSI基于基于OSOS层层完成完成SSISSIn内核层内核层SSISSI有利于节约时间：现有程序易于移植，不需要重新编程有利于节约时间：现有程序易于移植，不需要重新编程n支持进程迁移和容错支持进程迁移和容错n必须支持并行程序的调度，确定空闲的系统资

40、源，提供对空闲资源的全必须支持并行程序的调度，确定空闲的系统资源，提供对空闲资源的全局透明访问局透明访问n支持系统和用户层应用程序的快速进程间通信支持系统和用户层应用程序的快速进程间通信n支持进程迁移，以提供动态负载平衡，提高资源利用率、缩短应用程序支持进程迁移，以提供动态负载平衡，提高资源利用率、缩短应用程序执行时间，同时也支持了容错执行时间，同时也支持了容错第三讲第三讲 高性能集群计算技术高性能集群计算技术n应用程序和子系统（中间件）应用程序和子系统（中间件）n应用层的应用层的SSISSI是最高层也是最重要的是最高层也是最重要的SSISSIn实现单一的应用程序实现单一的应用程序n用户用户/

41、系统管理员看到的是单一应用程序系统管理员看到的是单一应用程序n子系统提供的软件意味着生成一个易于使用的有效的集群系统，如：子系统提供的软件意味着生成一个易于使用的有效的集群系统，如：n集群文件系统：每个节点看到的是同样的数据视图集群文件系统：每个节点看到的是同样的数据视图n全局作业调度系统：提供高可用的同时，提供透明的调度全局作业调度系统：提供高可用的同时，提供透明的调度n等等n目前大多数系统只是基于该层实现，没有下层目前大多数系统只是基于该层实现，没有下层SSISSI支持，效率比较低支持，效率比较低SSISSI和系统服务的实现层次和系统服务的实现层次第三讲第三讲 高性能集群计算技术高性能集群

42、计算技术单一系统映像的边界单一系统映像的边界n系统分层，层次要明确系统分层，层次要明确q模块清晰，分工明确，可以减少系统复杂性，提高模块清晰，分工明确，可以减少系统复杂性，提高效率和稳定性效率和稳定性n设计设计SSISSI系统时需注意系统时需注意q每个每个SSISSI都有边界都有边界qSSISSI的支持可以是在系统的不同层存在，一层可以的支持可以是在系统的不同层存在，一层可以建立在另一层上建立在另一层上nLSF,CODINE,SCE,LSF,CODINE,SCE,WebminWebminn边界内是一个完整系统，边界内是一个完整系统，边界外是一个一个分散资源边界外是一个一个分散资源成本、复杂度、

43、性能的权衡成本、复杂度、性能的权衡第三讲第三讲 高性能集群计算技术高性能集群计算技术单一系统映像的优点单一系统映像的优点n对于系统管理：对于系统管理：q整个系统资源和运行情况整个系统资源和运行情况,在任一可登陆节点提供一个简单、直在任一可登陆节点提供一个简单、直观的视图观的视图q操作者不必再了解资源的物理位置操作者不必再了解资源的物理位置q管理员可以在一点上管理整个集群管理员可以在一点上管理整个集群q系统可以集中或分散管理和控制，减少了对系统管理者技术的要系统可以集中或分散管理和控制，减少了对系统管理者技术的要求求q简化了系统管理，用一条命令就可以获得影响多个资源的操作，简化了系统管理，用一条

44、命令就可以获得影响多个资源的操作，甚至是分布在不同机器上的资源甚至是分布在不同机器上的资源q进行系统管理操作的时候，有助于跟踪所有资源的位置进行系统管理操作的时候，有助于跟踪所有资源的位置第三讲第三讲 高性能集群计算技术高性能集群计算技术单一系统映像的优点单一系统映像的优点n对于用户：对于用户：q操作者不必再了解资源的物理位置操作者不必再了解资源的物理位置q用户可以使用熟悉的接口和命令用户可以使用熟悉的接口和命令q使最终用户得到更好的系统可靠性和高可用性使最终用户得到更好的系统可靠性和高可用性q使一个应用程序的多个共同工作的部分在使用者看来好像是一个使一个应用程序的多个共同工作的部分在使用者看

45、来好像是一个应用程序应用程序q提供了不依赖位置的消息通信，只是任务之间的通信提供了不依赖位置的消息通信，只是任务之间的通信q最终用户无须了解应用程序是在什么地方运行的最终用户无须了解应用程序是在什么地方运行的q SSISSI的优点也有利于编程者，它减少了执行任务的时间、精力和的优点也有利于编程者，它减少了执行任务的时间、精力和所需的知识所需的知识干活后要善于总结、认真总结！干活后要善于总结、认真总结！第三讲第三讲 高性能集群计算技术高性能集群计算技术SSISSI中间件的设计目标中间件的设计目标n完全透明完全透明n允许用户在对系统结构不了解的情况下容易并有效的使用集群允许用户在对系统结构不了解的

46、情况下容易并有效的使用集群n提供给用户的是一个全局文件系统、进程和网络的视图，易于编程提供给用户的是一个全局文件系统、进程和网络的视图，易于编程n可扩展性可扩展性n集群资源可以很容易的扩充，它的性能也可以扩展集群资源可以很容易的扩充，它的性能也可以扩展n如何使结构上容易扩充资源，接口方便资源加入？如何使结构上容易扩充资源，接口方便资源加入？n采用什么机制使得性能能够随着资源的扩充而线性增加？采用什么机制使得性能能够随着资源的扩充而线性增加？n为了达到最好的性能，为了达到最好的性能，SSISSI服务必须以节点间平均分配工作负载来支持负载服务必须以节点间平均分配工作负载来支持负载平衡和并行化平衡和

47、并行化n增强的可用性增强的可用性n中间件服务无论何时都必须有高可用性中间件服务无论何时都必须有高可用性n无论何时，单点故障必须在不影响用户使用的情况下得到屏蔽与恢复无论何时，单点故障必须在不影响用户使用的情况下得到屏蔽与恢复一般我们只考虑性能，请设计方法时在这几方面挖掘和总结特点一般我们只考虑性能，请设计方法时在这几方面挖掘和总结特点如负载均衡不只是提高性能，还具有透明性、可扩展性、可用性特点如负载均衡不只是提高性能，还具有透明性、可扩展性、可用性特点第三讲第三讲 高性能集群计算技术高性能集群计算技术SSISSI支持的服务支持的服务n单一入口点单一入口点ntelnet beowulf.myin

48、stitute.edutelnet beowulf.myinstitute.eduntelnet telnet node1.node1.beowulf.myinstitute.edubeowulf.myinstitute.edun单一文件层次单一文件层次:xFSxFS,AFS,Solaris MC Proxy,AFS,Solaris MC Proxyn单点管理和控制单点管理和控制:整个集群可以从用单一整个集群可以从用单一GUIGUI工具创建的单一窗口进行管工具创建的单一窗口进行管理和控制。理和控制。n单一虚拟网络单一虚拟网络n单一内存空间单一内存空间 -Network RAM/DSM-Netw

49、ork RAM/DSMn单一作业管理系统单一作业管理系统:GLUnixGLUnix,CodineCodine,LSF,LSF，OpenPBSOpenPBSn单一用户接口单一用户接口:用户可以通过单一用户可以通过单一GUIGUI使用集群。接口必须与工作站的接使用集群。接口必须与工作站的接口在外观和感觉上一致。保持原有用户界面、使用方式和风格口在外观和感觉上一致。保持原有用户界面、使用方式和风格第三讲第三讲 高性能集群计算技术高性能集群计算技术SSISSI支持的服务支持的服务n单一单一I/OI/O空间空间 (SIOS):(SIOS):n任一节点可以透明地使用本地或远程的外设和磁盘设备的任一节点可以

50、透明地使用本地或远程的外设和磁盘设备的I/OI/O操作操作n单一进程空间单一进程空间 (SPS)(SPS)n每一进程拥有集群范围的独立的进程每一进程拥有集群范围的独立的进程IDID，任一节点上的进，任一节点上的进程可以在同一节点或不同节点生成子进程或与任何远程节点程可以在同一节点或不同节点生成子进程或与任何远程节点上的其他进程进行通信。上的其他进程进行通信。第三讲第三讲 高性能集群计算技术高性能集群计算技术可用性支持功能可用性支持功能（实现可用性的基础条件，如何（实现可用性的基础条件，如何透明的容忍软硬件资源的故障、错误和失效）透明的容忍软硬件资源的故障、错误和失效）n单一单一I/OI/O空间