云计算技术基础教程课件第3-4章.ppt

1、云 计算与虚拟化技术Cloud ComputingCloud Computing1第三章2云计算故事云计算故事-“分身术分身术”西游记中的孙悟空有个“分身术”的本领，他从自己身上扯下一把毫毛，轻轻一吹，瞬间变出数百个“孙悟空”，很是神奇吧。在云计算系统中，也有一种如同孙悟空“分身术”本领的技术，那就是“虚拟化”。随着计算机硬件技术的发展和配置的提升，大量的计算机资源会出现利用率低的问题。同时，随着用户业务的扩展，每当增加新的业务就需要采购新的设备，而且业务与硬件紧密耦合，既降低了硬件资源的效能，又增加了建设投资和时间成本。如何在这些硬件资源上实现业务的动态弹性扩展并提高资源的效益？那就是虚拟化

2、技术。该技术可以让一台主机“变出”多台虚拟主机，象物理主机一样，可以在这些虚拟机上运行多种操作系统，实现在一台物理主机上同时运行多台安装相同或不同操作系统的主机。第三章第三章 云计算与虚拟化技术云计算与虚拟化技术3本章导读本章导读 计算机虚拟化，实质上就是一种计算机资源管理技术。通过虚拟化技术，将一台或多台计算机的各种物理资源，如CPU、内存、网络、磁盘及存储等进行抽象，统一形成逻辑上的“计算资源池”、“存储资源池”、“网络资源池”。虚拟机就是从这些资源池中动态申请虚拟CPU（vCPU）、虚拟内存、虚拟I/O、虚拟网卡等虚拟资源而创建的一台逻辑主机。如果物理机资源允许，在一台物理主机上可以创建

3、多个虚拟主机。用户如果后期业务需要扩张，则可直接通过创建虚拟机的形式，完成新业务的部署和应用，可大大节省投资并提高业务实施的效率。第三章第三章 云计算与虚拟化技术云计算与虚拟化技术4本章学习目标本章学习目标 虚拟化技术虚拟化技术，云计算核心技术之一，把云系统中的各种硬件资源进行虚拟化后，可以根据用户需求，实现资源动态地弹性伸缩，提高资源利用率。借助云系统管理平台，可以对这些虚拟资源进行管理和部署，简化了管理流程和维护工作，并具有负载均衡、动态迁移、故障自动隔离、系统主备自动切换、容灾、灾备等高可用性等特点。学习目标学习目标理解什么是虚拟化以及虚拟化技术在云计算中的作用掌握计算虚拟化的内容（计算

4、资源池）以及实现方式掌握存储虚拟化的内容（存储资源池）以及实现方式掌握网络虚拟化的内容（网络资源池）以及实现方式了解容器虚拟化、微服务、超融合等知识第三章第三章 云计算与虚拟化技术云计算与虚拟化技术5 虚拟化虚拟化，从广义上来说，就是通过用映射或抽象的方式屏蔽物理设备复杂性，在其上层增加一个管理层面，统一管理、调配这些物理资源，使之更易于透明控制，有效简化基础设施的建设和管理，增加IT资源如服务器、网络和存储等物理资源的利用率和使用效益。虚拟化是对物理资源的逻辑表示，通过在物理硬件层之上添加虚拟化层，将硬件层的资源抽象成虚拟资源，形成各类资源池，提供给上层操作系统或应用使用，通过虚拟化层来屏蔽

5、底层硬件差异所带来的影响。3.1.1 3.1.1 什么是虚拟化什么是虚拟化3.1 3.1 虚拟化概述虚拟化概述6 1959年，在国际信息处理大会上，克里斯托弗（Christopher Strachey）发表大型高速计算机中的时间共享（Time Sharing in Large Fast Computers）的学术报告，提出虚拟化的概念。虚拟化技术由此萌芽。20世纪90年代，以VMware为代表的部分虚拟化软件厂商采用一种软件解决方案，以虚拟机监视器（Virtual Machine Monitor，VMM）为中心，使X86架构的服务器平台实现虚拟化，目前在X86构架中绝大多数处理器都支持虚拟化技

6、术。如今虚拟化技术已经得到了飞速发展，几乎所有云计算系统提供商都开发了支持虚拟化技术的软件。3.1.2 3.1.2 虚拟化产生背景虚拟化产生背景3.1 3.1 虚拟化概述虚拟化概述7虚拟化的本质概括为：虚拟化的本质概括为：（1）在单一物理服务器上同时运行多个虚拟机。（2）在同一服务器上的虚拟机之间相互隔离。（3）整个虚拟机都保存在文件中，可以通过移动文件的方式来迁移该虚拟机（4）无需修改即可在任何服务器上运行虚拟机。虚拟化的优势表现在：虚拟化的优势表现在：（1）提高硬件利用率。（2）降低能耗，绿色节能。（3）提高IT运维效率，系统管理人员减少。（4）操作系统和硬件的解耦。但也因此会存在风险和问

7、题：但也因此会存在风险和问题：（1）虚拟化是对物理资源的再分配，如果虚拟机多了，可能会发生物理资源争用问题（2）引入虚拟化层之后，导致上层系统应用出错概率增加，从而导致故障排查困难。当某台物理服务器宕机，影响到其上所有虚拟机中的业务使用。3.1.3 3.1.3 虚拟化的本质、优势与问题虚拟化的本质、优势与问题3.1 3.1 虚拟化概述虚拟化概述8 根据虚拟化使用目的、应用领域和范围，可以有多种虚拟化类型，分别对各种资源实现虚拟化管理。虚拟化对象主要包括对计算资源虚拟化、网络虚拟化、存储虚拟化、桌面虚拟化以及应用虚拟化。虚拟化实现方式主要包括全虚拟化、半虚拟化和硬件辅助虚拟化。从主机系统虚拟化来

8、划分，主要有寄居虚拟化、裸金属虚拟化、操作系统虚拟化、函数库虚拟化等类型。3.2 3.2 虚拟化虚拟化类型类型9（1 1）寄居虚拟化）寄居虚拟化 寄居虚拟化就是在宿主机操作系统之上安装虚拟化应用程序，通过它可以构建一个虚拟化的环境，在这个虚拟化的环境里，可以安装各种操作系统，满足用户对操作系统的要求。3.2 3.2 虚拟化虚拟化类型类型10（2 2）裸金属裸金属虚拟化虚拟化 裸金属虚拟化也称为硬件抽象层虚拟化，其实现的方式是直接在硬件层之上部署虚拟化平台软件，而不再需要宿主机操作系统来支撑，由于客户机操作系统所看到的是虚拟化层，因此，可以认为客户机操作系统的功能和在宿主机操作系统功能几乎没有什

9、么区别。3.2 3.2 虚拟化虚拟化类型类型11（3 3）操作系统虚拟化）操作系统虚拟化 操作系统虚拟化指的是宿主机操作系统的内核提供多个相互隔离的实例。这些实例并不是平常说的虚拟机，而是容器（容器可以看作是一台真实的计算机，里面有自己的独立文件系统、网络、系统设置、函数库等），该虚拟化是由宿主机操作系统本身的内核提供的。3.2 3.2 虚拟化虚拟化类型类型12（4 4）函数函数虚拟化虚拟化 所有应用程序编写都需要调用库函数API接口，利用库函数为应用程序提供一组服务，使得应用程序编写更加简单。不同的操作系统有自己独立的函数库接口，API接口和硬件没有多大关系，但是和操作系统密切关联。3.2

10、3.2 虚拟化虚拟化类型类型13 计算虚拟化实质上就是对物理主机的CPU、内存、I/O等服务器硬件资源的虚拟化，形成虚拟资源池，即“计算资源池”。3.3 3.3 计算计算虚拟化虚拟化3.3.1 3.3.1 什么是计算虚拟化什么是计算虚拟化14（1 1）CPUCPU虚拟化虚拟化u半虚拟化：是指VMM只模拟了部分硬件，是通过修改客户机操作系统内核代码来解决虚拟化漏洞问题。u全虚拟化：是指VMM模拟了完整的底层硬件。u硬件辅助虚拟化：借助CPU专有技术的支持来实现高效的全虚拟化，例如Intel-VT技术、AMD-V都是硬件辅助虚拟化支持技术。（2 2）内存虚拟化）内存虚拟化 把物理机的真实物理内存统

11、一管理，包装成多份虚拟的内存给若干虚拟机使用。（3 3）I/OI/O虚拟化虚拟化 VMM必须通过I/O虚拟化的方式来复用有限的外设资源。VMM截获客户操作系统对设备的访问请求，然后通过软件的方式来模拟真实设备的效果。3.3 3.3 计算计算虚拟化虚拟化3.3.2 3.3.2 计算虚拟化计算虚拟化资源类型资源类型15 存储虚拟化存储虚拟化（Storage Virtualization），通俗地讲就是对各种存储硬件资源进行抽象化表现，是将资源的逻辑映像与物理存储分开，从而为系统和管理员提供一幅简化、无缝的资源虚拟视图。对于用户来说，虚拟化的存储资源就像是一个巨大的“存储池”，用户不会看到具体的磁盘

12、、磁带，也不必关心自己的数据经过哪一条路径通往哪一个具体的存储设备。从管理的角度来看，虚拟存储池是采取集中化的管理，并根据具体的需求把存储资源动态地分配给各个应用。3.4 3.4 存储存储虚拟化虚拟化3.4.1 3.4.1 什么是存储什么是存储虚拟化虚拟化16 （1）对存储虚拟化在不同的位置上可以分为：基于主机的虚拟化、基于存储设备的虚拟化、基于存储网络的虚拟化。（2）在不同的存储设备和数据组织层面上可以分为:数据块虚拟化、磁盘虚拟化、磁带或磁带库虚拟化、文件系统或者其它设备虚拟化。（3）从存储虚拟化的拓扑结构来讲，有对称式和非对称式两种。从虚拟化实现的方式也可分为带内In-Band虚拟化和带

13、外Out-of-Band虚拟化。3.4 3.4 存储存储虚拟化虚拟化3.4.2 3.4.2 存储存储虚拟化虚拟化分类分类17 （1 1）异构平台整合异构平台整合 使用一个集中的虚拟化设备，将不同型号和档次的异构存储系统进行统一的池化，在这个基础之上，做统一的管理和分配，极大节省了运维成本，在不同的存储之间架起一道桥梁，便于管理和分配资源。（2 2）增加数据管理功能）增加数据管理功能 通过存储虚拟化统一管理平台后，可以让低端存储卷附加上快照、CDP以及远程数据复制、卷镜像、读写性能优化等高级功能。（3 3）数据迁移）数据迁移/异构容灾异构容灾 如果在传统的异构存储系统之间不能实现直接相互复制，必

14、须依靠虚拟化技术，数据迁移是企业存储系统中最具挑战的一种数据管理操作，尤其是异构存储系统之间的数据迁移。（4 4）软件定义存储）软件定义存储 软件定义存储是虚拟化存储的另一种方式，利用分散的、低廉的X86架构的服务器磁盘，通过软件的方式，把存储资源进行再分配，构建分布式存储系统，提高系统的兼容性、可扩展性，降低存储系统与硬件设备的依赖。3.4 3.4 存储存储虚拟化虚拟化3.4.3 3.4.3 存储存储虚拟化虚拟化的意义的意义18 （1）虚拟机的虚拟网卡 数据包从虚拟机的虚拟网卡流出，通过Hypervisor内部的虚拟交换机，再经过服务器的物理网卡流出到上联交换机。（2）服务器到网络的连接即虚

15、拟交换机 分为基于CPU技术实现的,，基于物理网卡技术实现的和基于物理交换机技术实现的3种虚拟交换类型。（3）硬件设备虚拟化 通过路由器集群技术和交换机堆叠技术，将多台物理机合并成一台虚拟网络设备，实现跨设备链路聚合。（4）虚拟网络 包括层叠网络、虚拟专用网络、数据中心使用较多的虚拟二层延伸网络。3.5 3.5 网络网络虚拟化虚拟化3.5.1 3.5.1 网络网络虚拟化虚拟化内容内容19 软件定义网络软件定义网络（SoftwareDefinedNetwork，SDN）是网络虚拟化的一种实现方式。其核心技术OpenFlow通过将网络设备的控制面与数据面分离开来，从而实现了网络流量的灵活控制，使网

16、络作为管道变得更加智能，为核心网络及应用的创新提供了良好的平台。3.5 3.5 网络网络虚拟化虚拟化3.5.2 3.5.2 软件定义网络软件定义网络20 DockerDocker是基于软件平台的容器引擎，又称为Container as a Service（CaaS），它把应用程序运行所需要的环境打包放到隔离的容器中，实现轻量级的操作系统虚拟化解决方案。3.6 3.6 容器容器虚拟化虚拟化21 （1 1）VmwareVmware VMware服务器虚拟化使企业的数据中心转变为灵活的云计算基础架构，VMware vSphere是企业级虚拟化解决方案，它是构建云计算环境的基础平台。（2 2）Hype

17、r-vHyper-v Hyper-v是微软的一款虚拟化产品，它是基于硬件辅助的全虚拟化技术。作为一个虚拟化产品，Hyper-v具有一个很特别的要求：处理器必须支持AMD-V或者Intel VT技术，也就是说，处理器必须具备硬件辅助虚拟化技术。（3 3）FusionComputeFusionCompute FusionCompute是华为FusionSphere云计算操作系统的基础软件，主要由虚拟化基础平台和云基础服务平台组成，主要负责硬件资源的虚拟化，以及对虚拟资源、业务资源、用户资源的集中管理。（4 4）Xen Xen Xen是一个开放源代码虚拟机监视器，是由英国剑桥大学计算机实验室开发的一

18、个虚拟化开源项目，它是一个基于X86架构开源虚拟化技术，可以在一套物理硬件上安全的执行多个虚拟机。3.7 3.7 虚拟化典型平台介绍虚拟化典型平台介绍22 微服务微服务是一种将应用分解成小的自治服务的软件架构，每个服务被独立地开发、测试和部署，服务间使用约定的API 进行通信，所有的服务组合在一起，通过API Gateway向外提供服务。微服务是把业务进行原子性的拆分，并以进程的形式独立地运行。在传统架构中需要一台虚拟机来运行一个微小的应用,会造成资源浪费，而以容器为架构，微服务独立运行在容器中，与主机操作系统共享硬件资源，更加快速、小巧，而不需要VMM中间层虚拟化的翻译，资源利用率更高、响应

19、速度更快。微服务以容器为架构、开发、部署，运维以DevOps为模式，已经成为下一代PaaS的典型应用场景。3.8 3.8 微服务微服务23 超 融 合超 融 合 基 础 架 构（H y p e r-C o n v e r g e d Infrastructure，HCI）也称为超融合架构，是指在同一套单元设备（X86架构的服务器）中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素，而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展（Scale-Out），形成统一的资源池。超融合架构将虚拟化计算和存储整合到同一个系

20、统平台。软件定义分布式存储是超融合的核心。分布式存储解决了集中式共享存储应用在虚拟化场景里的问题。3.9 3.9 超融合超融合 Platform Computing Inc.2003-Proprietary&Confidential 2424小结小结 虚拟化虚拟化计算虚拟化计算虚拟化 （1）计算虚拟化四种类型包括：寄居虚拟化。裸金属虚拟化。操作系统虚拟化。函数虚拟化。（2）从技术层面计算虚拟化包括三种资源：CPU虚拟化。内存虚拟化。I/O虚拟化。Platform Computing Inc.2003-Proprietary&Confidential 2525本章小结本章小结存储虚拟化存储虚拟化

21、 （1）对存储虚拟化在不同的位置上可以分为：基于主机的虚拟化、基于存储设备的虚拟化、基于存储网络的虚拟化。（2）在不同的存储设备和数据组织层面上可以分为:数据块虚拟化、磁盘虚拟化、磁带或磁带库虚拟化、文件系统或者其它设备虚拟化。（3）从存储虚拟化的拓扑结构来讲，有对称式和非对称式两种。从虚拟化实现的方式也可分为带内In-Band虚拟化和带外Out-of-Band虚拟化。公有云存储设备向着存储服务的方式发生转变，即通过软件定义存储，实现分布式存储虚拟化。Platform Computing Inc.2003-Proprietary&Confidential 2626网络虚拟化网络虚拟化 网络虚拟

22、化是云计算系统中的网络软硬件资源进行虚拟化的过程，形成网络资源池化。这些资源包括：虚拟机的虚拟网卡。服务器到网络的连接即虚拟交换机。网络设备虚拟化。虚拟网络，包括层叠网络、虚拟专用网络、大二层网络等。本章小结本章小结 项目名称项目名称：利用VMware Workstation虚拟化软件实现在一台电脑上安装多种操作系统。如果想在自己的笔记本电脑、家用电脑或部门服务器上安装多个操作系统如Windows或Linux，并把不同的应用安装在对应的操作系统主机上，但又不想破坏原来物理机的操作系统启动与管理环境，那么采用创建虚拟机环境是一个非常不错的选择。VMware Workstation是一套不错的虚拟

23、化软件，可以安装在笔记本、台式机等客户机或工作组服务器上，实现对虚拟机和应用的创建于管理。背景知识背景知识：VMware Workstation是一款桌面虚拟计算机软件，是典型的寄居虚拟化软件，提供用户可在单一的物理机上同时运行多个多种操作系统，是进行开发、测试、部署新的应用程序的最佳解决方案。VMware Workstation可在一部实体机器上模拟完整的网络环境，创建可便于携带的虚拟机。27拓展项目拓展项目28拓展项目拓展项目云 计算与分布式技术Cloud ComputingCloud Computing29第四章30云计算故事云计算故事-“双十一双十一”背后背后 好多人在淘宝上淘过宝贝，

24、特别是每年的“双十一”，产生了海量的交易数据，这些数据其实不是存储在某一台存储服务器上，每单交易从商品的检索到完成下单的一系列过程，可不是一台服务器帮你完成的。阿里云平台单集群早已超越5000台，同时支持多集群跨异地机房计算，实现业务的并行处理并行处理和和分布式计算分布式计算。在电商平台下单，一笔买卖就是一个“事务”，对买家账户进行扣款，对卖家账户进行入账；同时，要扣库存、更新订单状态，而库存和订单一般属于不同的数据库，甚至是在不同物理位置的云数据中心主机上，如何保证这一系列数据处理的一致性？淘宝网整个交易系统是个复杂的系统，由分布在不同地域的云计算数据中心，通过分工与协同，完成交易的整个过程

25、，其中负责存储海量数据的分布式数据库OceanBase是支付宝的核心系统之一。第四章第四章 云计算与分布式技术云计算与分布式技术31本章导读本章导读 云计算系统可以是一个庞大的信息处理系统，在该系统中，与大量服务器、存储设备、数据库、网络设备等分布在不同网络位置和物理位置。该系统就是利用分布式技术，将一个巨大任务，划分成多个子任务分配给系统中不同的处理节点上，然后把各个节点的处理结果进行有机整合，最终产生所需要的结果。分布式技术既提高了工作效能，又充分盘活了系统中各种空闲的软硬件资源。分布式系统是云计算中最基础的架构，其中包括分布式应用和服务。分布式系统把应用和服务进行分层和分割，然后将应用和

26、服务模块进行分布式部署，既提高了并发访问能力、减少数据库连接和资源消耗，还能使用不同应用复用共同的服务，使业务易于扩展。第四章第四章 云计算与分布式技术云计算与分布式技术32本章学习目标本章学习目标 随着计算的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费较长的时间来完成，分布式计算将应用分解成许多小的部分，分配给多台计算机处理，这样可以节约整体计算时间，大大提高计算效率。学习目标学习目标 理解分布式系统概念 理解分布式计算、分布式文件系统、分布式数据库、分布式存储等技术特点 了解分布式消息队列 了解分布式系统在云计算中的应用第四章第四章 云计算与分布式技术云计算与

27、分布式技术33 什么是分布式系统分布式系统（Distributed System）？分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像是单个相关系统。分布式系统由多个业务节点组成，每个节点可以由廉价的终端或昂贵的服务器组成，构成一个独立的运算单元，它们分散在不同的地理位置，基于通信网络互联和分布式软件系统来执行任务。分布式系统对用户来说就像一台计算机一样，作为整体对外向用户提供资源，但对用户而言整个系统是透明的。分布式系统根据网络的体系结构分为总线型和网络型；根据系统架构分为分布式存储和分布式计算。4.1 4.1 什么是分布式系统什么是分布式系统34 分布式系统分布式系统特点：特点：

28、（1）一致性。即数据的一致性，关联数据之间的逻辑关系是否正确和完整，无论对数据怎样操作，都要保持数据的完整性和可用性，没有脏数据产生。（2）可用性。用户发出的各种请求，在服务器端能及时作出正确的响应，而不是错误的或是没有响应。（3）容错性,。当一个节点出现故障时，系统中其它节点能够提供正常的服务，并对该节点进行删除和增加操作。4.1 4.1 什么是分布式系统什么是分布式系统35 分布式计算分布式计算，是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计

29、算机进行处理。这样可以节约整体计算时间，大大提高计算效率。分布式计算分布式计算就是让两个或多个软件互相共享信息，这些软件既可以在同一台计算机上运行，也可以通过网络连接起来的多台计算机同时运行，然后共同完成一个或若干个任务得到结果。4.2.1 4.2.1 分布式计算分布式计算4.2 4.2 什么是分布式系统什么是分布式系统36 网格计算网格计算是分布式计算的一种类型。网格计算在松耦合资源环境中的得到应用，用来实现复杂的工作负载管理和信息虚拟化功能。网格计算也是一种与集群计算非常相关的技术。网格计算的实质就是组合与共享资源并确保系统安全，并通过利用大量异构计算机的未用资源（CPU、磁盘存储等），将

30、其作为嵌入在分布式电信基础设施中的一个虚拟的计算机集群，为解决大规模的计算问题提供了一个分布式模型。网格计算网格计算或分布式具有以下特点：（1）稀有资源可以共享；（2）通过分布式计算可以在多台计算机上平衡计算负载；（3）可以把程序放在最适合运行它的计算机上。4.2.2 4.2.2 网格计算网格计算4.2 4.2 什么是分布式系统什么是分布式系统37 并行计算并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。用多个处理器来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行

31、计算。通过并行计算集群完成数据的处理，再将处理的结果返回给用户。并行计算并行计算有以下特征：（1）将工作分离成离散部分，有助于同时解决。（2）随时并及时地执行多个程序指令。（3）多计算资源下解决问题的耗时要少于单个计算资源下的耗时。4.3.1 4.3.1 什么是并行计算什么是并行计算4.3 4.3 并行计算并行计算38 （1）云计算萌芽于并行计算 云计算的萌芽应该从计算机的并行化开始，并行机的出现是人们不满足于CPU摩尔定率的增长速度，希望把多个计算机并联起来，从而获得更快的计算速度。（2）并行计算追求的高性能 在并行计算的时代，人们极力追求的是高速的计算、采用昂贵的服务器。例如，截至2018

32、年11月，美国超级计算机“顶点”蝉联冠军，中国超算上榜总数仍居第一，数量比上期进一步增加，占全部上榜超算总量的45%以上。中国超算“神威太湖之光”和“天河二号”分别位列第三、四名。（3）云计算对于单节点的计算能力要求低 而云计算并不去追求使用昂贵的服务器，云中心的计算力和存储力可随着需要逐步增加，云计算的基础架构支持这一动态、虚拟化扩展的方式。4.3.2 4.3.2 并行计算与云计算并行计算与云计算4.3 4.3 并行计算并行计算39 MapReduceMapReduce是1956年由图灵奖获得者著名的人工智能专家McCarthy首次提出的，是LISP语言定义的函数，是一种编程模型，用于大规模

33、数据集（大于1TB）的并行计算。概念“Map（映射）”和“Reduce（归约）”，是它的核心思想。它是面向大数据并行处理的计算模型、框架和平台。MapReduceMapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。MapReduceMapReduce是一个并行计算与运行软件框架。MapReduceMapReduce是 一 个 并 行 程 序 设 计 模 型 与 方 法（Programming Model&Methodology）。4.4 MapReduce4.

34、4 MapReduce简介简介40 分布式文件系统（Distributed File System）就是分布式+文件系统，从文件系统的客户使用者来看，它就是一个标准的文件系统，提供了一系列API，实现文件或目录的创建、移动、删除和对文件的读写等操作。从内部组织结构来看，分布式的文件系统不再和普通文件系统一样负责管理本地磁盘，它的文件内容和目录结构都不存储在本地磁盘上，而是通过网络传输到远端系统上。常见的分布式应用级的文件系统有GFS、HDFS、Lustre、Ceph、TFS、FastDFS等。4.5 4.5 分布式存储分布式存储4.5.1 4.5.1 分布式文件系统分布式文件系统41 典型的分

35、布式文件系统包括：分布式文件系统、分布式锁机制和分布式通信机制。如Google的分布式文件系统中GFS、Chubby和Protocol Buffer对应着分布式文件系统、分布式锁机制和分布式通信机制。（1）GFS-Google的分布式文件系统。（2）Chubby-分布式锁服务。（3）Protocol Buffer-是Google内部使用类似XML和JSON的一种数据交换格式，并提供基于Java、C#和Python等多种语言的接口调用。4.5 4.5 分布式存储分布式存储4.5.2 4.5.2 分布式分布式文件系统应用文件系统应用42 BigTableBigTable是一个分布式的半结构化数据存

36、储系统，被设计用来处理海量数据，通常是分布在多台普通服务器的PB级的数据。BigTable体系架构主要包括三部分，如下图：4.5 4.5 分布式存储分布式存储4.5.3 4.5.3 分布式分布式数据库数据库BigTableBigTable43 块存储块存储指在一个RAID集中，提供固定大小的RAID 块作为LUN（逻辑单元号）的卷。块存储通常是指磁盘阵列、硬盘、虚拟硬盘，它的使用方式与普通硬盘的使用方式完全一样，DAS和SAN是两种块存储的典型存储方式。分布式存储软件系统具有以下特点分布式存储软件系统具有以下特点：（1）高性能：分布式哈希数据路由,，数据分散存放，实现全局负载均衡，不存在集中的

37、数据热点，大容量分布式缓存；（2）高可靠：采用集群管理方式，不存在单点故障，灵活配置多数据副本，不同数据副本存放在不同的机架、服务器和硬盘上，单个物理设备故障不影响业务的使用，系统检测到设备故障后可以自动重建数据副本；（3）高扩展：没有集中式机头，支持平滑扩容，容量几乎不受限制；（4）易管理：存储软件直接部署在服务器上，没有单独的存储专用硬件设备，通过Web UI 的方式进行软件管理，配置简单。4.5 4.5 分布式存储分布式存储4.5.4 4.5.4 分布式块存储服务分布式块存储服务44 对象存储对象存储（Object Storage）是在2006年亚马逊推出S3（Simple Storag

38、e Service）时提出的，此后各厂商推出各种产品，形态各异，但从应用场景上理解都大致相同，它的特征如下：（1）远程访问。对象存储为云计算而生，存储设备在数据中心，用户遍布世界各地，通过Web服务协议（如REST、SOAP）实现对象的读写和存储资源的访问，通过滴用对象存储本身提供的认证密钥进行身份验证，通过控制列表访问单个对象或存储段，使用REST接口来设置和管理访问控制列表。（2）海量用户。云服务需要支持海量的用户，各个用户之间可以相互共享、授权，并且要保证数据不能泄露。（3）无限扩容。用户产生的海量数据需要分布式对象存储，支持用户存储的数量无限多个。4.5 4.5 分布式存储分布式存储4

39、.5.5 4.5.5 分布式分布式对象对象存储服务存储服务45 消息队列消息队列最先用于计算机内部进程间通信或线程间通信。随着分布式技术的发展，在后来的软件工程实践中，消息队列逐渐变成独立部署的软件组件，特别是在云平台环境下，消息队列成为不同服务之间消息通信和同步的关键技术，基于云平台的可靠性要求，需要队列服务提供持久化存储能力，并且能够容忍存储的单点故障，从而实现持久化存储的分布式队列服务。4.6 4.6 分布式分布式消息队列消息队列46 Hadoop Hadoop是什么？Hadoop是一个分布式系统基础架构，是一个运行处理大规模结构化和非结构化数据的软件平台。HadoopHadoop是对G

40、oogle的MapReduce、GFS和BigTable等核心技术的开源实现，由Apache软件基金会支持，是以 Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）和MapReduce（Google MapReduce）为核心，以及一些支持Hadoop的其它子项目的通用工具组成的分布式计算系统。4.7 4.7 分布式系统分布式系统HadoopHadoop简介简介47 （1 1）HDFSHDFS简介简介 HDFS是基于数据流模式访问和处理的大文件系统，部署在廉价的商用服务器上。HDFS集群架构由一个NameNode，一定数目的 DataNode和

41、Client三部分组成，NameNode用于存储,生成文件系统的元数据，运行一个实例；.DataNode用于存储实际的数据，将自己管理的数据块上报给NameNode，运行多个实例；Client支持业务访问HDFS，从NameNode和DataNode获取数据返回给业务。多个实例和业务一起运行。4.7 4.7 分布式系统分布式系统HadoopHadoop简介简介48 （2 2）HDFSHDFS读数据流程读数据流程 HDFS客户端调用标淮的文件系统，并以文件流的形式打开文件，HDFS客户端读取NameNode配置信息，获取文件信息（数据块、DataNode位置信息）HDFS客户端调用文件流API读

42、取文件，从NameNode中获取DataNode的信息，读取相应的多个数据块，文件流调用关闭连接。4.7 4.7 分布式系统分布式系统HadoopHadoop简介简介49 （3 3）HDFSHDFS写数据流程写数据流程 HDFS客户端调用标准的文件系统，并以文件流的形式打开文件，请求写入.HDFS客户端让NameNode在元数据中创建文件节点。调用文件流API写入文件。HDFS客户端从NameNode获取到数据块编号、位置信息后，联系DataNode，写入数据到DataNode1，再由DataNode1复制到DataNode2，DataNode2复制到DataNode3，写完数据后，将返回确认

43、信息给HDFS客户端，文件流调用关闭连接。4.7 4.7 分布式系统分布式系统HadoopHadoop简介简介50 （4 4）Hadoop生态系统 目前，Hadoop已经发展成为包含很多项目的集合,，形成了以Hadoop为中心的生态系统（Hadoop Ecosystem），此生态系统提供了互补性服务或在核心层上提供了更高层的服务，使Hadoop的应用更加方便快捷。4.7 4.7 分布式系统分布式系统HadoopHadoop简介简介 Platform Computing Inc.2003-Proprietary&Confidential 5151本章小结本章小结 MapReduceMapRedu

44、ce是一个实现并行计算与软件开发的一套设计模型和方法，能够自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务并收集中间计算结果。该系统可实现将大数据进行分布式存储、实现数据通信、容错处理等，其将并行计算涉及到的很多系统底层的复杂细节交由系统负责处理，大大减少了软件开发人员的负担。Hadoop Hadoop是一个由Apache基金会开发的一套分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。该系统可以充分利用分布式集群资源进行高效运算和数据访问。Platform Computing Inc.2003-Proprietary&Conf

45、idential 5252本章小结本章小结 Hadoop Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFSHDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。在搭建的Hadoop平台上实现HDFS分布式数据存储以及实现MapReduce的并行计算，也就是说，在hadoop的框架上采取Mapreduce的模式处理海量数据。BigTable BigTable是Google设计的分布式数据存储系统，是一个稀疏的、分布式的、持久化的、多维的排序和键值（key-value）映射。用来处理海量数据的一种非关系型的数据库，能够快速且可靠地处理PB级别的数据

46、，并且能够部署到大量服务器上。项目名称项目名称：在阿里云上实现分布式计算资源的申请与应用。通过在阿里云平台上申请分布式服务器等计算资源、网络资源、存储资源等，基本掌握在云平台上实现应用平台和ICT资源的申请和构建步骤，了解分布式计算的基本功能和任务，从而更好地理解分布式计算在云数据中心中地位和作用。背景知识背景知识：企业想在云服务提供商平台上采购构建自己的企业新信息化管理平台，无需自己采购、建立和维护数据中心，并且利用分布式计算资源，处理企业大型分布式业务。阿里云企业级分布式应用服务EDAS（Enterprise Distributed Application Service）是一个应用托管和微服务管理的PaaS平台，提供应用开发、部署、监控、运维等全栈式解决方案，同时支持Dubbo、Spring Cloud等微服务运行环境，助力各类应用轻松上云。53拓展项目拓展项目54拓展项目拓展项目