Google-云计算平台-解析课件.ppt

1、Google的云计算平台解析参与者名单11.概论nGoogle的云计算技术是针对Google特定的网络应用程序而定制的。n针对内部网络数据规模超大的特点，Google提出了一整套基于分布式并行集群方式的基础架构，利用软件的能力来处理集群中经常发生的节点失效问题。21.概论nGoogle使用的云计算基础架构模式包括四个相互独立又紧密结合在一起的系统：建立在集群之上的文件系统Google File System 针对Google应用程序的特点提出的Map/Reduce编程模式 分布式的锁机制Chubby 模型简化的大规模分布式数据库BigTable。32.产品介绍nGoogle File Syst

2、em Google File System 文件系统文件系统：概述为满足Google迅速增长的数据处理需求而建立与其他云系统的共性：性能、可伸缩性、可靠性以及可用性等受到Google应用负载和技术环境的影响而设计的新特性：42.产品介绍nGoogle File System Google File System 文件系统文件系统：特性集集群中的节点失效是一种常态，而不是一群中的节点失效是一种常态，而不是一种异常种异常 由于参与运算与处理的节点数目非常庞大，通常会使用上千个节点进行共同计算，因此，每时每刻总会有节点处在失效状态。需要通过软件程序模块，监视系统的动态运行状况，侦测错误，并且将容错以

3、及自动恢复系统集成在系统中。52.产品介绍nGoogle File System Google File System 文件系统文件系统：特性GoogleGoogle系统中的文件大小与通常文件系统中的文件大小与通常文件系统中的文件大小概念不一样，文件大系统中的文件大小概念不一样，文件大小通常以小通常以G G字节计。字节计。文件系统中的文件含义与通常文件不同，一个大文件可能包含大量数目的通常意义上的小文件。所以，设计预期和参数，例如I/O操作和块尺寸都要重新考虑。62.产品介绍nGoogle File System Google File System 文件系统文件系统：特性GoogleGoog

4、le文件系统中的文件读写模式和文件系统中的文件读写模式和传统的文件系统不同。传统的文件系统不同。在Google应用(如搜索)中对大部分文件的修改，不是覆盖原有数据，而是在文件尾追加新数据。对文件的随机写是几乎不存在的。对于这类巨大文件的访问模式，客户端对数据块缓存失去了意义，追加操作成为性能优化和原子性(把一个事务看做是一个程序。它要么被完整地执行，要么完全不执行)保证的焦点。72.产品介绍nGoogle File System Google File System 文件系统文件系统：特性文文件系统的某些具体操作不再透明，而且件系统的某些具体操作不再透明，而且需要应用程序的协助完成需要应用程序

5、的协助完成 应用程序和文件系统API的协同设计提高了整个系统的灵活性。例如，放松了对GFS一致性模型的要求，这样不用加重应用程序的负担，就大大简化了文件系统的设计。还引入了原子性的追加操作，这样多个客户端同时进行追加的时候，就不需要额外的同步操作了。82.产品介绍nGoogle File System Google File System 文件系统文件系统：结构下图表示了单个GFS的结构。92.产品介绍nGoogle File System Google File System 文件系统文件系统：架构下图表示Google File System的系统架构。一个GFS集群包含一个主服务器和多个块

6、服务器，被多个客户端访问。文件被分割成固定尺寸的块。在每个块创建的时候，服务器分配给它一个不变的、全球惟一的64位块句柄对它进行标识。块服务器把块作为linux文件保存在本地硬盘上，并根据指定的块句柄和字节范围来读写块数据。为了保证可靠性，每个块都会复制到多个块服务器上，缺省保存三个备份。102.产品介绍nGoogle File System Google File System 文件系统文件系统：架构下图表示Google File System的系统架构。主服务器管理文件系统所有的元数据，包括名字空间、访问控制信息和文件到块的映射信息，以及块当前所在的位置。GFS客户端代码被嵌入到每个程序里

7、，它实现了Google文件系统 API，帮助应用程序与主服务器和块服务器通信，对数据进行读写。客户端跟主服务器交互进行元数据操作，但是所有的数据操作的通信都是直接和块服务器进行的。客户端提供的访问接口类似于POSIX接口，但有一定的修改，并不完全兼容POSIX标准。112.产品介绍nMapReduceMapReduce分布式编程环境：概述分布式编程环境：概述为了让内部非分布式系统方向背景的员工能够将应用程序建立在大规模的集群基础上非分布式专业的程序编写人员可以通过此环境为大规模的集群编写应用程序而不用去顾虑集群的可靠性、可扩展性等问题。应用程序编写人员只需要将精力放在应用程序本身，而关于集群的

8、处理问题则交由平台来处理。122.产品介绍nMapReduceMapReduce分布式编程环境：结构分布式编程环境：结构通过“Map(映射)”和“Reduce(化简/规约)”这样两个简单的概念来参加运算 Map操作是可以高度并行的，这对高性能要求的应用以及并行计算领域的需求非常有用 Reduce操作指的是对一个列表的元素进行适当的合并，得到最终的结果132.产品介绍n分布式大规模数据库管理系统分布式大规模数据库管理系统BigTableBigTable：介绍介绍是基于分布式平台的数据库系统 由于一般的关系数据库的强一致性要求，很难将其扩展到很大的规模为了处理Google内部大量的格式化以及半格式

9、化数据，BigTable 是一种具有弱一致性要求的大规模数据库系统142.产品介绍n分布式大规模数据库管理系统分布式大规模数据库管理系统BigTableBigTable：结构结构152.产品介绍n分布式大规模数据库管理系统分布式大规模数据库管理系统BigTableBigTable：结构：结构上图示上图示BigTableBigTable模型中的数据模型模型中的数据模型 数据模型包括数据模型包括行列行列以及相应的以及相应的时间戳时间戳，所有的数据，所有的数据都存放在表格中的单元里。都存放在表格中的单元里。BigTableBigTable的内容按照的内容按照行行来划分，将多个行组成一个小表，保存到某

10、一个服来划分，将多个行组成一个小表，保存到某一个服务器节点中。这一个小表就被称为务器节点中。这一个小表就被称为TabletTablet。163.GoogleGoogle的云应用的云应用 n特点：特点：基于其自身的云计算基础设施基于其自身的云计算基础设施应用了应用了Web2.0Web2.0技术技术具有强大的多用户交互能力具有强大的多用户交互能力173.GoogleGoogle的云应用的云应用 n例子：例子：Google DocsGoogle Docs基于基于WebWeb的编辑工具的编辑工具与与Microsoft OfficeMicrosoft Office相近的编辑界面相近的编辑界面易用的文档权

11、限管理以及多用户操作记录易用的文档权限管理以及多用户操作记录适用于多人协作编辑、项目进度监控等多适用于多人协作编辑、项目进度监控等多种应用种应用184.问题及展望 n问题：问题：GoogleGoogle的云计算平台是私有的环境，特别的云计算平台是私有的环境，特别是是GoogleGoogle的云计算基础设施还没有开放出的云计算基础设施还没有开放出来。来。除了开放有限的应用程序接口之外，除了开放有限的应用程序接口之外，GoogleGoogle并没有将云计算的内部基础设施共并没有将云计算的内部基础设施共享给外部的用户使用，上述的所有基础设享给外部的用户使用，上述的所有基础设施都是私有的。施都是私有的

12、。194.问题及展望 n问题：问题：部分应用缺乏可行的发展模式，如被关闭部分应用缺乏可行的发展模式，如被关闭的的Google WaveGoogle Wave近 期 爆 出 的近 期 爆 出 的 F C C(F e d e r a l F C C(F e d e r a l Communications Commission)Communications Commission)对对googlegoogle云服务信息安全性的质疑，也让用云服务信息安全性的质疑，也让用户对其安全性打了问号户对其安全性打了问号204.问题及展望 n展望：展望：平台以及接口的进一步开放平台以及接口的进一步开放更强壮的云盈利模式更强壮的云盈利模式更多方便快捷的云应用更多方便快捷的云应用21谢谢！22