Google云计算原理与应用1课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《Google云计算原理与应用1课件.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Google 计算 原理 应用 课件
- 资源描述:
-
1、第7章 Google云计算原理与应用 提 纲 ? Google文件系统GFS ? 分布式数据处理MapReduce ? 分布式锁服务Chubby ? 分布式结构化数据表Bigtable ? 分布式存储系统Megastore ? 大规模分布式系统的监控基础架构Dapper ? Google应用程序引擎 Google文件系统GFS ? 系统架构 ? 容错机制 ? 系统管理技术 Google业务业务 ?全球最大搜索引擎、Google Maps、Google Earth、Gmail、YouTube等 数据量巨大,且面向全球用户提供实时服务 Google 云计算平台技术架构 ?文件存储,Google D
2、istributed File System,GFS ?并行数据处理MapReduce ?分布式锁Chubby ?分布式结构化数据表BigTable ?分布式存储系统Megastore ?分布式监控系统Dapper 秘密武器:云计算平台! GFS设计动机 ?Google需要一个支持海量存储的文件系统 ?购置昂贵的分布式文件系统与硬件? ?为什么不使用当时现存的文件系统? ? Google所面临的问题与众不同 ? 不同的工作负载,不同的设计优先级(廉价、不可靠的硬件) ? 需要设计与Google应用和负载相符的文件系统 是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统? GFS将容错的
3、任务交给文件系统完成,利用软件的方法解决系统可靠性问题,使存储的成本成倍下降。GFS将服务器故障视为正常现象,并采用多种方法,从多个角度,使用不同的容错措施,确保数据存储的安全、保证提供不间断的数据存储服务 GFS架构是怎样的? 系统架构 Client (客户端):应用程序的访问接口 Master(主服务器):管理节点,在逻辑上只有一个,保存系统的元数据,负责整个文件系统的管理 Chunk Server (数据块服务器):负责具体的存储工作。数据以文件的形式存储在Chunk Server上 实实现现机机制制 ?客户端首先访问Master节点,获取交互的Chunk Server信息,然后访问这些
4、Chunk Server,完成数据存取工作。这种设计方法实现了控制流和数据流的分离。 ?Client与Master之间只有控制流,而无数据流,极大地降低了Master的负载。 ?Client与Chunk Server之间直接传输数据流,同时由于文件被分成多个Chunk进行分布式存储,Client可以同时访问多个Chunk Server,从而使得整个系统的I/O高度并行,系统整体性能得到提高。 GFS特点有哪些? GFS特点 采用中心服务器模式采用中心服务器模式 ?可以方便地增加Chunk Server ? Master掌握系统内所有Chunk Server的情况,方便进行负载均衡 ?不存在元数
5、据的一致性问题 不缓存数据 ?文件操作大部分是流式读写,不存在大量重复读写,使用Cache对性能提高不大 ? Chunk Server上数据存取使用本地文件系统,若读取频繁,系统具有Cache ?从可行性看,Cache与实际数据的一致性维护也极其复杂 在用户态下实现 ?利用POSIX编程接口存取数据降低了实现难度,提高通用性 ?POSIX接口提供功能更丰富 ?用户态下有多种调试工具 ?Master和Chunk Server都以进程方式运行,单个进程不影响整个操作系统 ?GFS和操作系统运行在不同的空间,两者耦合性降低 只提供专用接口 ?降低实现的难度 ?对应用提供一些特殊支持 ?降低复杂度 G
6、oogle文件系统GFS ? 系统架构 ? 容错机制 ? 系统管理技术 Master容错 Master Name Space,文件系统目录结构 Chunk 与文件名的映射 Chunk 副本的位置信息(默认有三个副本) Name Space ,文件系统目录结构 Chunk 与文件名的映射 Chunk 副本的位置信息 Master 单个Master,对于前两种元数据,GFS通过操作日志来提供容错功能 第三种元数据信息保存在各个Chunk Server上,Master故障时,磁盘恢复 GFS还提供了Master远程的实时备份,防止Master彻底死机的情况 Chunk Server容错 ?采用副本方
7、式实现Chunk Server容错 ? 每一个Chunk有多个存储副本(默认为三个),分布存储在不同的Chunk Server上用户态的GFS不会影响Chunk Server的稳定性 ? 副本的分布策略需要考虑多种因素,如网络的拓扑、机架的分布、磁盘的利用率等 ? 对于每一个Chunk,必须将所有的副本全部写入成功,才视为成功写入 尽管一份数据需要存储三份,好像磁盘空间的利用率不高,但综合比较多种因素,加之磁盘的成本不断下降,采用副本无疑是最简单、最可靠、最有效,而且实现的难度也最小的一种方法。 Simple, and good enough! ? GFS中的每一个文件被划分成多个Chunk,
8、Chunk的默认大小是64MB ? Chunk Server存储的是Chunk的副本,副本以文件的形式进行存储 ? 每个Chunk又划分为若干Block(64KB),每个Block对应一个32bit的校验码,保证数据正确(若某个Block错误,则转移至其他Chunk副本) Google文件系统GFS ? 系统架构 ? 容错机制 ? 系统管理技术 大规模集群安装技术 故障检测技术 节点动态加入技术 节能技术 新的Chunk Server加入时 ,只需裸机加入,大大减少GFS维护工作量 GFS构建在不可靠廉价计算机之上的文件系统,由于节点数目众多,故障发生十分频繁 Google采用了多种机制降低服
展开阅读全文