书签 分享 收藏 举报 版权申诉 / 30
上传文档赚钱

类型FASTDFS文件服务器架构方案分析课件.ppt

  • 上传人(卖家):ziliao2023
  • 文档编号:6190672
  • 上传时间:2023-06-10
  • 格式:PPT
  • 页数:30
  • 大小:1.13MB
  • 【下载声明】
    1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
    2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
    3. 本页资料《FASTDFS文件服务器架构方案分析课件.ppt》由用户(ziliao2023)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
    4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
    5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
    配套讲稿:

    如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。

    特殊限制:

    部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。

    关 键  词:
    FASTDFS 文件服务器 架构 方案 分析 课件
    资源描述:

    1、文件服务器架构方案摘要分布式文件系统的使命FastDFS如何应对FastDFS基础应用总结:优缺点其他文件系统的对比分布式文件系统的使命冗余备份;负载均衡;线性扩容等机制;大量请求中高可用、高性能;容灾和可拓展性。FastDFS如何应对FastDFS的基本架构特征轻量级;分组方式;对等结构。轻量级跟踪服务器(tracker)存储服务器(storage)服务端只有两角色:跟踪服务器(tracker)和存储服务器(storage)responserequest分组方式group1storage1storage2group2storage1storage2group3storage1”storage

    2、2”Tracker servers对等结构FastDFS基础应用基础操作,数据流程网络拓扑,实际应用容灾,优化,版本升级文件上传操作文件下载操作文件索引解析文件的存储方式和返回文件名解析文件名包含:源头storage IP地址和文件创建时间戳、文件大小、随机数、文件拓展名。网络拓扑-实施部署方案说明:tracker1+squid-1+storage1 使用一台服务器,共2台服务器2台服务器配置:centOS 6.3x64位 2核+4GB内存+1TB存储达到目标:1.扩充空间只需要再增加一组服务器2.2台服务器可以均衡负荷访问3.2台服务器的数据一致,解决了实时备份以HTTP方式下载文件Fast

    3、DFS分组存储方式,为HTTP方式下载提供了便利FastDFS支持HTTP方式下载文件,可以使用内置web server或者外部web server需要解决文件同步延迟的问题可以采取如下两种方式:tracker跳转方式:通过Tracker server跳转非tracker跳转方式:Storage server直接提供文件下载HTTP下载方式一(tracker跳转)HTTP下载方式一流程解读通过Tracker server解决文件同步延迟的问题Tracker server上需使用内置web serverStorage server可以使用内置web server,也可以使用外部web serve

    4、r。推荐使用外部web server,如apache或nginxHTTP下方式二(非tracker跳转)可以分为两种方式:跳转方式(redirect)代理方式(proxy)HTTP下载方式二(redirect)HTTP下载方式二(proxy)HTTP下载方式二流程解读使用扩展模块来解决文件同步延迟问题如果请求文件在当前storage上不存在,通过文件ID反解出源storage,直接请求源storagetracker server上不需要任何web server在每台storage server上部署web server,直接对外提供HTTP服务目前已提供apache和nginx扩展模块推荐使用

    5、扩展模块方式总结:优缺点优缺点(特性)适用业务场景特性不记录文件索引信息对等结构,组内所有storage 存储一致采用异步方式将源数据服务器主动push到其他数据库服务器文件不进行分片处理客户端访问时需通过tracker指定storage优点支持同一文件只保存一份,节约磁盘空间下载文件支持HTTP协议,可以使用内置Web Server,也可以和其他Web Server配合使用支持在线扩容,支持主从文件storage上可以保存文件属性(meta-data)文件不分块存储,上传的文件和OS文件系统中的文件一一对应(实现了软件RAID)缺点缺点p自带的http server端支持不足,storage

    6、 扩展建议使用nginx;p没有支持python的接口;p在服务器配置不统一时不能很好的调节磁盘空间负载压力(非动态);p需要客户端自行记录存储信息,增加了客户端的信息管理量。适用的业务场景 某大型网盘(有200个group,存储容量达到了3PB,文件数近1亿)UC(http:/ db;使用mysql来存储文件索引等信息,文件同步通过tracker调度和中转;动态冗余,灵活性一般;不支持文件附加属性(meta data);不支持文件偏移下载。MooseFS特点MooseFS文件系统结构包括以下四种角色:管理服务器(master),元数据日志服务器(Metalogger),数据存储服务器(chu

    7、nkservers),客户端(client);文件分片(64Mb);多点备份,动态冗余备份;可以自定义文件存储路径;需要保持文件索引,内存消耗较大;对小于64Kb的数据的存储性能不高。TFS(TaobaoFS)特点完全扁平化的数据组织结构,抛弃了传统文件系统的目录结构。在块设备基础上建立自有的文件系统,减少EXT3等文件系统数据碎片带来的性能损耗。单进程管理单块磁盘的方式,摒除RAID5机制。带有HA机制的中央控制节点,在安全稳定和性能复杂度之间取得平衡。尽量缩减元数据大小,将元数据全部加载入内存,提升访问速度。跨机架和IDC的负载均衡和冗余安全策略。完全平滑扩容。HDFS特点1 扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。2 成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。3 高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速。4 可靠性(Reliable):hadoop能自动地维护数据的多份复制,并且在任务失败后能自动地重新部署(redeploy)计算任务。附录参考资料站点:FastDFS中文:http:/www.csource.org/FastDFS英文:http:/

    展开阅读全文
    提示  163文库所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:FASTDFS文件服务器架构方案分析课件.ppt
    链接地址:https://www.163wenku.com/p-6190672.html

    Copyright@ 2017-2037 Www.163WenKu.Com  网站版权所有  |  资源地图   
    IPC备案号:蜀ICP备2021032737号  | 川公网安备 51099002000191号


    侵权投诉QQ:3464097650  资料上传QQ:3464097650
       


    【声明】本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是网络空间服务平台,本站所有原创文档下载所得归上传人所有,如您发现上传作品侵犯了您的版权,请立刻联系我们并提供证据,我们将在3个工作日内予以改正。

    163文库