联想LeoStor分布式存储系统课件.pptx

1、联想LeoStor分布式存储系统新业务/应用模式带动数据爆炸式增长大数据时代数据访问的挑战传统单一的数据存储方式无法满足数据管理的需求传统存储面对大数据的挑战开放性不足 盘阵存储标准化程度低，组件的更换常常导致系统故障或者硬件的升级，这些组件通常是由制造商专门开发用于此系统，不能轻易的利用市场上通用部件成本较高 盘阵造价昂贵，导致系统建设成本居高不下扩展性较差 传统盘阵单点扩展存在容量上限和接口带宽等限制，面对PB级的海量存储需求，传统的SAN或NAS在容量和性能的扩展上无法满足软件定义存储SDS提供灵活、高效的数据解决方案抛弃专有硬件设备的束缚，采用开放的灵活架构，提供存储级的性能和可管理性

2、软件定义存储的特质：软件在存储中处于一个核心的地位，而底层的硬件多用通用的服务器和磁盘；对资源和数据实现高效、整体上的有效管理；具有灵活性和高可扩展性的特质，在对资源和数据进行整体把控的基础上，通过软件实现灵活的部署以及扩展。联想LeoStor并行存储系统LeoStor云存储体系架构LeoStor并行存储系统产品系列统一存储平台，满足数据中心多种需求LeoStor并行存储系统技术规格LeoStor并行存储系统典型部署架构元数据（MDS）节点集群存储（OSS）节点集群以太网或IB网成对扩展，最大128对按需扩展，最大支持1024LeoStor提供多种类型接口LeoFSLeoStor 智能前端切片

3、技术ServersServersServers交换机元数据服务器通过负载均衡算法进行负载均衡运算存储服务器客户端算法计算元数据客户端将元数据信息一步定位写入元数据返回数据切片以及分布信息MDS元数据节点OSS数据节点数据写入模式数据读取模式15ServersServersServers客户端算法计算文件元数据信息所在位置客户端一步定位读取出文件元数据信息MDS元数据节点OSS数据节点元数据工作模式16存储系统索引层Tiered Storage 基于目录的分层存储技术LeoStor基于目录和用户的配额管理UltraRaid 基于目录的数据保护LeoStor 数据自我保护LeoStor的存储容量均

4、衡技术系统自动将数据均匀分配，可无需人工干预，同时增加系统输出带宽！LeoStor智能复制技术支持构筑多活云数据中心基于智能碎片技术的异步复制方案时间窗口可调LeoStor带宽聚合技术LeoStor还有更多的技术特点测试配置概述联想H厂商L厂商节点配置2元数据+3存储节点4个节点2元数据+3存储节点数据磁盘个数（7.2K）54块14036网络配置(每节点)2*10Gb2*10Gb2*10Gb备注测试环境概述名称个数备注测试节点Window2008 server5均为万兆测试环境性能测试工具AutoTest5专业测试工具延时测试工具Dmwdrp1专业测试工具测试结果分析-顺序读结果分析：总带宽上

5、，联想产品在配置较少的情况下，与H友商总性能接近，表现优异；单盘效率上，Leostor有较为明显的优势。测试结果分析-顺序写结果分析：总带宽上，联想产品在配置较少的情况下，优于两个友商，表现优异；单盘效率上，Leostor有较为明显的优势。测试结果分析-随机读结果分析：总带宽上，联想产品在配置较少的情况下，优于两个友商，表现优异；单盘效率上，Leostor有较为明显的优势。测试结果分析-延时结果结果分析：联想产品在延时测试中，也取得了优异的成绩竞争分析VS NAS架构参数NASLoongStore带宽NAS设备控制器存在数量限制，即数据出口少,容易成为性能瓶径基于高效的并行存储技术，聚合带宽随

6、着存储集群规模扩大而线性增长可靠性硬件HA备份设计；数据Raid5数据保护；Raid组内两块硬盘损坏，或者单台存储设备失效，会造成数据丢失硬件系统集群化；数据冗余度可调；可以允许多块磁盘同时损坏，甚至单台存储设备失效也不会影响数据的完整性并发所谓双Active集群文件服务器,一个数据对象同时只有一台NFS服务器能够访问一单个数据对象可以同时被多个数据接收端接收数据扩展性不支持在线扩展，扩展能力有限，扩展到一定程度后会造成性能的降低.容量越大，性能越低可无限的扩展,动态无缝的扩展，扩展之后性能得到提高.容量越大，性能越高文件规模单目录十万级文件，超过十万目录无法打开，文件规模庞大时，进行数据更改

7、延迟时间长，需要进行控制器数据同步支持2000亿所以上的文件，快速检索，单目录千万以上故障恢复时间系统重构需要中断业务，Raid重建影响性能，时间很长在线系统快速重构和数据恢复，速度是RAID的数倍，对性能几乎没有影响维护升级费用厂家专用磁盘，价格十分昂贵；技术支持由代理商完成，不能提供用户环境调优和定制开发系统自恢复，接近零维护；维护升级成本低；可进行用户定制开发竞争分析VS FC SAN架构参数FC SANLoongStore共享性能FC SAN设备本身不支持共享，需要共享文件系统支持，如StorNext，或EMC自己的MPFS，但这次文件系统都不是集群设计，性能普遍很低，支持客户端数量也

8、很有限。硬件上，单个LUN被共享访问时性能会急剧下降基于高效的并行存储技术，系统聚合带宽随着存储规模扩大而近线性增长，带宽可扩展至数百GB/s；单个数据对象可以被多个客户端访问保持性能不变扩展性仅有Symmtrix DMX3/4支持在线扩展Raid阵列，其余产品扩容需要停机，重新规划空间分配；容量越大，性能越低动态无缝的扩展，扩展之后性能得到提高，容量越大，性能越高可靠性硬件HA备份设计；数据Raid5数据保护；Raid组内两块硬盘损坏，或者单台存储设备失效，会造成数据丢失硬件系统集群化；数据冗余度可调；可以允许多块磁盘同时损坏，甚至单台存储设备失效也不会影响数据的完整性故障恢复时间系统重构需

9、要中断业务，时间很长在线系统快速重构和数据恢复，速度是SAN的数倍，对性能几乎没有影响完备性SAN设备本身只提供基本存储空间，共享、镜像、安全都需要另购EMC或第三方软件，要实现一个完整的存储解决方案，需要一个“系统集成”的过程系统提供存储、共享、自修复、负载均衡、安全、镜像等完整的功能，无需另购软件维护升级费用1、厂家私有光纤协议，需要专人学习、负责维护2、厂家专用磁盘，价格十分昂贵；3、增加客户端需要收费昂贵通用的TCP/IP协议，任何网络维护人员都能承担维护任务；系统自恢复，接近零维护；维护升级成本低竞争分析VS Hadoop FS架构参数HDFSLoongStore开发语言Java 应

10、用程序级别C 内核级模块定位处理型应用通用大规模文件共享存储应用接口Java apiPosix标准文件系统接口不支持文件修改write-once-read-many只能有一位写用户不支持软、硬链接文件类型优化大文件大、小文件文件数量支持百万级（白皮书公布）超过300亿（案例值）扩容后数据迁移不支持支持名字节点（MDS）单台，存在单点故障集群（1128台）兼容性跨平台跨平台竞争分析VS Lustre架构参数LusterLoongStore元数据服务器Active-Standby 2台服务器+SAN（为达到高可用效果需要共享存储，如SAN）Active-Active，最大支持128台服务器+内置硬

11、盘（任何类型的磁盘）可靠性方法磁盘：依靠硬件RAID保护服务：后端硬件用SAN，IO服务器之间failover；任何存储节点宕机会影响服务连续性磁盘与服务连续性：通过使用文件副本策略，消除磁盘、存储节点、盘阵的单点故障聚合带宽上百GB/s上百GB/s文件数量1亿2000亿，实际案例300亿文件可靠性屏蔽了oss宕机造成影响(Failover)，如果控制器损坏或者RAID里面多块磁盘损坏会导致数据丢失屏蔽了存储服务器、网络、硬盘、控制器损坏等各类异常（通过文件副本策略，实现数据的全局恢复）扩展支持难以支持在线扩展，但是没有数据迁移功能，扩容后数据分配不均支持在线动态扩展，扩展后可以数据迁移，重新

12、平均数据分布（不停应用）支持平台LinuxLinux、Windows、Mac竞争分析VS Panasas架构参数PanasasLoongStore架构重点存储系统只对大文件读写做了优化，无小文件优化策略分别对大文件和小文件读写做了双重优化硬件刀片服务器，每台刀片带2块存储磁盘，硬件要求非常高，硬件要求较高通用机架式服务器，每台服务器可带1-36块磁盘，硬件要求较低单卷容量PB级（官方网站给出）300PB数据保护分层校验，通过动态复制数据段进行数据块损坏时数据保护，单点故障与整个磁盘损坏则完全通过RAID机制加以实现文件系统可自动监测到丢失或损坏的数据块，并根据数据块进行恢复；可根据应用需求对存

13、储系统中的目录分别部署不同的数据保护机制数据丢失重建500G数据重建时间在90分钟左右，且需要借助所有刀片同时参与数据恢复，影响整体性能。750G磁盘数据恢复时间为15分钟且数据恢复时对前端没有丝毫影响成本高低支持平台LinuxLinux、Windows、MAC竞争分析VS StorNext SNFS架构参数StorNext SNFSLoongStore性能SNFS后端基于的是SAN环境，读写性能完全依赖于盘阵的存储控制器，存储控制器很容易成为性能瓶颈。在实际的测试中也发现即使是中高端的磁盘阵列，随着应用并发数的提高性能会急剧下降，这也导致SNFS文件共享访问效率下降；LoongStore使用

14、了完全分布式的数据分布访问的方法来消除对于单个存储控制器性能的依赖。可以充分利用集群环境里面硬件的并发处理能力，提供远远高于传统存储方案的聚合吞吐量；可靠性SNFS方案的可靠性完全是依赖于底层硬件RAID以及相应的通道冗余实现。而RAID的保护只能局限于单个盘阵内，一旦单个盘阵失效将会导致数据无法访问甚至数据丢失等严重故障；LoongStore的可靠性机制不会完全依赖于高端、高可靠性的硬件，而是在系统内部提供了一套完整的故障自动探测与恢复机制来消除硬件损坏可能带来的损失，在无需人员参与的情况下保证数据的安全与服务的连续性。文件管理效率SNFS的单个文件系统只有一个活跃的MDC提供对应的服务，当

15、应用环境里面存在大量的文件时，前端的工作站的文件检索请求很容易会给MDC造成巨大的访问压力，从而降低了整体的文件管理效率；LoongStore的单个共享文件系统可以由多个元数据服务器构建的集群来支撑，即使面向存在海量文件的应用环境（数亿甚至数千亿文件），LoongStore的元数据服务器集群也能够轻松支撑住庞大的文件检索请求；竞争分析VS Isilon OneFS架构参数Isilon OneFSLoongStore架构昂贵的Infiniband网络，复杂的相互连接，数据存储服务器最大支持144台通用服务器和网络，存储服务器可支持超过4096台可扩展性10PB（白皮书）300PB存储特点大文件大

16、小文件数据保护跨节点的Raid 5 奇偶校验任何磁盘或机箱故障会导致昂贵的再分配和再平衡的数据在所有参与的节点多副本机制或者跨节点校验模式，可根据需求动态设置快速恢复时间，1T磁盘半小时内恢复完成负载均衡基于IP地址池的后端负载均衡透明的客户端和存储服务器之间的负载平衡请求安全性数据在存储到数据服务器上之后进行切片分发，如果此时服务器出现损坏则会出现数据丢失数据分发与切片全部在前端完成，只要数据存储到后端就能保证数据的安全性元数据机制元数据信息存放在每台数据服务器上，且每台数据服务器要存储所有的元数据信息，在通过后台进行复杂的数据交换，保证数据的一致性分布式存放在多台元数据服务器中，每台元数据服务器的元数据管理不重复，通过独有元数据保护机制和校验算法保证数据的一致性