新版存储基础知识培训课件.ppt

1、存储基础知识培训解决方案中心 贺凯2015-422n 什么是存储？n 存储网络架构n 存储基本组成n Raid技术n 备份容灾n 软件功能存储基础知识33什么是存储？ 存储系统是整个IT系统的基石，是IT技术赖以存在和发挥效能的基础平台。 早先的存储形式是存储设备。可以包含两个方面的含义：一方面它是数据临时或长期驻留的物理媒介；另一方面，它是保证数据完整安全存放的方式或行为。存储就是把这两个方面结合起来，向客户提供一套数据存放解决方案 随着服务器数量的增多，磁盘数量也在增加，且分散在不同的服务器上，查看每一个磁盘的运行状况都需要到不同的应用服务器上去查看。更换磁盘也需要拆开服务器，中断应用。于

2、是，一种希望将磁盘从服务器中脱离出来，集中到一起管理的需求出现了。不过，一个问题：如何将服务器和盘阵连接起来？ 面临这样的问题，有厂商提出了SCSI协议，通过专用的线缆将服务器的总线和存储设备连接起来，通过专门的SCSI指令来实现数据的存储。后来发展到FC协议。这样，多个服务器可以通过SCSI线缆或光纤建立与存储系统的连接。这样的方式，我们称之为直接附加存储（DAS）。存储基本知识44存储网络的存储架构n DAS：直接附加存储 （Direct Attached Storage）n SAN：存储区域网络 (Storage Area Network)n NAS：网络附加存储 （Networks A

3、ttached Storage）存储基础知识55DAS-直接附加存储文件服务器存储设备应用服务器存储设备数据库服务器存储设备数据流数据流数据流存储设备（RAID系统、磁带机和磁带库、光盘库）直接连接到服务器；传统的、最常见的连接方式，容易理解、规划和实施；没有独立操作系统，不能提供跨平台的文件共享，各平台下数据需分别存储；各DAS系统之间没有连接，数据只能分散管理；备份软件不能离开服务器支持；DAS的前期投资比较少；66SAN-存储区域网络文件服务器应用服务器存储设备数据流SAN存储设备存储设备数据流高可用性，高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性；SAN对

4、于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的，快速传输、存储、保护、共享和恢复数据的方法。SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不直接访问SAN的网络；SAN关注磁盘、磁带以及联接它们的可靠的基础结构 。77NAS-网络附加存储文件服务器应用服务器NAS存储设备LAN数据流数据流NAS本身装有独立的OS，通过网络协议可以实现完全跨平台共享，支持WinNT、Linux、Unix等系统共享同一存储分区；NAS可以实现集中数据管理；一般集成本地备份软件，可以实现无服务器备份功能。NAS内每个应用服务器通过网络共享协议，如：NF

5、S（Linux）、CIFS（Windows）。使用同一个文件管理系统；NAS关注应用、用户和文件以及它们共享的数据；磁盘I/O会占用业务网络带宽。88SAN和NASn SAN和NAS经常被视为两种竞争技术，实际上，二者能够很好地相互补充，以提供对不同类型数据的访问。SAN针对海量、面向数据块的数据传输，而NAS则提供文件级的数据访问和共享服务。 尽管这两种技术类似，但严格意义上讲NAS其实只是一种文件服务。n NAS和SAN不仅各有应用场合，也相互结合，许多SAN部署于NAS后台，为NAS设备提供高性能海量存储空间。存储网络的存储架构99SCSI：小型计算机系统接口（Small Compute

6、r System Interface），主流SCSI-3，最高数据传输率640MBps。FC：光纤通信，用于计算机设备之间数据传输，传输率达到4Gb/8Gb/16Gb，光纤通道用于 服务器共享存储设备的连接，存储控制器和驱动器之间的内部连接。iSCSI（互联网小型计算机系统接口）是一种在TCP/IP上进行数据块传输的标准。 iSCSI继承了两大最传统技术：SCSI和TCP/IP协议。对应设备有： HBA卡（FC HBA/iSCSI HBA） FC SWITCH iSCSI-FC 存储路由器另：硬盘分为：机械盘、固态硬盘（SSD）主要接口协议1010存储基本组成1111存储基本组成-单控盘位主机

7、接口1212存储基本组成-双控1313存储基本组成-机头式1414存储基本组成-接口1515Raid技术RAID基本概念定义 RAID RAID （Redundant Array of Independent DisksRedundant Array of Independent Disks）即）即独立磁盘冗独立磁盘冗余阵列余阵列，RAIDRAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而达到提升存储容量、读写性能和数据安全性的目的。根据不硬盘，从而达到提升存储容量、读写性能和数据安全性的目的。根据不同的组合方式可以分为不同的

8、同的组合方式可以分为不同的RAIDRAID级别级别RAID 0RAID 0数据条带化，无校验RAID 1RAID 1数据镜像，无校验RAID 2RAID 2海明码错误校验及校正（不常用）RAID 3RAID 3数据条带化读写，校验信息存放于专用盘（不常用）RAID 4RAID 4单次写数据采用单个硬盘，专用盘存放校验数据（不常用）RAID 5RAID 5数据条带化，校验信息分布式存放RAID 6RAID 6数据条带化，分布式校验并提供两级冗余1616未使用未使用 RAID一旦硬盘损坏，资料将丢失!作业将停顿!资料仍然存在!使用使用 RAIDRAIDRAID出现原因出现原因 一一 1717未使用

9、未使用 RAID使用使用 RAID硬盘容量单块硬盘容量硬盘容量= 单块硬盘容量 x NRAIDRAID出现原因出现原因 二二 一旦硬盘损坏，资料将丢失一旦硬盘损坏，资料将丢失! !作业将停顿作业将停顿! !1818未使用未使用 RAID使用使用 RAIDI/O 1I/O 2I/O 1I/O 2(Disk 1)(Disk 2)节省时间速度 N x单块硬盘的速度Total request execution timeSoftware setupAccess TimeData TransferSoftware CompletionRAIDRAID出现原因出现原因 三三 CPU运算速度飞速提高，数据读

10、写速度不应该成为计算机系统处理的瓶颈1919RAID基本概念物理卷和逻辑卷 RAID10RAID5 RAIDRAID由几块硬盘（物理卷）组成由几块硬盘（物理卷）组成 RAIDRAID可以多个硬盘按照指定容量创建一个或多个逻辑卷，便通过可以多个硬盘按照指定容量创建一个或多个逻辑卷，便通过LUNLUN（Logic Unit NumberLogic Unit Number）来标识。）来标识。一个逻辑卷对于主机来说一个逻辑卷对于主机来说就是一块硬盘（物理卷）就是一块硬盘（物理卷）物理卷物理卷逻辑卷逻辑卷多个物理卷上创建1个逻辑卷多个物理卷上创建2个逻辑卷LUN1LUN2LUN32020RAID的级别的

11、级别lRAID 0，条带化。高可用，高读写，无冗余lRAID 1，镜像。50%空间利用率，高安全，数据写入效率有影响lRAID 3，1块盘做校验，其余盘做数据，写效率较低lRAID 5，数据校验信息均匀分散在每个盘上，解决并发写入时的瓶颈lRAID 6，2级冗余，支持数据的恢复和校验的恢复，代价高lRAID 10 (RAID 0+1)，先镜像后条带化，50%利用率，解决读写和冗余lRAID 50，更高的容错，更快数据读取速率，磁盘故障影响吞吐量，重建时间较长Raid技术2121RAID 0 条带存储(Striping)原理原理：又称数据分条，即把数据分成若干相等大小的小块，并把它们写到阵列上不

12、同的硬盘上，这种技术又称“Stripping”（即将数据条带化），RAID0在读写时是以并行的方式对各硬盘同时进行操作。 q 优点 磁盘空间利用率最高 在所有的级别中，RAID 0的速度是最快的q 缺点 无冗余功能，如果一个磁盘损坏，则所有的数据都无法使用 不适合关键业务q 应用 媒体编辑 图像编辑 需要高带宽的应用2222RAID 1 镜像/双工 优点 数据安全性相对其它RAID级，是最好的 缺点 磁盘利用率只有50%，是所有RAID上磁盘利用率最低的一个级别原理原理：即每个工作盘都有一个镜像盘，每次写数据时必须同时写入镜像盘，读数据时只从工作盘读出，一旦工作盘发生故障立即转入镜像盘，从镜像

13、盘中读出数据。当更换故障盘后，数据可以重构，恢复工作盘正确数据 q 应用 财务 金融 需要高数据可用性的应用2323RAID 3 (条带分布+专用盘校验)q原理原理：使用至少三块硬盘配置，在其中的一块硬盘上存贮专用的校验数据，当某块硬盘出现故障时，其它硬盘可以通过校验数据将有故障的硬盘的数据重新恢复出来。q特点特点：数据以位或字节的方式存于各盘（分散记录在组内相同扇区的各个硬盘上） 优点优点 高可用性 磁盘利用率较高(N-1) 并行I/O传输，顺序读性能较高 缺点缺点 校验盘成为性能瓶颈 每次读写牵动整个组，每次只能完成一次I/O q 应用应用 流媒体服务器 图像编辑 视频编辑2424RAID

14、 5 (条带技术+分布式校验)q原理：原理：RAID5 将所有校验的数据分别存贮在所有的硬盘上,每一个硬盘的不同地方既存贮数据，也存贮校验数据。当某块硬盘出现故障时，其它硬盘可以通过校验数据将故障的硬盘的数据重新恢复出来。 优点优点 高可用性磁盘利用率较高(N-1),没有固定的校验盘，奇偶校验信息均匀分布在阵列所属的所有磁盘中随机读写性能高允许在同一组内并发进行多个写操作 缺点缺点 异或较验影响存储性能q 应用应用 文件及应用服务器 数据库服务器 Web, E-mail 局域网服务器2525RAID6（Double parity drive）高级数据保护）高级数据保护较高的数据冗余性能；超强的

15、数据保护能力，可以应付多颗盘同时出错；允许在同一组内并发进行多个写操作计算校验地址占用较多的处理时间； 较低的2626RAID性能比较RAID级*RAID-0RAID-1RAID-5RAID-10RAID-50RAID-6别名条带镜象分布奇偶位条带镜象阵列条带 分布奇偶阵列条带分布奇偶条带容错性没有有有有有有冗余类型没有复制奇偶位复制奇偶位两种奇偶位热备盘选项没有有有有有有需要的磁盘数一个或多个只需2个三个或更多只需4个不小于6的偶数（6，8，10，12，14，16）（因为RAID5最少3个，再做镜像，就是6个）四个或更多可用容量NN / 2 N - 1 N / 2N-2N22727在线、近线

16、、离线在线、近线、离线 在线存储是指存储设备和所存储的数据时刻保持“在线”状态，可供用户随意读取，满足计算平台对数据访问的速度要求。在线存储设备一般为磁盘和磁盘阵列等存储设备，价格相对昂贵，但性能较好。离线存储是对在线存储数据的备份，以防范可能发生的数据灾难。离线存储的数据不常被调用，一般也远离系统应用，所以人们用“离线”来生动地描述这种存储方式。近线存储(NearStore)，主要定位于客户在线存储和离线存储之间的应用。就是指将那些并不是经常用到，或者说数据的访问量并不大的数据存放在性能较低的存储设备上。但同时对这些的设备要求是寻址迅速、传输率高。 （例如客户一些长期保存的不常用的文件的归档

17、）。2828数据备份手段 一 硬件级的备份是指用冗余的硬件冗余的硬件来保证系统的连续运行。比如磁盘镜像，双机容错等方式。如果主硬件损坏，后备硬件马上能够接替其工作，这种方式可以有效地防止硬件故障，但无法防止数据的逻辑损坏 当逻辑损坏发生时，硬件备份只会将错误复制一遍，无法真正保护数据。硬件备份的作用实际上是保证系统在出现故障时能够连续运行，更应称为硬件容错2929数据备份手段 二 软件级的备份是指通过备份软件将数据保存到其他介质上，当出现错误时可以将系统恢复到备份时的状态。由于这种备份是由软件来完成的，所以称为软件备份。 用这种方法备份和恢复都要花费一定时间。但这种方法可以完全防止逻辑损坏，因

18、为备份介质和计算机系统是分开的，错误不会复写到介质上。这就意味着，只要保存足够长时间的历史数据，就能够恢复正确的数据。3030数据备份手段 三人工级的备份最为原始，也最简单的备份。但如果要用手工方式从头恢复所有数据，耗费的时间恐怕会令人难以忍受。3131 数据备份目的：重新利用，备份工作的核心是恢复数据备份目的：重新利用，备份工作的核心是恢复 恢复（恢复（Recovery） 重新创建整个应用或计算环境过去的操作状态 在应用或计算环境被破坏或其他原因导致的不能使用后，需要进行恢复 恢复模式：完全恢复，小颗粒恢复数据恢复？File ServerDatabase ServerBackup Serve

19、rsTape LibraryTapes3232lRTO (恢复时间目标恢复时间目标) 在业务中断后的某一个时间点，业务的进程或应用服务必须恢复，确保业务正常进行（你能接受多长的宕机时间）lRPO (恢复点目标) 在已确定的RTO内，应用数据或文件系统信息必须恢复到某一个时间顺序点 (你能接受丢失多少数据）什么是RTO/RPO？数据保护时间轴数据保护时间轴Failure出错时刻出错时刻12 hrs12 hrs12 hrs12 hrs12 hrs12 hrsRecovery Point Objective BUBURecovery Time Objective Recover3333什么是虚拟磁带

20、库什么是虚拟磁带库/VTL用于备份用于备份 虚拟磁带库虚拟磁带库Virtual Tape Library是是通过存储虚拟化技术将现有通过存储虚拟化技术将现有的磁盘存储系统虚拟成传统的磁带库系统的磁盘存储系统虚拟成传统的磁带库系统（包括磁带库机械臂、磁（包括磁带库机械臂、磁带驱动器、插槽），带驱动器、插槽），为数据备份系统提供高可靠、高性价比的解决为数据备份系统提供高可靠、高性价比的解决方案方案。通过固化了专门软件的控制器，使磁盘（阵列）。通过固化了专门软件的控制器，使磁盘（阵列） 对主机或应对主机或应用软件体现为用软件体现为 常规物理磁带库，也称作虚拟磁带库常规物理磁带库，也称作虚拟磁带库 。

21、 标准的标准的SCSI、FC或或iSCSI主机接口，采用易用的管理软件配置、主机接口，采用易用的管理软件配置、管理虚拟磁带库设备。管理虚拟磁带库设备。3434容灾基础知识什么是灾难及容灾？什么是灾难及容灾？ 灾难：是指已经发生，并导致系统中止运行、业务中断，给企业和客户造成灾难：是指已经发生，并导致系统中止运行、业务中断，给企业和客户造成重大影响的事件或事故。重大影响的事件或事故。容灾：为了容灾：为了应对灾难对信息系统的破坏所采取的一系列措施应对灾难对信息系统的破坏所采取的一系列措施。（比如在生产。（比如在生产系统相隔较远的异地，建立一套或多套功能相同的系统相隔较远的异地，建立一套或多套功能相

22、同的ITIT系统，互相之间可以进系统，互相之间可以进行健康状态监视和功能切换，当一处系统因意外行健康状态监视和功能切换，当一处系统因意外( (如火灾、地震等如火灾、地震等) )停止工作停止工作时，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作。时，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作。3535为什么需要备份容灾？备份容灾是保证业务连续性的最重要手段火灾7%地震6%雷雨10%网络故障4%水灾6%人为错误4%硬件故障10%服务停顿2%系统故障5%其他2%电力中断26%水管破裂1%炸弹袭击7%蓄意破坏3%电线短路2%飓风5%灾难发生概率911事件发生前世贸大厦有

23、1200家企业；911事件一年后世贸大厦里的企业只剩400家，800家企业因无法存取重要的信息系统而倒闭。3636业务连续性的重要性3737容灾层次容灾存储系统一般分为哪容灾存储系统一般分为哪3 3个层次个层次根据业务恢复时间的长短将容灾划分为三个容灾层次：数据级、应用级和业务级。数据级容灾：是仅将生产中心的数据完整地复制到容灾中心的容灾方式（容灾中心往往只需要部署数据存储设备）应用级容灾：是指在数据级容灾的基础上，还可以接管生产中心的应用（容灾中心往往还包括服务器、网络等设备）业务级容灾：是指在应用级容灾的基础上，还可以接管生产中心的业务（容灾中心往往还包括办公环境、管理制度和人员等其他资源

24、）3838容灾和备份的区别及作用 容灾指的是利用镜像或复制等技术来实现数据的同步，其同步前后数据格式一致容灾指的是利用镜像或复制等技术来实现数据的同步，其同步前后数据格式一致,容灾容灾数据可以直接不通过恢复进行使用；而备份采用的是备份软件技术来实现数据的备份数据可以直接不通过恢复进行使用；而备份采用的是备份软件技术来实现数据的备份，备份前后数据格式不一致，数据经过压缩和格式转换，备份数据必须恢复后才可使，备份前后数据格式不一致，数据经过压缩和格式转换，备份数据必须恢复后才可使用。用。 容灾的数据与生产数据实时或相差一定时间保持一致，即基本上容灾中心的数据同生容灾的数据与生产数据实时或相差一定时

25、间保持一致，即基本上容灾中心的数据同生产数据基本上是一样；而备份是按照设定的策略，定时定期对数据进行备份，保存的产数据基本上是一样；而备份是按照设定的策略，定时定期对数据进行备份，保存的是历史生产数据。是历史生产数据。 容灾是为防止生产数据丢失或数据中心遭受毁灭性灾难，恢复速度快，数据基本上就容灾是为防止生产数据丢失或数据中心遭受毁灭性灾难，恢复速度快，数据基本上就是发生事故那会的版本；备份一般是为了防止认为误操作或系统问题，保存的是历史是发生事故那会的版本；备份一般是为了防止认为误操作或系统问题，保存的是历史数据，恢复相对长。数据，恢复相对长。3939 Continuous Data Pro

26、tection持续数据保护是一套方法，CDP可以捕获或跟踪数据的变化，并将其独立存放在生产数据之外，以确保数据可以恢复到过去的任意时间点。持续数据保护系统可以基于块、文件或应用实现，可以为恢复对象提供足够细的恢复粒度，实现几乎无限多的恢复时间点。” 从数据保护时间上分为：CDP技术分为真CDP（True CDP）和准CDP（Near CDP）两类 什么是什么是CDP 技术技术4040备份、快照、复制、备份、快照、复制、CDP4141快照快照（Snapshot）为指定的数据集创建一个完全可用的数据副本，它包含了副本在创建时刻（时间点）的数据映像快照实现方法： 存储嵌入式快照：存储嵌入式快照：快照

27、软件运行在网上的存储设备中 基于主机的快照：基于主机的快照：快照软件运行在服务器中，通常驻留在操作系统级别的逻辑卷中什么是快照？File ServerDatabase ServerBackup ServersTape LibraryTapes4242什么是复制？l 复制复制（Replication） 通过网络（LAN/WAN)把数据从一个地方传输到另一个地方复制的种类： 数据块级别复制数据块级别复制： 文件级别复制文件级别复制： 字节级别复制字节级别复制: 复制模式： 同步复制同步复制：要求每一个写入操作在执行下一个操作处理之前，在这两个地点都能完成。处理过程明显变慢，这种复制不切实际的，会影

28、响生产系统性能，除非第二个系统物理上离主系统比较近。 异步复制：异步复制：在处理下一个操作前，不等待数据在复制目标系统中被记录。这种复制性能更好、更快。 复制实现方法： 存储嵌入式复制存储嵌入式复制：复制软件运行在网上的存储设备中 基于主机的复制基于主机的复制：复制软件运行在服务器中，通常驻留在文件系统或在操作系统级别的逻辑卷中 4343产品背景：产品背景： 存储介质售价一直都在不停下降，却远远赶不上数存储介质售价一直都在不停下降，却远远赶不上数据保存和备份的数据量的攀升速度，在这种环境下重复据保存和备份的数据量的攀升速度，在这种环境下重复删除技术应运而生。删除技术应运而生。 重复数据删除是一

29、种数据缩减技术重复数据删除是一种数据缩减技术，通常用在基于，通常用在基于磁盘的备份系统，目的是为了磁盘的备份系统，目的是为了减少存储系统中使用的存减少存储系统中使用的存储容量储容量。采用。采用“重复删除重复删除”技术可以将存储的数据缩减技术可以将存储的数据缩减为原来的为原来的1/15，从而让出更多的备份空间，不仅可以使，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以磁盘上的备份数据保存更长的时间，而且还可以节约离节约离线存储时所需的大量的带宽。线存储时所需的大量的带宽。 用更少的空间存更多的数据。用更少的空间存更多的数据。重复数据删除重复数据删除4444n卷拷贝n

30、远程同步镜像n自动精简n一主一备n双活软件功能4545集群基础知识什么是集群技术？所谓集群就是为客户机提供资源的一组计算机系统，常见集群技术一般包括三类：高可用集群（以减少服务器中断时间为目的的集群技术）高性能计算集群（以提高科学计算能力为目的的计算机集群技术）高扩展集群（带负载均衡策略的服务器群集）4646服务器Aactive服务器Bstandby心跳连接公用网络应用A磁盘阵列客户端PC集群技术集群技术：至少将两个系统连接到一起，使两个或者以上的服务器能够像一台机器那样工作或者看起来好像一台机器。例如，一个有两台服务器生成的WEB服务器集群系统，它对每个终端用户是透明的，而且完全就像一台服务

31、器在工作。 集群概述集群概述4747服务器A服务器B镜像盘心跳线客户端PC公用网络1、在服务器之间，通过网络方式镜像数据，不需要采购磁盘阵列，节约成本2、大数据量读写时，两台服务器会出现数据不同步3、镜像数据占用大量服务器资源，降低系统性能无磁盘阵列有磁盘阵列1、双机集群的主流配置方式2、采用了共享存储，消除数据不同步的现象，系统性能不会降低3、多服务器集群常采用NAS模式实现存储共享服务器A服务器B磁盘阵列心跳线客户端PC公用网络集群的存储系统集群的存储系统4848双机热备磁盘阵列心跳连接公用网络客户端ActiveStandby服务器A服务器B应用 双机热备是指两台计算机为某一目的组合在一起

32、的技术，两台计算机构成系统的两个节点，当其中一个节点不可用或者不能处理用户请求的时候，系统自动将该节点资源转移到另一个节点处理。4949双机互备磁盘阵列心跳连接公用网络客户端ActiveActive服务器A服务器B应用A应用B5050多路径基础知识冗余路径管理软件能够解决哪些问题？避免存储链路单点故障保证在磁盘阵列控制器切换时数据访问的不间断多链路负载均衡提升存储系统访问性能交换机磁盘阵列控制器1控制器2HBA 01HBA 02主机A主机B5151n 1、控制器参数（数量、缓存、接口类型及数量等）n 2、最大硬盘数量或最大存储容量n 3、软件功能（快照、卷拷贝、远程卷复制、自动精简、压缩、重删、snap mirror、PRAID、metra cluster、DDP、SSD cache、分层存储、PDM、OPAS、VAAI、安全多租户、虚拟化集成、异构存储整合）n 4、集群支持（NAS集群/SAN集群）n 5、其他（如单柜硬盘数量、硬盘密度等）存储关注的性能指标5252n 与目前常见的集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定的节点上，而是通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。分布式存储传统盘阵集群存储越来越快.越来越慢.停了，停了？停了!一切正常! 谢 谢！