存储基础知识课件.ppt

1、存储产品经理 钟加栋1学习交流PPT-2 2-存储构成存储构成网络层网络层连接层连接层存储层存储层备份层备份层2学习交流PPT-3 3-连接层连接层HBAHBA卡卡 HBA（Host Bus Adapter）卡，也就是主机总线适配器，安装于服务器内，用于连接主机I/O总线和外设I/O总线，目前主流的HBA卡有:3学习交流PPT-4 4-连接层连接层交换机交换机光纤交换机光纤交换机以太网交换机以太网交换机连接方式连接方式光纤网线、光纤协议协议FCPTCP/IP传输速率传输速率10Gb/s、8Gb/s、4Gb/s4Gb/s、2Gb/s和1Gb/s10Gb/s、1Gb/s1Gb/s、100Mb/s、

2、10Mb/s子网划分子网划分ZoningVlan运行模式运行模式点对点、仲裁环和SwitchSwitch价格价格高中4学习交流PPT存储层存储层:磁盘阵列磁盘阵列什么是磁盘阵列磁盘阵列的组成RAID存储协议存储架构及存储技术介绍5学习交流PPT-6 6-存储层存储层磁盘阵列磁盘阵列 磁盘阵列是基于Raid技术，通过一个或多个控制器，把多个物理磁盘整合成逻辑磁盘，由控制器管理磁盘，进行并发读写操作，并提供冗余容错功能的存储设备。多个物理硬盘多个物理硬盘逻辑磁盘逻辑磁盘控制器控制器RaidRaid运算运算写写I/OI/O读读I/OI/O6学习交流PPT磁盘阵列磁盘阵列常见的磁盘阵列组成部分：常见的

3、磁盘阵列组成部分：控制器模块控制器模块+磁盘柜磁盘柜控制器和磁盘柜一体控制器和磁盘柜一体磁盘阵列磁盘阵列=控制器控制器磁盘扩展柜磁盘扩展柜(JBOD)(JBOD)磁盘阵列磁盘阵列=+控制器和磁盘柜分离控制器和磁盘柜分离 主要分类 按控制器数量：JBOD，双控制器阵列，多控制器阵列 按对外接口：SCSI阵列，FC阵列，i SCSI阵列等7学习交流PPT为什么需要磁盘阵列为什么需要磁盘阵列8学习交流PPT阵列控制器内部结构阵列控制器内部结构前端总线前端总线缓存缓存(Cache)(Cache)CPUCPUCPUCPU后端总线后端总线常见控制器内部组件前端总线前端总线系统缓存系统缓存CPUCPUCPU

4、CPU后端总线后端总线读缓存读缓存写缓存写缓存注：缓存电池、注：缓存电池、RAIDRAID 控制器可选设计控制器可选设计CPUCPU、缓存、接口速率、缓存、接口速率是决定控制器性能的关是决定控制器性能的关键硬件组件键硬件组件前端（对外前端（对外RJ45RJ45口）口）控制器缓存控制器缓存(Cache)(Cache)CPUCPUCPUCPU后端连接后端连接RAIDRAID1616磁盘位磁盘位一体化设计一体化设计整机软硬件一体化整机软硬件一体化设计设计9学习交流PPTFCFC或或IP(GE)IP(GE)缓存缓存(Cache)(Cache)CPUCPUCPUCPU后端总线后端总线磁盘磁盘FCFC或或

5、IP(GE)IP(GE)缓存缓存(Cache)(Cache)CPUCPUCPUCPU后端总线后端总线CacheCache电池电池FCFC或或IP(GE)IP(GE)缓存缓存(Cache)(Cache)CPUCPUCPUCPU后端总线后端总线阵列内置阵列内置UPSUPS三种常见控制器三种常见控制器CacheCache保护设计保护设计电池保护电池保护CacheCache内置内置UPSUPS保护控制器保护控制器外置外置UPSUPS保护整机保护整机阵列外置阵列外置UPSUPS10学习交流PPT硬盘的主要指标硬盘的主要指标常用指常用指标标常用指常用指标标常用指常用指标标11学习交流PPTSASSASSA

6、TASATAFCFCSCSISCSIATA/IDEATA/IDELCLCSCSC硬盘类型硬盘类型接口视图接口视图串行串行并行并行硬盘接口技术发展趋势硬盘接口技术发展趋势12学习交流PPTATA/IDEATA/IDE接口硬盘简介接口硬盘简介电源电源连接器连接器主主/从盘从盘 跳线跳线40-40-pinpin连接器连接器13学习交流PPTSCSISCSI接口硬盘介绍接口硬盘介绍80-pin 80-pin 公接头公接头14学习交流PPTFCFC接口硬盘介绍接口硬盘介绍15学习交流PPT SATA SATA接口硬盘介绍接口硬盘介绍16学习交流PPT SAS SAS接口硬盘介绍接口硬盘介绍17学习交流P

7、PTIDESATASCSISASFC接口速度133MB6Gb320MB6Gb4Gb性能差中等中等好好规格250/400/500500/750/1000/200073/146/300300/450/600300/400/450/600价格低低中等高高市场定位淘汰中低端应用淘汰中高端应用高端应用不同类型接口硬盘的比较不同类型接口硬盘的比较18学习交流PPTRAID RAID（Redundant Redundant Array of Array of Independent DisksIndependent Disks）即独立磁盘冗余阵列，即独立磁盘冗余阵列，RAIDRAID技术将多个单独的技术将多

8、个单独的物理硬盘以不同的方式物理硬盘以不同的方式组合成一个逻辑硬盘，组合成一个逻辑硬盘，从而提高了硬盘的读写从而提高了硬盘的读写性能和数据安全性，根性能和数据安全性，根据不同的组合方式可以据不同的组合方式可以分为不同的分为不同的RAIDRAID级别级别RAIDRAID基本概念基本概念定义定义 计算机发展初期，计算机发展初期，大容量硬盘价格大容量硬盘价格非常高，而需要非常高，而需要存储的数据量越存储的数据量越来越大来越大容量容量性能性能 CPUCPU运算速度飞运算速度飞速提高，数据读速提高，数据读写速度不应该成写速度不应该成为计算机系统处为计算机系统处理的瓶颈理的瓶颈 信息时代，数据信息时代，数

9、据对企业和个人的对企业和个人的重要性越来越大，重要性越来越大，数据存储安全更数据存储安全更需要保障需要保障RAIDRAID可靠性可靠性19学习交流PPTD DH HL LC CG GK KB BF FJ JA AB BC CD DE EF FG GH H数据数据RAIDRAID级别级别 RAID 0 RAID 0A AE EI IRAID 0RAID 0即没有容错设计的条带硬盘阵列（即没有容错设计的条带硬盘阵列（Striped Disk Array without Striped Disk Array without Fault ToleranceFault Tolerance），以条带形式将

10、），以条带形式将RAIDRAID组的数据均匀分布在各个硬组的数据均匀分布在各个硬盘中盘中20学习交流PPTRAID 1RAID 1又称镜像（又称镜像（MirrorMirror），数据同时一致写到主硬盘和镜像硬盘），数据同时一致写到主硬盘和镜像硬盘EDCBAEDCBAA AB BC CD DE E=数据数据RAIDRAID级别级别 RAID 1 RAID 121学习交流PPTRAID 3RAID 3即有校验的并行数据传输（即有校验的并行数据传输（Paralleled transfer with parityParalleled transfer with parity），），数据条带化分布在数据

11、盘中，同时使用专用校验硬盘存放校验数据数据条带化分布在数据盘中，同时使用专用校验硬盘存放校验数据 D0C0B0A0A0D1C1A1A1B1B1D2C2A2A2B2B2P DP DP CP CP AP AP BP BA AB BC CD D异或运算异或运算数据盘数据盘校验盘校验盘RAIDRAID级别级别 RAID 3 RAID 322学习交流PPTRAID 5RAID 5与与RAID 3RAID 3机制类似，但校验数据均匀分布在各数据硬盘上，机制类似，但校验数据均匀分布在各数据硬盘上，RAIDRAID成员硬盘上同时保存数据和校验信息，数据块和对应的校验信息成员硬盘上同时保存数据和校验信息，数据块

12、和对应的校验信息保存在不同硬盘上。保存在不同硬盘上。RAID 5RAID 5是最常用的是最常用的RAIDRAID方式之一方式之一P4P4A3A2A1A0B4P3P3B2B1B0C4C3P2P2C1C0D4D3D2P1P1D0E4E3E2E1P0P0异或运算异或运算A0A0B0B0C0C0D0D0A1A1B1B1C1C1E1E1A2A2B2B2D2D2校验信息校验信息PxPx分布式存储分布式存储RAIDRAID级别级别 RAID 5 RAID 5数据数据23学习交流PPTRAID 10RAID 10是将镜像和条带进行两级组合的是将镜像和条带进行两级组合的RAIDRAID级别，第一级是级别，第一级

13、是RAID1RAID1镜像对，第二级为镜像对，第二级为RAID 0RAID 0A AB BC CD DE EF FG GH HA AA AC CB BB BC CD DD DE EE EF FF FG GG GH HH HRAIDRAID组合级别组合级别 RAID 10 RAID 1024学习交流PPTRAIDRAID组合级别组合级别 RAID 10 RAID 10RAID 10RAID 10是将镜像和条带进行两级组合的是将镜像和条带进行两级组合的RAIDRAID级别，第一级是级别，第一级是RAID1RAID1镜像对，第二级为镜像对，第二级为RAID 0RAID 0A AB BC CD DE

14、EF FG GH HA AA AC CB BB BC CD DD DE EE EF FF FG GG GH HH H25学习交流PPTP13P13F1RAIDRAID组合级别组合级别 RAID 50 RAID 50RAID 50RAID 50是将镜像和条带进行两级组合的是将镜像和条带进行两级组合的RAIDRAID级别，最低一级是级别，最低一级是RAID 5RAID 5镜像对，第二级为镜像对，第二级为RAID 0RAID 0A2P02P02A1A0B2B1P01P01B0P03P03C1C0P00P00异或运算异或运算A0A0B0B0D0D0E0E0A1A1C0C0D1D1F0F0B1B1C1C

15、1D2P12P12D1D0E2E1P11P11E0F0P10P10硬盘硬盘0 0硬盘硬盘1 1硬盘硬盘2 2硬盘硬盘3 3硬盘硬盘4 4硬盘硬盘5 5异或运算异或运算26学习交流PPTRAIDRAID组合级别组合级别 RAID 6 RAID 6RAID 6 RAID 6 在一次数据条带过程中产生两个校验块并分布于两块物理硬盘在一次数据条带过程中产生两个校验块并分布于两块物理硬盘中，最大可以承受两块硬盘故障；中，最大可以承受两块硬盘故障；27学习交流PPT磁盘阵列磁盘阵列RAIDRAID级别级别 相对优缺点相对优缺点28学习交流PPT磁盘阵列的额外容错功能磁盘阵列的额外容错功能 热备用(hot

16、spare or hot standby driver)在建立磁盘阵列系统的时候,将其中一磁盘指定为后备磁盘,此一磁盘在平常并不操作,但若阵列中某一磁盘发生故障时,磁盘阵列即以后备磁盘取代故障磁盘,并自动将故障磁盘的数据重建在后备磁盘之上 29学习交流PPTRAIDRAID热备盘热备盘控制器online onlineonlineonlineonlineonlineonline可用容量：N-2坏一块磁盘不影数据存取重建过程也不会影响数据存取New但控制器会侦测到有Spare盘，阵列马上开始自动重建工作这时阵列的数据处于危险状态RebuildingRebuildingSpare人工更换磁盘，阵列自

17、动把磁盘设置为Spare盘Spareonline实时保证RAID信息的完整30学习交流PPT存储协议存储协议-FC-FC（光纤通道）（光纤通道）光纤通道是构建FC SAN的基础，是FC SAN系统的硬件接口和通信接口。FC可以通过构建帧来传输SCSI的指令、数据和状态信息单元。公共服务公共服务传输协议（编传输协议（编/解码）解码）信号协议和连接服务信号协议和连接服务介质和接口介质和接口FC-1FC-1代码层代码层FC-0FC-0物理层物理层FC-2FC-2协议层协议层FC-3FC-3服务层服务层FC-4FC-4映射层映射层IPI3IPI3SCSISCSIHIPPIHIPPIIPIPSBCCSB

18、CCS S802.802.2 2ATMATM通道通道网络网络31学习交流PPTFCFC的三种拓扑结构的三种拓扑结构点对点点对点只能连接只能连接 2个设备个设备(直接连接直接连接)交换式交换式 Fabric最多支持最多支持1千千6百万个设备百万个设备(光纤通道交换机光纤通道交换机)Arbitrated Loop(仲裁环仲裁环)最多支持最多支持126个设备个设备(光纤集线器光纤集线器)普及普及!32学习交流PPTFCFC特点特点不足不足构建维护成本高，时间长构建维护成本高，时间长互操作性不强，互操作性不强，FCFC协议具协议具体实现上各个厂商有所不同体实现上各个厂商有所不同FC SANFC SAN

19、缺少统一管理标准缺少统一管理标准FCFC理论上最长传输距离理论上最长传输距离1010公里左右，在互联网存储应公里左右，在互联网存储应用中会形成信息孤岛用中会形成信息孤岛优势优势连接设备比连接设备比SCSISCSI多多高带宽，低时延高带宽，低时延实现光纤和铜缆的无缝连接实现光纤和铜缆的无缝连接 连接距离远远超出并行连接距离远远超出并行SCSISCSI存储设备存储设备33学习交流PPT存储协议存储协议-iSCSI-iSCSI iSCSI（Internet SCSI）把SCSI命令和块状数据封装在TCP中在IP网络中传输 iSCSI作为SCSI的传输层协议，基本出发点是利用成熟的IP网络技术来实现和

20、延伸SANSCSISCSI应用（文件系统、数据库）应用（文件系统、数据库）SCSISCSI块指令块指令SCSISCSI流指令流指令其他其他SCSISCSI指令指令SCSISCSI指令、数据和状态指令、数据和状态iSCSI iSCSI TCPTCPIPIP以太网等以太网等iSCSIiSCSI协议栈协议栈34学习交流PPTiSCSI iSCSI 启动器启动器-目标器模型目标器模型l启动器（Initiator）SCSI层负责生成CDB（命令描述符块），将CDB传给iSCSIiSCSI层负责生成iSCSI PDU（协议数据单元），并通过IP网络将PDU发给targetl目标器（Target）iSCSI

21、层收到PDU，将CDB传给SCSI层SCSI层负责解释CDB的意义。必要时发送响应iSCSIiSCSITCPTCPSCSISCSIIPIPLinkLinkiSCSIiSCSITCPTCPSCSISCSIIPIPLinkLinkInitiatorInitiatorTargetTarget35学习交流PPTiSCSIiSCSI优点优点高可靠高可靠高扩展高扩展良好的标准化良好的标准化易管理，易管理，IPIP技术成熟，具备技术成熟，具备IPIP知识的专业技术人员多知识的专业技术人员多很低的安装成本和维护费用：建立在很低的安装成本和维护费用：建立在TCP/IPTCP/IP上上减少了异构网络和电缆：不需要

22、特殊的减少了异构网络和电缆：不需要特殊的FCFC交换机交换机无距离限制，远程存储：异地数据交换、备份及容灾无距离限制，远程存储：异地数据交换、备份及容灾灵活的安全性和灵活的安全性和QoSQoS保证保证36学习交流PPT存储系统的几种基本架构存储系统的几种基本架构37学习交流PPTDASDAS（Direct Attached Storage Direct Attached Storage）38学习交流PPTNASNAS（Network Attached StorageNetwork Attached Storage）NAS=Optimized for NAS=Optimized for 39学习

23、交流PPTSAN SAN（Storage Area NetworkStorage Area Network）Separation of Storage from the ServerSeparation of Storage from the Server40学习交流PPTiSCSIiSCSI存储网络存储网络41学习交流PPT主机访问存储模式主机访问存储模式Storage Area Storage Area Networks(SAN)Networks(SAN)文件系统文件系统存储存储RAIDRAID（JBODJBOD）应用系统应用系统网络网络文件系统文件系统存储存储RAIDRAID（JBODJ

24、BOD）应用系统应用系统网络网络Network-AttachedNetwork-Attached Storage(NAS)Storage(NAS)Direct-AttachedDirect-Attached Storage(DAS)Storage(DAS)存储存储JBODJBOD应用系统应用系统文件系统文件系统42学习交流PPT多路径的问题多路径的问题交换机交换机磁盘阵列磁盘阵列控制器控制器1 1控制器控制器2 2HBA01HBA01HBA02HBA02主机主机A ALUN 0LUN 1LUN0LUN0LUN1LUN1路径路径1 1：HBA01HBA01 控制器控制器1 1路径路径2 2：HB

25、A01HBA01 控制器控制器2 2路径路径3 3：HBA02HBA02 控制器控制器1 1路径路径4 4：HBA02HBA02 控制器控制器2 2主机主机B BLUN1LUN0LUN1LUN043学习交流PPT硬件硬件 (HBAs)(HBAs)磁盘驱动磁盘驱动 文件系统文件系统 应用应用 LUN0LUN0LUN0LUN0LUN1LUN1LUN1LUN1?多路径软件多路径软件 多路径管理软件多路径管理软件硬件硬件 (HBAs)(HBAs)磁盘驱动磁盘驱动 文件系统文件系统 应用应用 LUN0LUN0LUN0LUN0LUN1LUN1LUN1LUN1?主机无法读写主机无法读写主机正常读写主机正常读

26、写虚拟设备虚拟设备44学习交流PPTHBA1HBA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器服务器I/OI/OLUN0LUN0LUN1LUN1HBA2HBA2多路径故障切换多路径故障切换HBAHBA故障路径切换故障路径切换交换机交换机磁盘阵列磁盘阵列控制器控制器1 1控制器控制器2 2LUN 0LUN 1HBA2HBA2HBAHBA故障故障HBA1HBA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器服务器I/OI/OLUN0LUN0LUN1LUN145学习交流PPTHBA1HBA1LUN0LUN0LUN1LUN1 多路径软

27、件多路径软件 HBA2HBA2服务器服务器I/OI/OLUN0LUN0LUN1LUN1HBA1HBA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器服务器I/OI/OLUN0LUN0LUN1LUN1HBA2HBA2多路径故障切换多路径故障切换HBAHBA故障路径切换故障路径切换交换机交换机磁盘阵列磁盘阵列控制器控制器1 1控制器控制器2 2LUN 0LUN 1网卡网卡2 2HBAHBA故障故障46学习交流PPTHBA1HBA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器服务器I/OI/OLUN0LUN0LUN1LUN1HBA1H

28、BA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器服务器I/OI/OLUN0LUN0LUN1LUN1多路径故障切换交换机故障路径切换多路径故障切换交换机故障路径切换交换机交换机磁盘阵列磁盘阵列控制器控制器1 1控制器控制器2 2LUN 0LUN 1交换机故障交换机故障47学习交流PPTHBA1HBA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器服务器I/OI/OLUN0LUN0LUN1LUN1HBA1HBA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器服务器I/OI/OLUN0LUN0LUN1

29、LUN1多路径故障切换交换机路径切换多路径故障切换交换机路径切换交换机交换机磁盘阵列磁盘阵列控制器控制器1 1控制器控制器2 2LUN 0LUN 1交换机故障交换机故障48学习交流PPTACADCBABBBCDBADDADABABCCDBDADCCDCACDDBAACBCDABDBABACABCDDEDECDAB重复数据删除技术重复数据删除技术49学习交流PPT自动精简技术自动精简技术300G500G200G400G200G300GvirtualSAN volumeSAN volume自动精简配置自动精简配置Thin ProvisioningThin Provisioning用户可以根据自己需求自动分配和利用存储资源按需扩展，客户可以在初次购习存储时不需要深入规化。节约成本和管理时间50学习交流PPT51学习交流PPT