1、存储系统概述存储系统概述p了解存储技术的发展、现状和趋势p了解基本存储介质以及硬盘的知识p熟悉常用RAID级别原理与特点p熟悉SAN网络基础知识目标什么是存储？v用于存放数据信息的设备和介质v存储是一个系统v是计算机技术发展的结果存储对企业的影响和价值德州大学报告显示德州大学报告显示灾难性数据丢失导致公司倒闭：灾难性数据丢失导致公司倒闭：一、存储介质与存储系统1. 信息存储介质信息存储介质2. 信息存储系统存储介质硬盘磁带光盘硬盘：硬盘：是电脑主要的存储媒介之一，由一个或者多个铝制或者玻璃制的碟片组成磁带：磁带：是一种用于记录声音、图像、数字或其他信号的载有磁层的带状材料，是产量最大和用途最广
2、的一种磁记录材料光盘：光盘：光盘以光信息做为存储物的载体Flash存储：存储：一种不挥发的内存器件软盘Flash存储存储设备磁带库虚拟磁带库磁带机存储系统硬盘的组件主轴组件磁盘片浮动磁头组件磁头驱动机构前驱控制电路接口主控芯片高速缓存芯片数据传输芯片硬盘的柱面、磁面、磁道与扇区磁道磁面磁面磁面磁道磁道扇区扇区柱面柱面硬盘的分类v按照接口类型v 按照硬盘形态机械硬盘固态硬盘硬硬 盘盘 接接 口口IDE/ATASATAFCSASSCSI 市场主流硬盘l目前市场上主流硬盘厂商包括Seagate(希捷)、WD（西部数据）、HITACHI(日立)等。硬盘接口比较接口接口IDESATASCSISASFC接
3、口类型接口类型并行串行并行串行串行主流接口速主流接口速率率100MB/S133MB/S300MB/S600MB/S320MB/S3GB/S6GB/S2GB/S、4GB/S、8GB/S容量容量 1T/2T/3T 4T/6T 300GB 600GB 900GB转速转速 5900 rpm 7200 rpm 10000 rpm 15000 rpm最大连接设最大连接设备数备数21 or 15 with port multiplier1616256127-loop1600万 fabric线缆长度线缆长度0.4 m1m12m6m30m(铜轴电缆)10km(光纤)应用应用普通PC机低端工作站中高端工作站中高端
4、工作站高端工作站VSSSD硬盘：读写机制决定读写效率lSSD在随机读取方面的效率要比硬盘驱动器高得多，无寻道到时间和旋转延迟，适合small block size读写硬盘寻道机制v容量 硬盘容量=柱面数磁头数扇区数512Bytesv转速 盘片转动圈数 / 分钟(rpm)v平均访问时间=平均寻道时间+平均潜伏时间v数据传输率 外部数据传输率 内部数据传输率CPU硬盘缓存硬盘缓存磁头读取盘片磁头读取盘片硬盘缓存硬盘缓存目录1. 信息存储介质2. 信息存储系统信息存储系统存储系统产生的背景v传统计算机存储系统的局限性：p硬盘成为整个系统的性能瓶颈p有限的硬盘槽位，难满足大容量需求p单个硬盘存放数据，
5、数据可靠性难以保证p存储空间利用率低p本地存储，数据分散，难以共享n可扩展性不够n总线结构，而非网络结构n可连接的设备受到限制增加容量时，需停机CPU硬盘传统计算机存储系统RAM存储设备的组成l硬件组成一般包括：框控制器BBU风扇电源接口卡另。硬盘（硬盘框）存储设备的架构l硬件组成一般包括：前端、高速缓存、后端、磁盘主机操作系统windows操作系统Windows2003windows2008linux操作系统Suse linux91011 、 Redhat linux456Vmware esxEsx 45aixaix 456solarisSolaris 910hp-uxhp-ux 11主机文
6、件系统vWindows下常见的文件系统：FAT32、NTFSvLinux下常见的文件系统：ext3、jfs、Reiserfs、xfsv其它文件系统:ZFS、HFS、VMFS、UFS、GFS1. RAID基本概念与技术基本概念与技术原理原理2. RAID技术与应用3. RAID特点及不同场景下应用4. RAID与LUN二、RAID技术RAID概念与实现方式l RAID（Redundant Array of Independent Disks）：独立冗余磁盘阵列，简称磁盘阵列。RAID是按照一定的形式和方案组织起来的存储设备，它比单个存储设备在速度、稳定性和存储能力上都有很大提高，并且具备一定的数
7、据安全保护能力。RAID更有效的数据组织更有效的数据组织条带、并行条带、并行数据安全保护功数据安全保护功能校验、热备能校验、热备l RAID 的主要实现方式分为硬件RAID 方式和软件RAID 方式p 硬件RAID：利用集成了处理器的硬件RAID适配卡来对RAID任务进行处理，无须占用主机CPU资源。p 软RAID：通过软件技术实现，需要操作系统支持，一般不能对系统磁盘实现RAID功能。RAID的数据组织方式D7D4D1驱动器2D6D3D0驱动器1D8D5D2驱动器3条带2(strip)条带1(strip)条带0(strip)磁盘上的数据分块磁盘上的数据分块磁盘上的数据分块l 分块：将一个分区
8、分成多个大小相等的、地址相邻的块，这些块称为分块。它是组成条带的元素。l 条带（Striping）：同一磁盘阵列中的多个磁盘驱动器上的相同位置构成条带，提高同时读写性能分条深度分条深度RAID数据保护机制-热备l 热备（Hot Spare）：当冗余的RAID阵列中某个磁盘失效时，在不干扰当前RAID系统正常使用的情况下，用RAID系统中另外一个正常的备用磁盘顶替失效磁盘。l 热备通过配置热备盘实现，热备盘分为全局热备盘和局部热备盘RAID5热备盘替换失效磁盘替换失效磁盘RAID3RAID1RAID数据保护机制-重构l 重构：镜像阵列或者RAID阵列中发生故障的磁盘上的所有用户数据和校验数据的重
9、新构建（rebuild）过程，或者将这些数据写到一个或者多个备用磁盘上的过程。D5D3D1驱动器2D4D2D0校验驱动器D0,D1,D2,D3,D4,D5D0,D1,D2,D3,D4,D5P3P3P2P2P1P1热备盘驱动器D0D2D4驱动器1RAID的几种状态RAIDRAID组组正常工作正常工作RAIDRAID组组降级降级RAIDRAID组组重建重建RAIDRAID组组创建创建RAIDRAID组组失效失效创建成功成员盘掉线或故障成员盘掉线或故障重建成功更换故障硬盘目录1. RAID基本概念与技术原理2. RAID技术与应用技术与应用3. RAID特点及不同场景下应用4. RAID与LUN常用
10、RAID级别与分类标准RAIDRAID级别级别描述描述RAID 0数据条带化，无校验RAID 1数据镜像，无校验RAID 5数据条带化，校验信息分布式存放RAID 6数据条带化，分布式校验并提供两级冗余RAID10类似于RAID 0+1，区别在于先做RAID 1，后做RAID 0RAID 50先做RAID 5，后做RAID 0，能有效提高RAID 5的性能l RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，提高了硬盘的读写性能和数据安全性，根据不同的组合方式可以分为不同的RAID级别。RAID 0实现方式D4D2D0驱动器1D6D5D3D1驱动器2D0,D1,D2,D3,D4,
11、D5D0,D1,D2,D3,D4,D5条带2条带1条带0各磁盘上的数据块各磁盘上的数据块无差错控制的条带化阵列无差错控制的条带化阵列D2D1D0D5D4D3D0逻辑磁盘逻辑磁盘RAID 0数据写入D0,D1,D2,D3,D4,D5D0,D1,D2,D3,D4,D5逻辑磁盘逻辑磁盘D0D1D2D3D4D5写入数据块写入数据块D0D0写入数据块写入数据块D1D1写入数据块写入数据块D2,D3D2,D3驱动器1驱动器2D0D1D2D3D4D5RAID 0数据读取 读取数据块读取数据块D1D1D0D1D2D3D4D5逻辑磁盘逻辑磁盘驱动器1驱动器2D0,D1,D2,D3,D4,D5D0,D1,D2,D
12、3,D4,D5D0D2D4D5D3D1读取数据块读取数据块D2D2，D3D3读取数据块读取数据块D0D0RAID 0数据丢失驱动器1驱动器3驱动器2D0D1D2D3D4D5D6D7D8l 阵列中某一个驱动器发生故障，将导致其中的数据丢失。RAID 1的工作原理镜像结构的阵列镜像结构的阵列D2D1D0D2逻辑磁盘逻辑磁盘D2D1D0驱动器1驱动器2D0,D1,D2D0,D1,D2经过镜像器经过镜像器D2D1D0RAID1 数据写入驱动器2D0,D1,D2D0,D1,D2 D2D1D0写入数据块写入数据块D0D0D2D1D0D2逻辑磁盘逻辑磁盘驱动器1D2D1D0写入数据块写入数据块D1D1写入数
13、据块写入数据块D2D2RAID1 数据读取驱动器2D0,D1,D2D0,D1,D2D2D1D0读取数据块读取数据块D0D0D2D1D0D2逻辑磁盘逻辑磁盘驱动器1D2D1D0读取数据块读取数据块D1D1读取数据块读取数据块D2D2RAID 1的数据恢复驱动器2D0,D1,D2D0,D1,D2D2D1D0磁盘损坏磁盘损坏读写备份磁盘读写备份磁盘更换更换/ /恢复磁盘恢复磁盘复制备份磁盘数据复制备份磁盘数据D0驱动器1D1D2RAID 5的工作原理分布式奇偶校验码的独立磁盘结构分布式奇偶校验码的独立磁盘结构D4P1P1D1驱动器2P2P2D2D0驱动器1D5D3P0P0驱动器3D0,D1,D2,D
14、3,D4,D5D0,D1,D2,D3,D4,D5RAID 5数据写入D2D1D0D5D4D3逻辑磁盘逻辑磁盘D0,D1,D2,D3,D4,D5D0,D1,D2,D3,D4,D5D5D3P0P0驱动器3P2P2D2D0驱动器1D4P1P1D1驱动器2RAID 5数据读取D2D1D0D5D4D3逻辑磁盘逻辑磁盘D0,D1,D2,D3,D4,D5D0,D1,D2,D3,D4,D5 D5D3P0P0驱动器3P2P2D2D0驱动器1D4P1P1D1驱动器2RAID 5数据恢复D2D1D0D5D4D3逻辑磁盘逻辑磁盘D0,D1,D2,D3,D4,D5D0,D1,D2,D3,D4,D5D5D3P0P0驱动器
15、3P2P2D2D0D4P1P1D1磁盘失效磁盘失效 数据恢复数据恢复驱动器2驱动器1RAID组合-RAID 10vRAID 10是将镜像和条带进行组合的RAID级别，先进行RAID 1镜像然后再做RAID 0。RAID 10也是一种应用比较广泛的RAID级别。D0D2D4D0D2D4D1D3D5D1D3D5磁盘镜像器磁盘镜像器磁盘镜像器磁盘镜像器D0,D1,D2,D3,D4,D5D0,D1,D2,D3,D4,D5读取数据读取数据RAID 1RAID 1RAID 0物理磁盘1物理磁盘2物理磁盘3物理磁盘4目录1. RAID基本概念与技术原理2. RAID技术与应用3. RAID特点及不同场景下应
16、用特点及不同场景下应用4. RAID与LUN常用RAID级别的比较RAID级别RAID 0RAID 1RAID 5RAID 10别名条带镜像分布奇偶位条带镜像阵列条带容错性无有有有冗余类型无复制奇偶校验复制热备盘选项无有有有读性能很好较低很好很好随机写性能很好较低较好较好连续写性能很好较低较好较好最小硬盘数2块2块3块4块可用容量N * 单块硬盘容量(N /2) * 单块硬盘容量(N -1) * 单块硬盘容量(N /2) * 单块硬盘容量RAID 典型应用场景RAIDRAID级别级别RAID 0RAID 0RAID 1RAID 1RAID 5 /6RAID 5 /6RAID 10RAID 10
17、典型应用环境迅速读写，安全性要求不高，如图形工作站等随机数据写入，安全性要求高，如服务器、数据库存储领域随机数据传输，安全性要求高，如金融、数据库、存储等数据量大，安全性要求高，如银行、金融等领域目录1. RAID基本概念与技术原理2. RAID技术与应用3. RAID特点及不同场景下应用4. RAID与与LUNRAID级别选择v从可靠性、性能和成本简单比较各RAID级别的优劣（相对而言），供在实际项目中选择时参考。RAID 0RAID 1RAID 5RAID 10RAID6可靠性可靠性性能性能成本成本LUN(Logical unit number)vRAID由几个硬盘组成 ，从整体上看相当于
18、有多个硬盘组成的一个大的物理卷v在物理卷的基础上可以按照指定容量创建一个或多个逻辑单元，这些逻辑单元称作LUN,可以做为映射给主机的基本块设备RAID10RAID5物理卷物理卷逻辑卷逻辑卷单个物理卷上创建1个逻辑卷单个物理卷上创建2个逻辑卷LUN1LUN2LUN3三、存储网络1. 存储存储网络的产生与网络的产生与发展发展2. 存储系统技术3. FC-SAN技术4. IP-SAN技术5. FC-SAN与IP-SAN融合6. NAS技术7. 主机多路径技术8. FC交换机/HBA卡/光纤存储网络出现与发展存储网络形态v存储网络几种常见类型pD A S ( D i r e c t A t t a c
19、 h e d Storage)pNAS (Network Attached Storage） pSAN (Storage Area Network)目录1. 存储网络的产生与发展2. 存储系统技术存储系统技术3. FC-SAN技术4. IP-SAN技术5. FC-SAN与IP-SAN融合6. NAS技术7. 主机多路径技术8. FC交换机/HBA卡/光纤存储系统基本组成存储存储软件软件存储管理软件快照、镜像软件License备份软件存储硬件存储硬件外置存储系统外置存储系统磁盘阵列NAS存储连接设备存储连接设备FC HBA卡FC交换机以太网交换机连接线缆存储存储方案方案 备份、容灾Storage
20、 Area NetworkvSAN 存储区域网络，存在于主机和存储设备之间，与DAS相比打破了主机和存储设备之间的紧耦合，提升了系统的扩展性SAN ProtocolsvFiber Channel SAN 基于FC协议vIP SAN 在IP网络上运行SCSI协议目录1. 存储网络的产生与发展2. 存储系统技术3. FC-SAN技术技术4. IP-SAN技术5. FC-SAN与IP-SAN融合6. NAS技术7. 主机多路径技术8. FC交换机/HBA卡/光纤FC协议简介vFC-0 ：物理层，定制了不同介质，传输距离，信号机制标准，也定义了光纤和铜线接口以及电缆指标；vFC-1 ：定义编码和解码的
21、标准；vFC-2 ：定义了帧、流控制、和服务质量等；vFC-3 ：定义了常用服务，如数据加密和压缩；FC协议lFC-4：协议映射层，定义了光纤通道和上层应用之间的接口，上层应用比如：串行SCSI 协 议，HBA 的驱动提供了FC-4 的接口函数，FC-4 支持多协议，如：FCP-SCSI，FC-IP，FC-VI。FC交换机相关概念v光纤通道交换机，它使用光纤网络路由直接连接的方式，发起者和目标设备可以通过光纤通道交换机中的路由软件建立直接的连接以独享光纤的所有带宽。v与以太网交换机相比，一个用于构建光纤网络，一个用于构建以太网络；光纤交换机中使用的是FC协议，以太网交换机使用的是TCP/IP协
22、议。光纤通道交换机FC交换机MDS-9148WWNvWWNN（World Wide Node Name）：全球惟一节点名字，由光纤通道进行映射的分配给每一个上层节点一个全球惟一的64 位标识符，一个HBA上的所有端口共享一个WWNN。在计算机处理中，一个WWNN被分配给一个接入到光纤网中的节点（一个端点，如，一个设备）。WWNN可以被一个或者多个不同的端口（每个端口拥有不同的WWPN，并且属于同一个节点）共同使用。v WWPN（World Wide Port Name）：全球惟一端口名字，分配给每一个光纤通道端口的全球惟一的64 位标示符，每个WWPN被该端口独享。WWPN在存储区域网络中的应
23、用就等同于MAC地址在以太网协议中的应用。链接链接输入输入输出输出 P2P FC-AL FC-SWWWPNWWNNFC网络HBA卡lHBA（Host Bus Adapter）：主机总线适配器，就是连接主机I/O总线和计算机内存系统的I/O适配器。HBA分为FC HBA、SCSI HBA、SAS HBA、iSCSI HBA等。l用途：用于服务器、海量存储子网络、外设间通过集线器、交换机和点对点连接进行双向、串行数据通讯 。lEMULX BROCADE QLOGIC各类 HBA卡WWNN和WWPNHBA WWNFC交换机端口节点 N_PortF_PortF_PortE_PortE_Port 节点N
24、_PortFC交换机2FC交换机 N_Port:Fabric上的末端端口，与FC交换机连接的主机端口F_Port:与N端口连接的交换机端口E_Port:FC交换机之间连接的端口FC-SAN典型组网vFCSAN典型组网方式有以下几种：应用服务器光纤卡存储设备应用服务器 应用服务器应用服务器应用服务器光纤交换机光纤交换机光纤交换机存储设备存储设备直连单交换双交换FC-SAN的组件服务器FC HBA接口卡存储设备LAN用户A用户B服务器FC HBA接口卡存储设备光纤通道光纤网络光纤通道光纤网络FC拓扑结构与应用点对点点对点只能连接只能连接 2 2个设备个设备( (直接连接直接连接) )交换式交换式
25、FabricFabric最多支持最多支持1 1千千6 6百万个设备百万个设备( (光纤通道交换机光纤通道交换机) )Arbitrated LoopArbitrated Loop ( (仲裁环仲裁环) )最多支持最多支持127127个设备个设备( (光纤集线器光纤集线器) )普及普及!FC与SCSI协议vFC与SCSI协议的关系FC通道并不是SCSI的替代，FC可以通过构建帧来传输SCSI的指令、数据和状态信息单元。SCSI是位于光纤通道协议栈FC4的上层协议，SCSI是FC协议的子集。目录1. 存储网络的产生与发展2. 存储系统技术3. FC-SAN技术4. IP-SAN技术技术5. FC-S
26、AN与IP-SAN融合6. NAS技术7. 主机多路径技术8. FC交换机/HBA卡/光纤IP-SAN典型组网vIPSAN典型的组网方式有以下几种：应用服务器以太网卡存储设备应用服务器应用服务器应用服务器以太网交换机存储设备存储设备直连单交换双交换以太网交换机应用服务器以太网交换机iSCSI连接方式硬件硬件TOE网卡网卡+initiator软件方软件方式式 以太网卡以太网卡+Initiator软件软件方式方式 iSCSI HBA卡实卡实现方式现方式lIP-SAN根据主机与存储的连接方式不同，可以分为三种IQNviSCSI Qualified Name (IQN) 格式：iqn.yyyy-mm.
27、reversed domain namevExample: Iqn.1992-.emc.cx:fcntr00130702376.a4EUIvExtended Unique Identifier (EUI) 格式： eui (e.g.eui.02004567A425678D)目录1. 存储网络的产生与发展2. 存储系统技术3. FC-SAN技术4. IP-SAN技术5. FC-SAN与与IP-SAN融合融合6. NAS技术7. 主机多路径技术8. FC交换机/HBA卡/光纤FC-SAN与IP-SAN比较描述描述FCSANIPSAN网络速度1Gb、2Gb、4Gb、8Gb1Gb、10Gb网络架构单独
28、建设光纤网络和HBA卡使用现有IP网络传输距离受到光纤传输距离的限制理论上没有距离限制管理、维护技术和管理较复杂与IP设备一样操作简单兼容性兼容性差与所有IP网络设备都兼容性能非常高的传输和读写性能目前主流1Gb，10Gb正在发展成本购买（光纤交换机、HBA卡、光纤磁盘阵列等）、维护（培训人员、系统设置与监测等）成本高与FCSAN相比，购买与维护成本都较低，有更高的投资收益比例容灾容灾的硬件、软件成本高本身可以实现本地和异地容灾，且成本低安全性较高较低FCoE连接方式vConverged Network Adapter- CNA（聚合网卡）FCoE网络架构vFCoE典型的组网方式有以下几种：应
29、用服务器以太网卡存储设备应用服务器应用服务器应用服务器增强型以太网交换机存储设备存储设备直连单交换双交换增强型以太网交换机应用服务器增强型以太网交换机FC-SAN与IP-SAN融合协议融合v 目前目前FC与与TCP/IP协议的真正融合主要有两种趋势：协议的真正融合主要有两种趋势：TCP/IP网络承载FC信道viFCPvFCIPvFCOE以FC信道承载TCP/IP数据vIPFC目录1. 存储网络的产生与发展2. 存储系统技术3. FC-SAN技术4. IP-SAN技术5. FC-SAN与IP-SAN融合6. NAS技术技术7. 主机多路径技术8. FC交换机/HBA卡/光纤NAS的产生与发展v非
30、结构化数据的需求 v共享的需求v成本的需求 v扩展性的需求v支持协议的需求v支持业务类型的需求（随机高并发小IO ）Linux/Unix用户Windows用户文件服务器应用服务器NAS存储设备TCP/IP网络NFS协议CIFS协议NAS的硬件结构处理器内存网络接口 磁盘阵列接口 （FC）PCI总线NAS控制器存储子系统NAS设备客户机客户机100/1000/10000Mb/sNAS文件传输协议控制器微码RAID软件NAS文件系统NTFS或FAT32文件系统，Windows计算机UFS文件系统，UNIX工作站UFS文件系统，UNIX工作站NTFS或FAT32文件系统，Windows计算机NTFS
31、或FAT32文件系统，Windows计算机CIFS或NFS协议NAS设备TCP/IP微内核操作系统CIFS或NFS协议CIFS或NFS协议NAS与SAN比较描述描述SANNAS适用场景适用场景普通SAN存储的应用，基于数据块适用于非结构化数据（如文件、语音、图象等数据）的存储，对性能和可扩展性要求高的应用 支持协议支持协议FC，iSCSINFS，CIFS，FTP，HTTP扩展性扩展性扩容通常需要新增存储，成本较高扩容通过在线添加引擎和后端存储单元，形成一个整体的存储池，进行空间分配数据共享数据共享不支持数据共享对业务服务器实现数据共享，同一文件被多服务器同时访问 组网方式组网方式在现有的以太网
32、基础上新建光纤网络，组网方式较复杂直接在现有的以太网上接入就可，组网简单建设成本建设成本新增服务器，需要昂贵的HBA卡和光纤交换机，成本较高通过现有GE网络即可访问存储资源，成本较低目录1. 存储网络的产生与发展2. 存储系统技术3. FC-SAN技术4. IP-SAN技术5. FC-SAN与IP-SAN融合6. NAS技术7. 主机多路径技术主机多路径技术8. FC交换机/HBA卡/光纤FC-SAN典型组网vFCSAN典型组网方式有以下几种：应用服务器光纤卡存储设备应用服务器 应用服务器应用服务器应用服务器光纤交换机光纤交换机光纤交换机存储设备存储设备直连单交换双交换多路径的可靠性v没有多路
33、径软件会有以下问题存在的：混淆 操作系统看到几倍真实数量的磁盘没有冗余 没有多路径切换软件，操作系统将不知道何时它该使用多余的路径危险 多路径导致操作系统认为看到的多份磁盘是独立的，这将导致数据毁坏或IO错误左图中没有使用多路径，右图为使用多路径后 LUN磁盘驱动 LUN LUN LUN 虚拟 LUN多路径驱动磁盘驱动多路径failover 技术A控制器 LUN2 LUN1HBA1HBA2 LUN3 LUN3B控制器存储设备Failover功能lFailover功能p当主路径出现故障后自动将业务路径切换到备用路径上，避免了因单点故障而造成的业务中断。物理路径I/O路径多路径failback技术vFailback功能当主路径的故障解除或修复后自动的将I/O传输路径从从路径切换回主路径上。A控制器 LUN2 LUN1HBA1HBA2 LUN3 LUN3B控制器存储设备Failback功能物理路径I/O路径
