对象存储技术PPT课件.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《对象存储技术PPT课件.pptx》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 对象 存储 技术 PPT 课件
- 资源描述:
-
1、对象存储Object-Based StorageHistory of Object StorageThe Data Access Taxonomy The Block ParadigmDAS, SANThe Block ParadigmThe Data Access Taxonomy The File ParadigmLocal FS, Distributed FS: (NFS, CIFS, WAFS) Shared FS: (Cluster FS, SAN FS) Global, Distributed & Parallel FSNASLocal File SystemsOne more l
2、evelof indirectionDistributed File Systemse.g. NAS with NFS,CIFS ProtocolNAS Aggregation/Virtualization Global NamespaceNAS Aggregation/Virtualization Global NamespaceNAS ClusterTightly Coupled NASNAS ClusterLoosely Coupled NAS: Global Namespace with NFSv4.1 and pNFSThe Data Access Taxonomy The Obje
3、ct ParadigmOSDCASOSS The Old Block Paradigm The New Object Paradigm Block ParadigmThe New Object Paradigm WRITE 26,763 BytesQoS= HighDescription = “X-Ray”Retention = 50 yearsAccess Key = *&%#Data Payload.Object Storage Responsibilities: Space Management Access Control (Identity Mgmt) QoS Management
4、Cache, Backup Policy Migration, Retention Self-Contained ObjectsMetadata: creation date/time; ownership, size.Attributes inferred: access patterns, content, indexes.Attributes user supplied: retention, QoSBlock Access - Inodes The inode contains a few block numbers to ensure efficient access to smal
5、l files. Access to larger files is provided via indirect blocks that contain block numbersBlock Access - InodesInodes vs. Objects ANSI T10 OSD SCSI Targets SCSI Standards Architecture Object AutonomyStorage becomes autonomous:capacity planningload balancingbackupQoS, SLAsunderstand data/object group
6、ingaggressive pre-fetchingthin provisioningsearchcompression/de-duplication/encryptionstrong securitycompliance/retention/secure deleteavailability/replicationaudit . . .Data SharingHomogeneous/HeterogeneousData SharingHomogeneous/HeterogeneousData Migration - ILMHomogeneous/HeterogeneousAdditional
7、Layer of Security strong security via external service authentication authorization NIS, LDAP.fine granularity per object Living in a Flat NamespaceVirtual View / Virtual File SystemsThe First Generation of Object StorageObject Decomposition对象存储系统结构对象存储系统组成 对象对象(Object) 包含了文件数据以及相关的属性信息,可以进行自我管理 uOS
8、D(Object-based Storage Device) 一个智能设备,是Object的集合 u文件系统文件系统 文件系统运行在客户端上,将应用程序的文件系统请求传输到MDS和OSD上 u元数据服务器元数据服务器(Metadata Server,MDS) 系统提供元数据、Cache一致性等服务 u网络连接网络连接1. 对象(Object) 对象存储的基本单元。每个Object是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置,包括数据分布、服务质量等。在传统的存储中,块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性,从而简化了存储系统的管理任务,增加了灵活性
9、。Object的大小可以不同,可以包含整个数据结构,如文件、数据库表项等。 对象分类2、OSD(Object-based Storage Device) 每个OSD都是一个智能设备,具有自己的存储介质、处理器、内存以及网络系统等,负责管理本地的Object,是对象存储系统的核心。OSD同块设备的不同不在于存储介质,而在于两者提供的访问接口。 OSD的主要功能数据存储和安全访问数据存储和安全访问 对象放置管理:OSDOSD使用使用ObjectObject对所保存的数据进行管理。它将数据存放到磁盘的磁道和扇对所保存的数据进行管理。它将数据存放到磁盘的磁道和扇区,将若干磁道和扇区组合起来构成区,将若
10、干磁道和扇区组合起来构成ObjectObject,并且通过此,并且通过此ObjectObject向外界提供对数据的访问。向外界提供对数据的访问。对象操作对象操作:每个每个ObjectObject同传统的文件相似,使用同文件类似的访问接口,包括同传统的文件相似,使用同文件类似的访问接口,包括OpenOpen、ReadRead、WriteWrite等。但是两者并不相同,每个等。但是两者并不相同,每个ObjectObject可能包括若干个文件,也可能是某个文件的一部可能包括若干个文件,也可能是某个文件的一部分,且是独立于操作系统的。除了具体的用户数据外,分,且是独立于操作系统的。除了具体的用户数据外
11、,OSDOSD还记录了每个还记录了每个ObjectObject的属性信息,的属性信息,主要是物理视图信息。将这些信息放到主要是物理视图信息。将这些信息放到OSDOSD上,大大减轻了元数据服务器的负担,增强了整上,大大减轻了元数据服务器的负担,增强了整个存储系统的并行访问性能和可扩展性。个存储系统的并行访问性能和可扩展性。 3、客户端文件系统 文件系统对用户的文件操作进行解释,并在元数据服务器和文件系统对用户的文件操作进行解释,并在元数据服务器和OSD间通信,完间通信,完成所请求的操作。成所请求的操作。 现有的应用对数据的访问大部分都是通过现有的应用对数据的访问大部分都是通过POSIXPOSIX
12、文件方式进行的,对象存储系统提供给文件方式进行的,对象存储系统提供给用户的也是标准的用户的也是标准的POSIXPOSIX文件访问接口。文件访问接口。 接口具有和通用文件系统相同的访问方式,同时为了提高性能,也具有对数据的接口具有和通用文件系统相同的访问方式,同时为了提高性能,也具有对数据的CacheCache功能和文件的条带功能。功能和文件的条带功能。 同时,文件系统必须维护不同客户端上同时,文件系统必须维护不同客户端上CacheCache的一致性,保证文件系统的数据一致的一致性,保证文件系统的数据一致 文件系统读访问实例:1) 客户端应用发出读请求客户端应用发出读请求;2) 文件系统向元数据
13、服务器发送请求,获取要读取的数据所在的文件系统向元数据服务器发送请求,获取要读取的数据所在的OSD;3) 然后直接向每个然后直接向每个OSD发送数据读取请求;发送数据读取请求;4) OSD得到请求以后,判断要读取的得到请求以后,判断要读取的Object,并根据此,并根据此Object要求要求的认证方式,对客户端进行认证,如果此客户端得到授权,则将的认证方式,对客户端进行认证,如果此客户端得到授权,则将Object的数据返回给客户端;的数据返回给客户端;5) 文件系统收到文件系统收到OSD返回的数据以后,读操作完成。返回的数据以后,读操作完成。4.元数据服务器 (Metadata Server)
14、 为客户端提供元数据,主要是文件的逻辑视图,包括文件与目录的组织关系、每个文件所对应的OSD等。4.元数据服务器 (Metadata Server) 在传统的文件系统中,元数据由本机或者文件服务器负责维护,每次对数据块的操作都要获取元数据。 在对象存储系统中,由于每次操作只有一次对元数据的访问,具体的数据传在对象存储系统中,由于每次操作只有一次对元数据的访问,具体的数据传输都由输都由OSD和客户端通过直接连接进行,大大减少了元数据的操作,降低和客户端通过直接连接进行,大大减少了元数据的操作,降低了元数据服务器的负担,从而为系统的扩展提供了可能性。了元数据服务器的负担,从而为系统的扩展提供了可能
15、性。 4.元数据服务器 (Metadata Server) 特点特点 客户端采用客户端采用Cache来缓存数据来缓存数据 当多个客户端同时访问某些数据时,当多个客户端同时访问某些数据时,MDSMDS提供分布的锁机制来确保提供分布的锁机制来确保CacheCache的一致性。的一致性。 为客户端提供认证为客户端提供认证 为了增强系统的安全性,MDS为客户端提供认证方式。OSD将依据MDS的认证来决定是否为客户端提供服务。 5. 网络连接 网络连接是对象存储系统的重要组成部分。它将客户网络连接是对象存储系统的重要组成部分。它将客户端、端、MDS和和OSD连接起来,构成了一个完整的系统连接起来,构成了
展开阅读全文