横向扩展存储—先进架构支撑全新数据湖应用(Isilon)v3Bob课件.pptx

1、1 Copyright 2015 EMC Corporation.All rights reserved.横向扩展存储先进架构支撑全新数据湖(ISILON)1 Copyright 2015 EMC Corporation.All rights reserved.2 Copyright 2015 EMC Corporation.All rights reserved.议程3 Copyright 2015 EMC Corporation.All rights reserved.非结构化数据增长引出数据湖概念数据来源：IDC 3201571 EB全球发售的总容量非结构化数据所占的比例75%78%80

2、%2016106 EB2017 133 EB4 Copyright 2015 EMC Corporation.All rights reserved.大数据应用需要处理任何不能用传统系统处理的数据集非结构非结构化数据增长推动化数据增长推动大数据大数据发展发展社交网络，UGC公共记录位置数据物联网新兴数据源非结构化数据黑暗数据结构化数据传统数据源5 Copyright 2015 EMC Corporation.All rights reserved.云应用程序云应用程序移动移动5 版权所有 2014 EMC Corporation。保留所有权利。版权所有 2014 EMC Corporation

3、。保留所有权利。分析分析数据湖数据湖6 Copyright 2015 EMC Corporation.All rights reserved.数据湖是一个共享的存储基础设施，可以使各种不同的应用程序和工作负载无缝的结合。数据湖主要应用于非结构化数据和高扩展性要求的场景 目前，Hadoop是最常用的部署数据湖的技术。数据湖是一个概念，Hadoop是用于实现这个概念的技术。EMC Isilon提供了一个企业级的横向扩展数据湖，以帮助管理和保护所有的非结构化数据数据湖的概念7 Copyright 2015 EMC Corporation.All rights reserved.谁需要数据湖?Arch

4、iveVMwareBLOBSCloud/ObjectVideoCall RecordingSplunkDB DumpsProbing Questions:有新的应用场景：Splunk,Cloudera,Hortonworks,Pivotal,RainStor,Teradata,Netezza,Exadata,SAS Grid等？需要管理Hadoop的数据增长?需要管理视频监控的数据增长?SharePoint 数据增长超出控制？需要存储实现大型数据库 dumps,log 文件,归档?Hadoop&Data AnalyticsSync n ShareTicker DataRemote Office

5、8 Copyright 2015 EMC Corporation.All rights reserved.优化运营优化运营了解行为了解行为支持创新支持创新管理风险管理风险HADOOP 是大数据分析的关键底层技术9 Copyright 2015 EMC Corporation.All rights reserved.EMC 虚拟化计算平台 Hadoop 套件EMC 共享存储平台EMC为您灵活部署恰当的数据湖平台HADOOP部署10 Copyright 2015 EMC Corporation.All rights reserved.正确选择HADOOP存储ISILON支持多协议访问整合数据独立扩

6、展计算和存储 HDFS 支持现有数据无单点故障通过新一代通信技术轻松导入和导出；包括 HDFS、S3、Swift 和 Atmos API 支持容错，端到端数据保护自助资源调配实时批处理Hadoop分析呈现响应云归档移动HPC共享11 Copyright 2015 EMC Corporation.All rights reserved.EMC Isilon本机 NFS、SMB/CIFS 和 HDFS 企业数据服务功能无客户端驱动程序高性能高吞吐量企业级功能的数据湖平台ISILON 数据湖帮助HADOOP实现大数据分析 数据湖是一个共享的存储基础设施，可以使各种不同的应用程序和工作负载无缝的结合。

7、数据湖主要应用于非结构化数据和可扩展性要求的技术 目前，Hadoop是最常用的部署数据湖的技术。数据湖是一个概念，Hadoop是用于实现这个概念的技术。EMC Isilon提供了一个企业级的横向扩展数据湖，以帮助管理和保护所有的非结构化数据12 Copyright 2015 EMC Corporation.All rights reserved.EthernetJob TrackerTask TrackerDataNode 2nd NameNodeNameNodeHADOOP 架构 传统DAS模式R(RHIPE)MahoutHiveHBasePIGNameNodeData Node+Compu

8、te NodeData Node+Compute NodeData Node+Compute NodeData Node+Compute NodeData Node+Compute NodeData Node+Compute Node13 Copyright 2015 EMC Corporation.All rights reserved.EthernetR(RHIPE)PIGMahoutHiveHBaseJob TrackerTask TrackerDataNodeCompute NodeCompute NodeCompute NodeCompute NodeCompute NodeComp

9、ute NodeNameNode业界第一款与 HDFS 层本机集成的企业级横向扩展 NAS 存储平台HADOOP 架构-ISILON模式name nodename nodename nodename nodedata node14 Copyright 2015 EMC Corporation.All rights reserved.14新一代工作负载传统工作负载HPC备份/归档分析移动文件共享云应用程序15 Copyright 2015 EMC Corporation.All rights reserved.15新一代工作负载传统工作负载HPC备份/归档分析移动文件共享云应用程序16 Copy

10、right 2015 EMC Corporation.All rights reserved.新一代访问方法文件文件16HPC备份/归档分析移动文件共享云应用程序17 Copyright 2015 EMC Corporation.All rights reserved.企业级功能数据保护数据安全性性能管理17数据管理18 Copyright 2015 EMC Corporation.All rights reserved.ISILON 数据湖基础的优点消除效率低下的存储岛简化管理、降低成本支持效果更佳的信息共享改善数据保护和安全性加快数据分析以获取新洞察力支持数据驱动型决策12345619 C

11、opyright 2015 EMC Corporation.All rights reserved.移动访问企业文件应用云业务/虚拟化20PB单一文件系统FTPCIFSNFS对象对象 采用采用 VIPR大数据分析SyncplicityHDFS简单可扩展灵活高效第 3 代平台第 2 代平台横向扩展 NAS 理想的第 2 代/第 3 代平台体系结构高IOPS需求应用主目录备份/归档软件定义的vOneFS20 Copyright 2015 EMC Corporation.All rights reserved.EMC ISILON 的市场领导地位树立横向扩展 NAS 的标准6,000 多家多家客户横

12、向扩展横向扩展市场领导者21 Copyright 2015 EMC Corporation.All rights reserved.EMC ISILON 横向扩展 NAS 体系结构客户端和应用程序客户端和应用程序RESTful APIGET PUT POST DELETE千兆位以太网10 千兆位以太网网络OneFS 操作环境多协议客户端/应用程序层以太网层协议协议SMBNFSFTPHTTPHDFSfor HadoopREST for Object群集内通信22 Copyright 2015 EMC Corporation.All rights reserved.ISILON ONEFS 操作系

13、统单个卷/文件系统无与伦比的效率简洁性和易用性线性扩展能力轻松增长高性能2223 Copyright 2015 EMC Corporation.All rights reserved.全面的企业软件数据保护SmartPools基于策略的自动分层SmartDedupe重复数据消除，可降低存储需求和成本，而不会影响性能SmartQuotas 配额管理和精简资源调配InsightIQ性能监视和报告，可管理存储资源SnapshotIQ快速高效的数据备份和恢复SyncIQ 快速灵活的异步复制，可实现灾难恢复保护SmartConnect 使用负载平衡的基于策略的客户端故障切换SmartLock基于策略的

14、WORM 数据保护数据管理 24 Copyright 2015 EMC Corporation.All rights reserved.EMC ISILON 横向扩展 NAS 产品系列性能和容量的线性扩展性能和容量的线性扩展高事务性平台高吞吐量平台近线存储平台S 系列X 系列容量性能NL 系列高密度平台HD 系列25 Copyright 2015 EMC Corporation.All rights reserved.2015 ISILON硬件平台新产品S210高事务性平台X410高吞吐量平台HD400高密度平台X210高吞吐量平台NL410近线存储平台2U，24盘位4U，36盘位4U，60盘

15、位2U，12盘位4U，36盘位SAS+SSDSATA+SSDSATA+SSDSATA+SSDSATA+SSD375万万 的 IOPS 200GB/s并发并发访问带宽访问带宽 50PB单一文单一文件系统件系统X200升级产品升级产品NL400升级产升级产品品即将更新即将更新现现有平台有平台新推平台新推平台26 Copyright 2015 EMC Corporation.All rights reserved.高达高达 37 TB 最高最高 20 PB最高最高 1 PB硬盘硬盘驱动器驱动器SmartFlash DRAM节点节点 1节点节点 2节点节点 3节点节点 4ISILON SMARTFLA

16、SH首个也是唯一的全局一致横向扩展闪存即缓存高达高达 37 TB 平台特性 全局一致的闪存缓存 在单个群集中扩展至 1PB 闪存缓存 简单、自我优化的性能与闪存利用率主要优点闪存缓存增加 30 倍倍 最高 1PB 与 37 TB DRAM 每 GB 成本是 DRAM 的 1/5 是高性能计算(HPC)应用程序（如渲染、CAD 和软件设计）的理想之选27 Copyright 2015 EMC Corporation.All rights reserved.Isilon 可在单文件系统、单卷群集中从从 16 TB扩展到扩展到 50 PB不到 60 秒即可完成扩展，不会造成宕机可大规模扩展 高于传统

17、存储系统的可扩展性28 Copyright 2015 EMC Corporation.All rights reserved.ISILON 简单性和易用性单个卷和文件系统 目录和文件跨群集分条自动化 无需无需手动干预 无需无需重新配置 无需无需更改服务器或客户端装载点或应用程序 无需无需数据迁移 无需无需 RAID单个卷29 Copyright 2015 EMC Corporation.All rights reserved.将效率提升到全新水平 ISILON AUTOBALANCE AutoBalance 自动将内容移至新存储节点 消除了“热点”实现无与伦比的存储容量利用率 超过 80%空空

18、空空空完全完全完全完全平衡平衡平衡平衡平衡AUTOBALANCE跨节点自动平衡数据降低了扩展存储的成本、复杂性和风险30 Copyright 2015 EMC Corporation.All rights reserved.SMARTPOOLS 自动分层单点管理 单个文件系统/单个卷 多个性能层自动数据移动 基于策略的分层管理 透明的重新分配 无需更改应用程序优化存储资源 使存储资源自动与数据要求保持一致 消除数据迁移Policy30 daysS210NL40030 days-2years2 years NL400HD40031 Copyright 2015 EMC Corporation.A

19、ll rights reserved.无与伦比的数据保护和可用性具有超强恢复能力的群集体系结构100%100%100%100%100%100%100%100%FailedFailed借助借助 N+2、N+3 和和 N+4 保护，保护，多个驱动器或节点发生故障时，数据仍 100%可用借助借助 N+1 保护保护，单个驱动器或节点发生故障时，数据仍 100%可用对于 Isilon，群集中的节点越多，驱动器重建时间越短越短32 Copyright 2015 EMC Corporation.All rights reserved.企业数据保护选项快速轻松的备份和灾难恢复 Isilon NL 系列群集Is

20、ilon S 系列和 X 系列群集磁盘到磁盘备份远程归档和灾难恢复使用 SnapshotIQ 实现高效快照使用 SyncIQ 复制数据 简单的按钮式故障切换/回切33 Copyright 2015 EMC Corporation.All rights reserved.ISILON 安全和法规遵从性选项法律法律IT会计会计市场营销市场营销基于角色的访问控制(RBAC)用于安全隔离的访问分区WORM 数据保护文件系统审核具有自加密驱动器(SED)的静态数据加密(DARE)34 Copyright 2015 EMC Corporation.All rights reserved.ISILON 面向

21、 HADOOP 的优点就地分析 本机集成加速获得洞察结果企业数据保护 快速的快照、备份和数据恢复 针对灾难恢复的简单高效的数据复制 降低成本 无需专用 Hadoop 基础架构 效率远超基于 DAS 的方法增加灵活性 同时支持任何与 Apache 兼容的 Hadoop 分发 集成 Ambari 以便管理、监视和调配具有本机 HADOOP 集成的横向扩展存储35 Copyright 2015 EMC Corporation.All rights reserved.平台特性行业标准对象存储能力PB 规模适用于非结构化数据和对象存储的多功能数据湖基础主要优点同时访问文件、对象和 Hadoop不需要进行

22、更改就可以运行基于 Swift 的新一代应用程序经验证的平台可以降低风险新的适用于对象存储的 OpenStack Swift36 Copyright 2015 EMC Corporation.All rights reserved.Isilon 横向扩展 NAS易于管理 单个文件系统、单个卷、全局命名空间可大规模扩展 可在单个群集中从 16 TB 扩展到 50 PB 以上无与伦比的效率超过 80%的存储利用率、自动分层以及 SmartDedupe企业数据保护高效备份和灾难恢复，以及 N+1 到 N+4 冗余强大的安全性与法规遵从性选项RBAC、访问分区、WORM 数据安全性、文件系统审核使用

23、SED 进行静态数据加密 操作灵活性包括 NFS、SMB、HTTP、FTP 和 HDFS 在内的多协议支持针对移动计算的 Syncplicity 支持对象和云计算（包括 OpenStack Swift）37 Copyright 2015 EMC Corporation.All rights reserved.ISILON 横向扩展 NAS 体系结构OneFS Operating Environment群集内通信层客户端/应用程序层以太网层单个 FS/卷CIFSNFSFTPHTTPHDFS for HadoopREST for Object千兆以太网万兆以太网网络协议144节点50PB存储容量3

24、8 Copyright 2015 EMC Corporation.All rights reserved.HDFSSMB,NFS,HTTP,FTPNodereplyNodereplyNodereplyNodereplyNameNodeData 支持多个Hadoop平台name nodename nodename nodename nodedata nodeNFSSMBSMBNFSMAP ReduceMAP ReduceMAP ReduceMAP ReduceMAP ReduceMAP ReduceMAP ReduceMAP ReduceMAP ReduceMAP ReduceMAP Reduc

25、eMAP ReduceMAP ReduceMAP ReduceMAP ReduceMAP ReduceMAP ReduceMAP Reduce39 Copyright 2015 EMC Corporation.All rights reserved.Hadoop+Isilon 大数据分析Isilon本身只做HDFS部分，M/R部分在计算节点上做。在传统的Hadoop中这两部分是放在一起的，其实是可以分开的。这是最大不同克服传统hadoop namenode 单点故障节省存储空间，兼顾数据安全和快速企业级数据保护40 Copyright 2015 EMC Corporation.All righ

26、ts reserved.主要功能好处 Hadoop 2.0 本机 HDFS 支持 Pivotal HD 支持 同时支持 HDFS 1.0 和 HDFS 2.0 分布式 NameNode 支持开放的 Hadoop 应用程序 无单点故障 降低总体拥有成本(TCO)ISILON集成HDFS-新一代分析技术41 Copyright 2015 EMC Corporation.All rights reserved.适用于 Hadoop 的 Isilon 优势就地分析 本机集成加速获得洞察结果企业数据保护 快速的快照、备份和数据恢复 针对灾难恢复的简单高效的数据复制 降低成本 无需专用 Hadoop 基础架构 效率远超基于 DAS 的方法增加灵活性 同时支持任何与 Apache 兼容的 Hadoop 分发具有本机 Hadoop 集成的横向扩展存储