大数据时代数据存储解决方案（完整版）课件.pptx

1、大数据时代数据存储解决方案目录大数据带来哪些技术变革云时代大数据的特点12大数据架构和具体实践3大量用户群体海量计算大量数据管理数据分析大数据定义-不同行业的不同声音云时代的大数据特点Volume-巨巨 量量Variety-多样性多样性 Value-价值密度价值密度数据量巨大全球在2010 年正式进入ZB 时代IDC预计到2020 年，全球将总共拥有40ZB 的数据量结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求沙里淘金，价值密度低一部数小时的视频，可能有用的数据仅仅只有一两秒。如何迅速“提纯”是大数据亟待解决的难题实时获取需

2、要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命Velocity-速速 度度信息采集系统全景介绍政府机构（医保，社保）短信通话记录数据分类数据来源运营商存储区域业务平台汇聚、分析、入库医院大型企业交通信息视频监控 Email社保、医保、住宿、交通视频监控网络信息 精确查询人际关系、行为分析跟随分析、人脸识别通话记录、住宿、交通统计报表短信、Email内容过滤等其他信息统计分析内容查询数据导入大数据在各行业的应用社交网络B 2C业务能源媒资地质勘探科研智能电网非线编辑后期制作卫星探测基因工程电子支付票据归档金融互联网公安视频监控视频分

3、析目录大数据各行业需求和应用大数据带来哪些技术变革云时代大数据的特点12大数据架构和具体实践3大数据带来技术变革大数据大数据分析处理分析处理 全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一；Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术；传统技术升级已满足不了大数据处理的需求，“大数据”技术将在未来35年内进入主流。其技术形态也会产生较大的变化；存储瓶颈存储瓶颈计算瓶颈计算瓶颈网络瓶颈网络瓶颈数据库瓶颈数据库瓶颈大数据带来哪些技术变革单机单机集群虚拟化集群文件存储单机设备间连接设备内连接关系型数据库横向

4、扩展横向扩展GE FC数据库集群10GE FC IB分布式数据库非关系型数据库块存储10GE SAS IB FC计算存储数据库网络横向扩展（硬件扩展）块虚拟化丰富的增值软件及对外接口横向扩展（硬件+文件系统）文件虚拟化丰富的增值软件及对外接口Hadoop解决方案架构目录什么十大数据大数据各行业需求和应用大数据架构和具体实践大数据带来哪些技术变革云时代大数据的特点12大数据架构和具体实践3在大数据方面不仅仅是平台提供商大数据应用开发提供商大数据系统集成商大数据平台提供商大大数数据据管理管理服务服务提供提供商商除了具有强大的自主研发实力外，还具备丰富的集成优化第三方平台的经验，可根据用户的实际需求

5、，打造适合用户自身特点的大数据服务体系；Scaleout BlockScaleout FilesystemScaleout DBScaleout ObjectScaleout backup分布式存储应用适配,Programmable接口通用服务器网络（交换机，路由器）存储节点 分布式计算和分析批处理(Galax HD)实时处理和内存计算近实时分析和MPP DB内存数据库流处理MapReduceHive,Pig,MashoutHBASEHcatalogSQLQuery PlannerMPP ExecData Bridge管控平面设备管理资源管理(YARN,多户,Zookeeper)策略调度日志留

6、存OLAP视频分析数据可视化内容检索数据挖掘 大数据一体化平台集成SqoopData Loader 集成和优化自研组件合作3rd PartyToolHadoop FS API,NFS/CIFS,Posix,ISCSI,S3大数据统一架构FlumeLuceneCloud OS安全可信弹性高效l 存储池内所有硬盘参与重构，仅重构业务数据l 由传统RAID多对一的重构模式转变为HVS的多对多快速重构模式l 数据恢复速度相对传统RAID提升20倍l 降低95%的多盘失效概率l 大幅降低重构过程对业务的影响传统阵列RAID 2.01TB NLSAS 磁盘重构时间（小时）100.50246810数据重构时

7、间缩短20倍Partition 1Partition 2Partition 4Partition Partition 3Partition N核心业务专属保障l 存储系统自动按照优先级不同调配资源，保证核心系统的资源需求l 物理缓存分区，为特定LUN设定专用的缓存分区，避免核心业务与边缘业务恶性缓存竞争安全可信弹性高效Smart软件提升客户系统效率SmartTier数据动态分级SmartVirtualization异构数据整合SmartMotion数据动态平衡EMCHDSIBMHW 安全可信弹性高效lSmartTier：精细化热点统计与迁移，最大化性能资源利用率，性能提升3倍lSmartMot

8、ion：基于场景的动态部署变更，最大化自动负载均衡，硬盘利用率提升2倍，运维成本下降60%lSmartVirtualization：支持对异构存储系统进行统一虚拟化管理，最大化既有投资保护，投资回报率提升50%SSDSASNL-SAS统一管控，运维一手掌握l各类型存储统一管理，化繁为简l分层可视化，直观监控，高效排障l智能分析提升服务质量，节约成本l与移动运维结合，管理更智能报警管理 拓扑安全安全可信弹性高效亚洲最大兼容性实验室l亚洲最大的IT产品兼容性实验室，拥有国内最全面的测试环境，产品兼容性得到充分的认证，客户的兼容性疑虑得到最好的解答l与全球400家IT厂家合作，影响全球IT生态圈，为

9、客户提供更加全面的IT产品。兼容性实验室解决您的兼容性顾虑HVS&T系列统一存储存储虚拟化VIS6600TN9000大数据存储面向企业级数据中心实现数据智能布局双活数据中心统一存储资源池面向海量数据存储融合架构简化生命周期管理存以智用，融以致远云化存储设计：智能融合可信赖，满足企业需要外企当道、自主乏力l本地产/OEM不等于自主可控l本地产为的是降低生产成本，OEM仅仅是包装l存储核心竞争力是研发、设计l技术、质量、价格均不可控本地产/OEM 自主可控国内厂商19%IBM26%EMC14%HP14%HDS8%Dell7%other12%IDC2011年数据外企当道安全威胁l外企霸占国内市场：国

10、外存储厂商占据国内80%以上的市场份额，其中金融业占据90%，交通行业超过80%，电信行业超过90%；l威胁国家安全：CNNVD（国家信息安全漏洞库）统计外企在国内重大信息安全漏洞多达6万个存储的中国芯专用/通用处理器CPU 自研ARM64，融合存储特性(Raid5/6/DIF/Multicast/DMA)SHA1、Dedup加速卡 最少磁盘，最少电力，满足海量数据备份需求 加速卡实现5GB/s=18TB/Hr更低成本，更高性价比智能融合IO芯片 Hi1812 10GE,RDMA(10GE),TOE,IOE,FCoE,FC 8G/16G all in one更低成本，更高性价比PCI-E SS

11、D控制芯片Hi1821 支持PCI-E 3.0接口 支持SAS 3.0协议 SAS SSD控制芯片 Hi1811 业界第一颗支持SAS 2.0的ASIC控制器发布首款全固态存储系统Dorado 2100Red-B Prime 可编程引擎（TOE、IOE、FCoE，RDMA，vSwitch、VTEP和Openflow等协议卸载）PCI-E over Fabric，IO扩展和共享，数据加密压缩Red-B Prime提供最全系列全国产存储产品HDP3500E*VTL6900*HyperSnap HyperClone 数据复制软件存储管理软件HyperCopy HyperReplicationDora

12、do2100 G2Dorado5100l60万 IOPSl访问延迟低至500sl100万 IOPSl访问延迟低至500sHVS85T/HVS88TS2600T/S5500T/S5600T/S5800Tl216 控制器l可扩展至3TB Cachel可扩展至 3216 块硬盘l05s RPOS6800Tl可扩展至384GB Cachel可扩展至1440 块硬盘l25万SPC-1性能l统一存储，同时支持块和文件应用l可扩展至192GB Cachel可扩展至1440 块硬盘S2200Tl双控制器l支持4GB Cachel支持204 块硬盘SmartQoSSmartMotionSmartTier Ult

13、rPathUltraVRUltraAPMSmartCacheSmartThinSmartX InsightManagement ConsoleInfraControlCSS分布式存储系统N9000大数据存储系统l支持Posix/NFS/CIFS/JDBC/ODBC接口l多GE互联UDS海量存储系统l3288节点，40PB容量扩展，500万OPS l10GE/IB高性能互联l标准Amazon S3接口lEB级容量扩展l高密设计，单柜2PB容量N8500集群NAS系统*l全Active架构l支持文件和块接口l224节点，15PB容量扩展，300万OPS l动态分级存储l一体化备份设备lPB级海量备份l集群架构l同时支持Inline与后端重删VIS6600T*l28节点，Scale-outl虚拟化存储专业的本地服务和咨询团队您身边的服务专业服务团队战略服务合作1成都总部4区域存储能力中心5服务阶段32区域技术支持中心140+服务范围覆盖城市8+服务领域10+专家组合1服务合同1350+PMP专家26000+专业的服务团队300+专业服务监管300+备件中心200+增值服务伙伴2000+合作伙伴4培训中心1700+专业讲师设计咨询实施改进运营一站式服务大数据时代数据存储解决方案