大数据分析存储解决方案课件.ppt

1、Page 1从企业数据向大数据的扩展Traditional ApproachStructured,analytical,logicalSystems of RecordNew ApproachCreative,holistic thought,intuitionSystems Of EngagementMultimediaSystems of Insight Enterprise Integrationand Context AccumulationStructuredRepeatableLinearUnstructuredExploratoryDynamicData WarehouseWeb

2、 LogsSocial DataText Data:emailsSensor data:imagesRFIDInternal App DataTransaction DataMainframe DataOLTP System DataHadoop andStreamsTraditional SourcesNew SourcesERP data具备洞悉能力的系统Systems of InsightPage 2在可靠和安全可靠和安全的环境中处理关键业务应用存取和处理存取和处理海量数据包括结构化和非结构化数据速度及时响应随时可能出现的商业机会，这就需要灵活、实时性的基础架构The dynamics

3、of SoR and SoE:通过负载及资源部署的优化，来增强灵活性和效益 通过采用包括基于开放标准的技术等新技术来改善IT economicsSystem of Record（SoR）Systems of Engagement（SoE）对对的决策的决策对对的地方的地方对对的的时间时间点点Big Data&AnalyticsPage 3IBM Big Data&Analytics InfrastructureData Zone Application Zone Page 44Smart MeteringGrid Operations电网管理电网管理Field Service外勤现场服务外勤现场

4、服务Resource Planning资源规划资源规划Customer Service/Customer Operations实现真正的有效的法规遵从及时发现能源损耗问题、以及偷电和欺诈行为提高客户满意度电量使用预测更为精确电网运维优化减少停电次数和时间法法规规遵从遵从Page 5数据分析的高可用性，以确保随时了解用户喜好跨应用的TB级的数据需求 通用虚拟化存储平台实时收集、存储并分析数据，最快可达 50,000 data points/sec历史用电状态数据的复杂查询处理数据在加载到数据仓库前的清洗、验证，这些数据可能来自很多的用户、收费系统或断电保护系统关系掌控构建和维护电网的唯一试图对整

5、个企业的结构化和非结构化数据t做全局导览Navigation，从中发现Discover价值分析用户用电情况，侦测偷电、改表等行为预测哪些用户适合于哪些分时时段电价或需求/响应服务分时时段电价的实时定价 或 提供及时的需求/响应服务Page 6IBM Big Data&Analytics Reference ArchitectureBig Data Platform CapabilitiesInformation IngestReal-time AnalyticsWarehouse&Data MartsAnalytic AppliancesAll Data SourcesAdvanced Ana

6、lytics/New InsightsNew/Enhanced ApplicationsCognitive认知认知Learn Dynamically?Prescriptive 规范规范Best Outcomes?Predictive预测预测What Could Happen?Descriptive描述描述What Has Happened?Exploration and DiscoveryWhat Do You Have?Streaming DataText DataApplications DataTime SeriesGeo SpatialRelationalSocial NetworkV

7、ideo&ImageAutomated ProcessCase ManagementAnalytic ApplicationsWatsonCloud ServicesISV SolutionsAlertsPage 7New Infrastructure Leverages Data TypesData inMotionData atRestData inMany FormsInformation Ingestion and Operational Information Decision ManagementBI and Predictive AnalyticsNavigation and D

8、iscoveryIntelligenceAnalysis Raw Data Structured Data Text Analytics Data Mining Entity Analytics Machine LearningLanding Area,Analytics Zone and ArchiveVideo/AudioNetwork/SensorEntity AnalyticsPredictiveReal-time AnalyticsExploration,Integrated Warehouse,and Mart ZonesDiscoveryDeep ReflectionOperat

9、ionalPredictive Stream Processing Data Integration Master Data StreamsInformation Governance,Security and Business Continuity BigInsightsStreamsWarehouse Copyright IBM Corporation 2014Page 9InfoSphere BigInsights Hadoop-based 低延迟分析，针对多样化的、海量静态数据Data-At-RestNetezza High Capacity Appliance基于结构化数据的可查询归

10、档Netezza 1000基于结构化数据的BI+定制化分析 DataSmart Analytics System基于结构化数据的运营分析Informix TimeseriesTime-structured analyticsInfoSphere Warehouse基于结构化数据的大容量数据分析InfoSphere Streams低延迟流数据分析Velocity,Variety&VolumeData-In-MotionMPP Data WarehouseStream ComputingInformation IntegrationHadoopInfoSphere Information Serv

11、er海量数据集成和转化Apache Hadoop:跨服务器集群的大数据集分布式处理开放系统框架，采用的是一种简单化编程模型IBM Big Data Platform大数据平台大数据平台Page 10 What:一种开源软件，将数据计算分布到整个集群的常见商用服务器和存储上 Why:传统的计算架构是一种沿纵向扩展模式，通过更快的SAN、大容量内存和多级缓存将数据加载到CPU上，成本比较高。What:Hadoop 把大数据集合拆分区划为小数据集合，再把小数据集合分发到多台普通服务器上，是一种横向扩展模式。Why:Scalable,Flexible,Cost Effective,Fault Tole

12、rent Components:Map Reduce,HDFSWhat is Hadoop?Page 11NameNode(Metadata store)NodesHDFS ClusterOperating SystemNodesElastic Storage-SNC ClusterKernel LevelIBM Value for Hadoop!HDFS 把数据分散存储在多个存储节点Node上HDFS 设计时就假设存储节点有失效的可能，所以HDFS会把一份数据复制3份以上，分散存储在多个节点上，从而实现系统整体上的可靠性HDFS文件系统是由服务器节点集群组成的，每台服务器依照HDFS的特有b

13、lock协议支持网络化block 数据HDFS Name Node 有发生单点故障的危险IBM 在改善文件系统的性能同时消除了单点故障 Elastic Storage-SNC(available as beta code)Hadoop 说明说明,Map Reduce,HDFSPage 12What does it look like?Page 13典型典型Hadoop存储的存储的Pain Points在选择HDFS的组件（如软件、服务器、网络和存储等）时很难选对对在从测试环境迁移到生产环境时，需要做的调优和调整工作太繁复了长期持续不断的运维保障过于繁重，比如老要更换失效组件（尤其是硬盘），这使

14、得保证期望的SLA非常难CPU 和存储去耦o本来用户的CPU和内存已经满足计算需求，但为了存储容量需要安装更多的硬盘不得不买更多的、不必要的CPU和内存Storage options available have clear gapso本地存储的利用率低(25%)，每次需要扩容的时候就要添加更多的服务器，而一旦硬盘失效后需要重建，服务器越多，失效的几率越高，性能也就越差Page 14传统的 Hadoop 集群使用的是服务器内置硬盘存储。如果用作测试或科学研究还好，可作为业务运行的存储就要采用企业存储Hadoop 集群要负责数据保护和复制l重建（就是copy）失效的数据集到不同节点上 严重影响C

15、PU性能，无法实现企业级的RASlReplicate data 问题同上l扩展的时候同时增加处理器/网络/存储，无法做到物尽其用（no way to separate these 3 even if excess capacity existing in one(e.g.Needed more storage but had to add Compute and Network)）使用外部存储可以将存储负载和Hadoop计算节点分离，同时还获得了企业存储的好处。lSell the value of XIV,V7000,SVC,etc.用户一般会随Hadoop File System部署；采用E

16、lastic Storage 可以有很多好处Page 15数据加速数据加速lExperience the instant results that come from IBM FlashSystemlDrive as much as 45X faster analytics results on certain workloads数据负载的多样性和灵活性数据负载的多样性和灵活性lXIV delivers predictable performance that scales linearly without hotspots delivering insights from analytics

17、 faster with tuning-free data distributionlScale-out,parallel processing of Elastic Storage software and integration with FlashSystem dramatically accelerates performance of Analytics clusters lVirtual Storage Center with SVC automatically optimizes data warehouse performance and cost across Flash a

18、nd DiskMainframe Data EnvironmentslIntegration with DB2&specialty analytics“engines”leveraging DS8870 delivers 4x reduction in batch times with new High Performance Flash EnclosureslHigh speed encryption on every drive type secures data数据保护和保留数据保护和保留 lLTFS EE w/tape provides reduced TCO by up to 90%

19、over disk for long term retention of data at rest with a large open format tape repositorylReduce the amount of data to be stored by up to 25 times with ProtecTIER de-duplication 12x 更快更快IBM FlashSystem increased SPLUNK&SAS application efficiency to perform business analytics20 x 改善改善 in actionable

20、supply chain analytics,4x reduction in batch times,virtualization for plug&play6x 时间节时间节省省“GPFS allows us to move the metadata from the disk to the FlashSystem online.Once we did that,the backups were reduced down to about an hour.”2 hrs becomes2 minutes失效切换时间大幅缩短Mapping Characteristics to IBM Stora

21、ge Products Page 16Storage Infrastructure 需求需求适用于所有的5种应用场景 Optimized Multi-TemperatureWarehouse优化的多级存储库优化的多级存储库 oAll FlashFlashSystemoHybridDS8000 EasyTierXIV+SSD CachingStorwize EasyTierFlashSystem Solution(VSC+FlashSystem)oPureSystemsPureFlex(XIV or Storwize w/EasyTier)PureData for Transactions(St

22、orwize)PureData for Analytics(Netezza)Page 17Midrange&EntryTier 0 AccelerationEnterpriseOfferingsXIVzEnterprise Solutions for Analytics with DS8000PureData System forOperational Analytics with StorwizePureFlex Systemwith StorwizeDS8000Smart Analytics Systems with DS3xxxStorwizefamilyFlashSystemfamil

23、yIBM Smarter Storage 的设计就是支持大数据分析的设计就是支持大数据分析高效和优化数据基础架构高效和优化数据基础架构Page 18IBM FlashSystem的的 极速性能极速性能 让实时业务决策成为可能让实时业务决策成为可能适合于模块化数据存储结构的适合于模块化数据存储结构的Hadoop系统。某些或所有数据可系统。某些或所有数据可以保存到以保存到Flash闪存上，其他可以保存到闪存上，其他可以保存到XIVPage 19IBM XIV 的的高性能高性能无须人工干预配置，且适用于各无须人工干预配置，且适用于各种各样的存储负载种各样的存储负载IBM XIV 的的效率效率 高的异

24、乎寻常，而且简单性业内最高，内高的异乎寻常，而且简单性业内最高，内置友好界面置友好界面IBM XIV 的的弹性弹性是企业级的，完全保证了数据的可用性是企业级的，完全保证了数据的可用性和业务连续性和业务连续性Page 20 可扩展的网格存储架构 任意时间支持任意读写负载 板上的闪存Flash 精致的数据分布 无双的磁盘重建时间 企业级的可用性 简单的规划、供给和灵活性 上线后零维护 零调优“XIV最吸引我们的地方就是其超强的性能 we正是由于XIV为我们的精细复杂的分析应用提供了一致的高性能，使得我们能够为我们的用户带来更多的价值。”Page 21 大规模并行计算 保持持续地最佳性能 Balan

25、ced Performance性能均衡性能均衡 常年零调整 Unprecedented Scalability史无前例的史无前例的扩扩展性展性 配合添加SAS节点和XIV模块即可Page 22IBM SVC 通过如下功能在通过如下功能在IBM 大数据产品线上增加了大数据产品线上增加了灵灵活性活性：完整和数据虚拟化和数据移动性完整和数据虚拟化和数据移动性高级集群和复制高级集群和复制多路镜像，多路镜像，read preferred optionReal Time Compression实时压缩实时压缩Easy Tier Hot Extent cachingStorwize V7000/UIBM S

26、VCPage 23Real-Time Compression实时压缩是设计来做：l作用于 l专用的压缩平台Platform handles ALL heavy lifting associated with compressionl不会影响性能We modify a compressed file in-place efficientlyl不会改变用户应用Users nor admins need to change anythingl处理流程不变压缩是在线完成，不是事后压缩l业界标准压缩算法所采用的压缩算法已经使用了几十年Storwize V7000/UIBM SVCPage 24流处理计算

27、&IBM Flash SystemsPage 25Data inData atPage 26为分析动态数据而建l多并发输入数据流l大规模可扩展Massive scalability分析和处理的数据多样化lStructured,unstructured,video,audiolAdvanced analytic operators自适应实时分析lWith Data WarehouseslWith Hadoop SystemsPage 27Current fact finding当前数据查询分许流动中的数据在数据落盘前低延迟模式,push model数据驱动真正的数据分析Historical fa

28、ct finding历史数据查询查找和分析存储在磁盘上的数据信息批处理模式,pull model查询驱动:submits queries to static data Traditional ComputingStream ComputingReal-time AnalyticsPage 28 来自多个多样输入源的大量数据 直接处理和过滤数据，而不必存储 仅保存有价值的数据 仅关联对数据最感兴趣的用户 随着数据信息的产生采取行动Page 291.Data Ingest数据集成，数据挖掘，机器学习，统计建模实时和历史数据洞察力的可视化3.Adaptive Analytics Model数据收取，

29、在线分析准备，模式校验Data2.Bootstrap/EnrichControl flowInfoSphereBigInsights,Database&WarehouseInfoSphereStreamsPage 30 来自多个多样输入源的大量数据 过去、现在和未来全方位综合性视图l实时分析，低延时结果lFull context for deep analysis深度分析的完整的上下文 跨data in motion and data at rest的常用数据分析 自适应-随机而变l当发现非预期行为时，自适应l当识别出新数据意义时深度分析之l开始没有意识到的数据意义，随后才可能意识到l自适应在

30、开始没有意识到的，随后可以找出数据模式Page 31Stock market Impact of weather on securities prices Analyze market data at ultra-low latencies Momentum CalculatorFraud prevention Detecting multi-party fraud Real time fraud preventione-Science Space weather prediction Detection of transient events Synchrotron atomic resea

31、rch Genomic ResearchTransportation Intelligent traffic management Automotive TelematicsEnergy&Utilities Transactive control Phasor Monitoring Unit Down hole sensor monitoringNatural Systems Wildfire management Water managementOther Manufacturing Text Analysis ERP for Commodities Real-time multimodal

32、 surveillance Situational awareness Cyber security detectionLaw Enforcement,Defense&Cyber SecurityHealth&Life Sciences ICU monitoring Epidemic early warning system Remote healthcare monitoringTelephony CDR processing Social analysis Churn prediction GeomappingPage 32向交易方向加速。一个高效和灵活的基一个高效和灵活的基础架构显然可以

33、加快础架构显然可以加快流速，并平衡不同数流速，并平衡不同数据分析的需求据分析的需求CoresSCMStorageNetworkCoresSCMStorageNetworkCoresSCMStorageNetworkCoresSCMStorageNetwork+预测分析预测分析数据仓库数据仓库文本分析文本分析Hadoop WorkloadsHadoop Workloads优化优化敏感性分析敏感性分析加快流速加快流速价值时间“触发事件触发事件”数据完备数据完备交易交易Insight预见预见获取数据获取数据时间时间分析数据分析数据时间时间行动时间行动时间Page 33IBM Big Data&Ana

34、lytics InfrastructureData Zone Application Zone Page 34 Experience real-time analytical insights with up to 50 x better performance than enterprise disk systems using IBM FlashCore technology Preserve and protect infrastructure continuity while scaling to over 2 petabyte of effective all-flash capac

35、ity under a single integrate interface Deliver agility and data economics with 4x greater capacity in less rack space than competitive all-flash productsSynchronized and Complimentary to Overarching Storage Messaging-Accelerate time to insights through data without borders.IBM innovation frees data

36、with agile and simple to use storage solutions delivering superior data economics IBM FlashSystem Core Launch MessagingDrive a complete paradigm shift in Enterprise Storage with the all new IBM FlashSystem FamilyPage 35Time to insight.Time to value.Time to market.IBM FlashSystem,its about time.Flash

37、 Realized!Page 36IBM FlashCore Technology is the DNA of the FlashSystem FamilyPage 37Introducing the New IBM FlashSystem Family OfferingsIBM FlashSystem 900Extreme Performance:Delivers 100 microsecond response times Macro Efficiency:Lowest latency offering with 40%greater capacity at a lower cost pe

38、r capacityEnterprise Reliability:IBM enhanced Micron MLC flash technology with Flash Wear GuaranteePowered by IBM FlashCore TechnologyIBM FlashSystem V9000Scalable Performance:Grow capacity and performance with up to 2.2PB scaling capabilityEnduring Economics:Next generation flash media with lower c

39、ost per capacity Agile Integration:Fully integrated system management to simplify management and improve workforce productivity under a single name spacePage 38Introducing IBM FlashSystem 900,the next generation in our lowest latency offering IBM MicroLatency with up to 1.1 million IOPS 40%greater c

40、apacity at a 10%lower cost per capacity IBM FlashCore technology,our secret sauce Technical collaboration with Micron Technology,our flash chip supplier IBM enhanced flash technology MLC NAND flash offering with Flash Wear Guarantee VAAI UNMAP and VASA support with IBMSIS for improved cloud storage

41、performance and efficiencyMinimum latency Write90 sRead155 s Maximum IOPS 4 KBRead(100%,random)1,100,00Read/write(70%/30%,random)800,000Write(100%,random)600,000Maximum bandwidth 256 KBRead(100%,sequential)10 GB/s Write(100%,sequential)4.5 GB/s Performance at-a-glanceIBM MicroLatency module type1.2

42、TB2.9 TB5.7 TBModules quantity46 8 10 12 6 8 10 12 6810 12RAID 5 capacity(TB)2.44.87.29.6 1211.6 17.423.229.022.834.245.657.0Raw Capacity(TB)7.110.714.217.821.426.335.143.952.752.770.387.9105.5Page 39IBM introduces a fully integrated,fully managed,full function all-flash storage systemScalable all-f

43、lash architecture with full set of advanced data featuresPerforms at up to 2.5M IOPS with IBM MicroLatency,scalable to 19.2 GB/s Scales to 456 TB usable and up to 2.28 PB effective capacity in only 34UUp to 57 TB usable and up to 285 TB effective capacity in only 6UNew licensing structure to simplif

44、y ordering and planning for External Data Virtualization,Flash Copy,Metro Mirror,and Real-time CompressionScalablePerformanceAgile IntegrationEnduringEconomicsPowered by FlashCoreTechnology1、用爱心来做事，用感恩的心做人。2、人永远在追求快乐，永远在逃避痛苦。3、有多大的思想，才有多大的能量。4、人的能量=思想+行动速度的平方。5、励志是给人快乐，激励是给人痛苦。6、成功者绝不给自己软弱的借口。7、你只有一

45、定要，才一定会得到。8、决心是成功的开始。9、当你没有借口的那一刻，就是你成功的开始。10、命运是可以改变的。11、成功者绝不放弃。12、成功永远属于马上行动的人。13、下定决心一定要，才是成功的关键。14、成功等于目标，其他都是这句话的注解。15、成功是一个过程，并不是一个结果。16、成功者学习别人的经验，一般人学习自己的经验。17、只有第一名可以教你如何成为第一名。18、学习需要有计划。19、完全照成功者的方法来执行。20、九十九次的理论不如一次的行动来得实际。21、一个胜利者不会放弃，而一个放弃者永远不会胜利。22、信心、毅力、勇气三者具备，则天下没有做不成的事。23、如果你想得到，你就

46、会得到，你所需要付出的只是行动。24、一个缺口的杯子，如果换一个角度看它，它仍然是圆的。25、对于每一个不利条件，都会存在与之相对应的有利条件。26、一个人的快乐，不是因为他拥有的多，而是他计较的少。27、世间成事，不求其绝对圆满，留一份不足，可得无限美好。28记住：你是你生命的船长；走自己的路，何必在乎其它。29、你要做多大的事情，就该承受多大的压力。30、如果你相信自己，你可以做任何事。31、天空黑暗到一定程度，星辰就会熠熠生辉。32、时间顺流而下，生活逆水行舟。33、生活充满了选择，而生活的态度就是一切。34、人各有志，自己的路自己走。35、别人的话只能作为一种参考，是不能左右自己的。3

47、6、成功来自使我们成功的信念。37、相互了解是朋友，相互理解是知己。38、没有所谓失败，除非你不再尝试。39、有时可能别人不在乎你，但你不能不在乎自己。40、你必须成功，因为你不能失败。41、羡慕别人得到的，不如珍惜自己拥有的。42、喜欢一个人，就该让他（她）快乐。43、别把生活当作游戏，谁游戏人生，生活就惩罚谁，这不是劝诫，而是-规则！44、你要求的次数愈多，你就越容易得到你要的东西，而且连带地也会得到更多乐趣。45、把气愤的心境转化为柔和，把柔和的心境转化为爱，如此，这个世间将更加完美。46、一份耕耘，一份收获，付出就有回报永不遭遇过失败，因我所碰到的都是暂时的挫折。47、心如镜，虽外景不

48、断变化，镜面却不会转动，这就是一颗平常心，能够景转而心不转。48、每件事情都必须有一个期限，否则，大多数人都会有多少时间就花掉多少时间。49、人，其实不需要太多的东西，只要健康地活着，真诚地爱着，也不失为一种富有。50、生命之长短殊不重要，只要你活得快乐，在有生之年做些有意义的事，便已足够。51、活在忙与闲的两种境界里，才能俯仰自得，享受生活的乐趣，成就人生的意义。52、一个从来没有失败过的人，必然是一个从未尝试过什么的人。53、待人退一步，爱人宽一寸，人生自然活得很快乐。54、经验不是发生在一个人身上的事件，而是一个人如何看待发生在他身上的事。55、加倍努力，证明你想要的不是空中楼阁。胜利是在多次失败之后才姗姗而来。