云存储培训版课件.pptx

1、安防监控迈入云存储时代安防监控迈入云存储时代安防监控迈入云存储时代背景篇行到水穷处，坐看云起时大数据时代下的云存储安防监控迈入云存储时代这是一个大数据的时代安防监控迈入云存储时代大数据时代的4V特征Volume 海量数据从TB级别，增长到PB级别Variety 数据种类繁多有各类文本、图片、视频等数据，而且非结构化数据越来越多Velocity 实时性海量数据需要快速的处理和检索Veracity真实准确利用数据挖掘和分析得出真实准确的信息安防监控迈入云存储时代大数据时代，对存储系统提供更高要求大容量高效率高可用安防监控迈入云存储时代大数据时代,现有存储系统面临的难题以智慧城市的建设为例安防监控迈

2、入云存储时代 海量数据存储，如何统一管理和统一调度数以万计的监控点，存储容量已经达到PB级别智能分析抽离出的图片、文字、摘要视频等，数据种类多种多样。白色小型车沪FW6461逆行闯红灯红色上衣红色小型车人员聚集告警人脸抓拍图片黄色衬衫行车轨迹北纬31.3 东 经120.6除视频监控数据外，各类应用系统的数据也需进行融合移动警务图像资源信息库车牌信息数据库移动警务人员信息数据库移动警务安防监控迈入云存储时代在并发读写时，存储设备的性能瓶颈在控制器或处理能力上。为提升并发处理能力，必须不断的进行硬件升级。 大容量并发读写，设备性能成为瓶颈存储设备300路高清存储设备200路高清存储设备100路高清

3、单台最大并发处理能力升级CPU升级内存安防监控迈入云存储时代 设备故障须及时修复，维护成本激增硬盘存储设备硬盘硬盘硬盘硬盘硬盘硬盘硬盘热备硬盘硬盘硬盘RAID硬盘硬盘硬盘某块硬盘发生故障时，例如RAID，只允许设备中有一块硬盘失效。而RAID恢复时间往往需要十几个小时，期间再坏盘，就无法恢复了。因此，需要立即更换或修复故障硬盘。存储设备存储设备存储设备1某台设备发生故障时，虽可以用负载均衡技术分担给其它设备，但需要立即更换或修复故障设备，否则存储于其中的数据无法读取。故障故障容量达到“PB”级别，维护就成为最大的难题安防监控迈入云存储时代NAS存储设备NAS存储设备NAS存储设备卡口平台监控平

4、台IP SAN存储设备IP SAN存储设备IP SAN存储设备图像资源数据库NAS集群存储设备NAS集群存储设备NAS集群存储设备 不同的应用系统间数据难以融合各个应用系统，都建设独立的一套存储调度系统，可移植性和重复利用率较差。而且，不同的应用系统需要各种类型的存储系统，NAS、IPSAN或集群NAS，难以融合。安防监控迈入云存储时代如何解决些难题？ 海量数据存储，如何统一管理和统一调度 大容量并发读写，设备性能成为瓶颈 不同的应用系统间数据难以融合 设备故障须及时修复，维护成本激增云存储应运而生安防监控迈入云存储时代概念篇只在此山中，云深不知处安防监控迈入云存储时代什么叫做”云”？使用者按

5、需获取资源，无需关心资源在何处，如何构建。 就像从“云端”获取资源云Cloud安防监控迈入云存储时代像是拧开水龙头取水，打开开关获取电一样便捷，用户也可以方便的使用“云”资源。什么叫做”云”？安防监控迈入云存储时代什么是云存储？用户按需使用存储资源，无需关心存储设备在何处，如何构建。在视频监控领域，云存储作为基础资源，其“用户”为各类业务系统。云存储Cloud Storage卡口平台视频监控平台图像资源数据库统一数据平台智能应用系统安防监控迈入云存储时代难题的解决之道 海量数据存储，如何统一管理和统一调度 大容量并发读写，设备性能成为瓶颈 不同的应用系统间数据难以融合 设备故障须及时修复，维护

6、成本激增 提供分布式文件系统，数据调度与存储分离 将单打独斗升级为团队作战 由及时维护转变为定期维护 将各种数据融合，提供统一接口安防监控迈入云存储时代架构篇有形不累物，无迹却随风安防监控迈入云存储时代存储节点存储节点存储节点存储节点云存储的系统架构云存储的系统架构，分为“控制节点”和“存储节点”两个部分。控制节点控制节点控制节点控制节点采用集群架构，存储元数据，对存储节点进行调度存储节点对数据进行分布式存储，可进行复制或者RAID备份注：元数据（metadata），包括文件目录组织、属性维护、访问控制信息、文件操作日志记录、文件到块的映射信息、块当前所在的位置等。安防监控迈入云存储时代云存储

7、的工作流程数据控制节点控制节点控制节点存储节点存储节点存储节点存储节点网 络业务系统申请调度调度备份同步云存储系统34121234业务系统向控制节点申请存储资源，控制节点回复调度信息数据经由网络，到达存储节点进行分布式存储控制节点与存储节点间同步调度与存储信息控制节点间进行元数据同步备份存储节点的数据进行复制或RAID备份安防监控迈入云存储时代存储节点存储节点存储节点存储节点存储节点海量存储，弹性伸缩相比传统的存储设备，云存储可支持的存储节点数以千计，支持的容量达百PB级别，并可弹性伸缩，无缝扩展。123485679控制节点控制节点控制节点123485679增加存储节点 ，数据自动重组减少存储

8、节点 ，数据自动恢复647大数据时代下的云存储传统的存储设备并发读写性能，受到NAS机头、CPU或控制器的能力限制，而云存储系统采用控制与数据分离的架构，脱离了单台设备的能力束缚，整个系统的性能主要受到网络吞吐能力的限制。存储节点存储节点存储节点存储节点存储节点控制节点控制节点控制节点数据流不经过控制节点千兆交换网络万兆交换网络高并发读写性能，摆脱单台设备能力束缚安防监控迈入云存储时代传统的存储设备并发读写性能，受到NAS机头、CPU或控制器的能力限制，而云存储系统采用控制与数据分离的架构，脱离了单台设备的能力束缚，整个系统的性能主要受到网络吞吐能力的限制。高并发读写性能，摆脱单台设备能力束缚

9、存储设备300路高清已经撑不住了毫无压力30000路高清云存储安防监控迈入云存储时代云存储系统的控制节点采用集群架构，单点发生故障时，可无缝切换，系统业务不会中断。控制节点控制节点控制节点工作节点备份节点备份节点高可靠，系统业务不中断安防监控迈入云存储时代云存储可为多个业务系统同时提供服务，内部架构对其透明，提供统一的访问入口，利于数据共享与融合。控制节点控制节点控制节点存储节点存储节点存储节点存储节点存储节点业务系统1业务系统2业务系统3业务系统4统一访问入口，多用户并行访问安防监控迈入云存储时代云存储的特点-高可用，由及时维护变为定期维护云存储系统摆脱单台束缚，采用数据冗余存储机制，硬盘或

10、存储节点损坏时，其余节点可自动重组，数据不丢失，系统运行不受影响。安防监控迈入云存储时代一个月后云存储的特点-高可用，由及时维护变为定期维护维护人员仅需定期检查受损硬盘或节点，更换或修复即可。安防监控迈入云存储时代应用篇多谢好风吹起后，化为甘雨济田苗安防监控迈入云存储时代 19英寸4U 机架式 支持16 盘位，支持热插拔，支持不同容量磁盘混插 单台设备既可作为控制节点，也可作为存储节点 控制节点支持三台以上集群部署，业务不受中断 存储节点支持双份、多份复制或RAID的方式，确保数据完整 支持数百PB级存储容量科达云存储系统- KCloudStorKCloudStor1000-48T 3T企业硬

11、盘 2折售价 ￥80000KCloudStor1000-S48T 3T监控硬盘2折售价 ￥75000科达云存储系统- KCloudStor1000部署模式与关键特性控制节点与存储节点合一，工程部署时自由选择三台设备作为控制节点，在做为控制节点的同时，它也可以作为存储节点使用。控制节点KCloudStor1000内置：控制模块 手动启用存储模块 手动启用安防监控迈入云存储时代视频监控主平台LAN视频监控从平台云存储智慧城市对云存储的要求KCloudStor在视频监控系统中的应用智慧城市的监控点规模从几千个到几十万个不等，一般存储30天，存储容量可达数百PB。海量存储，弹性伸缩智慧城市中所有的摄像

12、机以平均码率2Mbps-4Mbps并发存储，并发写数据量巨大。高并发写性能智慧城市对可靠性要求高：724小时不间断存储，系统业务不中断，数据损坏可恢复。高可用，高可靠安防监控迈入云存储时代视频监控平台云存储卡口平台违章查询系统KCloudStor在卡口和电警解决方案中的应用卡口&电警解决方案对云存储的要求海量小文件存储卡口平台存储图片与车牌信息，视频监控平台存储视频码流，图片和视频可存储在同一系统中，便于相互调度。图片与视频数据共享违章记录通过网站发布，应用系统从云存储系统中直接读取违章图片，供市民查询，要求云存储系统有快速检索与读取性能，满足并发读取的需求。快速检索与读取LAN每台卡口式电警

13、一年的抓拍量约在300w张左右，对于存储系统来说，需要管理大量的小文件。KCloudStor可以管理的文件数量达百亿级别，完全符合需求安防监控迈入云存储时代图像侦查系统视频监控平台移动警务KCloudStor在视频图像信息数据库中的应用视频图像信息数据库对云存储的要求统一访问空间信息数据库中的数据需要永久保存，数据量可达数百PB级别。为保证数据不丢失，通常采用复制方式进行备份。海量存储，高可用LAN云存储图像资源库实战应用系统卡口平台信息数据库库中的数据可由不同的业务系统并发写入和读取，云存储系统可提供统一访问空间，无需在各类业务系统间进行调度，极利于数据的融合与共享。安防监控迈入云存储时代竞

14、争篇曾经沧海难为水，除却巫山不是云安防监控迈入云存储时代存储系统的发展历程首先，我们来回顾一下存储系统的发展历程业务系统操作系统磁盘柜SCSI、FC、SAS优点：部署简单缺点：不易于扩展，已被淘汰业务系统操作系统磁盘柜优点：基于块存储，性能高，速度快缺点：不易于用户访问和数据共享FC或IP磁盘柜业务系统操作系统磁盘柜优点：基于文件存储，可多用户访问和共享缺点：性能较低，不利于扩展IPDASSANNAS安防监控迈入云存储时代“集群NAS”的诞生集群NAS“NAS”机头，可以集群，2-32台服务器不等。利用“SAN”技术，采用数据“块”存储方式交换节点存储节点存储节点存储节点存储节点交换节点管理节

15、点LAN为了同时满足快速存储与数据共享的需求，业内很多厂家集合了“SAN”“NAS”和“集群”概念的，推出了“集群NAS”。安防监控迈入云存储时代“集群NAS”的局限性业务系统业务系统业务系统3412近年来，业内厂家利用“集群NAS”技术来打造“云存储”产品，但它真正是“云”么？集群NAS交换节点存储节点存储节点存储节点存储节点交换节点管理节点LAN控制与存储数据均需要通过交换节点，交换节点可以集群部署，2-32个节点不等，但无法无限扩展。性能易出现瓶颈数据存储节点一般为数据“块”存储，利用RAID进行冗余存储。RAID重构时间在十几小时左右。期间若再有一块硬盘损坏，就无法恢复了。数据可靠性差

16、数据均需通过交换节点，对交换节点性能要求极高；存储节点采用RAID机制，对硬盘性能要求较高对设备依赖性强友商分析之海康 海康威视云存储系统是海康威视监控云平台和云存储系统的结合，其系统设计之初就融合了海康威视视频监控技术优势和自研的流媒体存储技术特点。它采用了基于流媒体的文件管理结构和Hadoop分布式文件系统（HDFS），对于构建针对视频流应用的监控云存储系统具有天然的应用优势。 具体的应用场景为：l视频监控：平安城市项目或大中型企业厂区视频监控；l网络电视节目：海量扩展，用于存放网络IPTV内容的数据；l高性能分析：公安视频业务应用数据，要求大量可访问的命名空间作分析和非常高的性能计算；I

17、PSANCVR(网络直存）云存储基于流媒体的文件管理结构和Hadoop分布式文件系统自主第二代流媒体直写技术 海康威视云存储系统是海康威视监控云平台和云存储系统的结合，其系统设计之初就融合了海康威视视频监控技术优势和自研的流媒体存储技术特点。它采用了基于流媒体的文件管理结构和Hadoop分布式文件系统（HDFS），对于构建针对视频流应用的监控云存储系统具有天然的应用优势。友商分析之海康友商分析之海康云存储管理服务器前端设备存储设备集群存储设备集群LAN 产品形态管理与存储分离管理节点（元数据节点）采用相互热备、负载均衡机制，同时工作。 强调自己是在开发一套符合视频监控特点（与时间强关联）的流式

18、云存储文件系统。云存储与云计算的基本数据单元应在格式、大小和标准上保持一致，减少云计算的系统消耗。融合快速索引引擎，可实现图片和视频I帧快速检索应用开发接口，例如录像标签、I帧回放和图片缩放海康的“云”产品海康习惯于在架构和接口制定完善的基础上，搭积木一样，组合成符合市场需求的可独立使用的产品或整个系统解决方案。海康的“云”，目前的产品为“云存储”与“视图库”，前者是分布式存储，后者是分布式检索。而上层监控平台和业务系统架构维持不变，可兼容各类“云”和“非云”的技术和产品。分布式数据库视图库监控平台业务系统普通存储云存储海康非常注重于实用功能。友商分析之海康 具体的应用场景为：l视频监控：平安

19、城市项目或大中型企业厂区视频监控；l网络电视节目：海量扩展，用于存放网络IPTV内容的数据；l高性能分析：公安视频业务应用数据，要求大量可访问的命名空间作分析和非常高的性能计算；宣传点为： 云存储产品作为独立的产品进行推进， 强调符合安防监控需求的，流式云存储文件系统， 竞争分析是与集群NAS作对比，强调其更适合安防监控需求。 友商分析之宇视 十分怀疑宇视是否有自己的独立的云存储产品，在任何可见的资料中，宇视均强调其“云”监控概念，弱化“云”存储概念。 近期推出的DM8500-E云存储管理服务器与原有的数据管理服务器无论是硬件规格还是产品型号均是相同的。这款DM8500-E和原来的数据管理服务

20、器相比，新增的特性有： 1、由双机热备升级为多级备份 2、具有全局统一命名空间 3、超级多媒体块的多备份 与原来的数据管理服务器相比，相同的特性有： 1、支持128个数据节点 2、业务功能集成，支持录放像相关的一系列功能的分配和管理功能，RTSP/ONVIF 3、存储接入要求iSCSI或NAS，需要存储设备端支持RAID5两种可能： 集群NAS（数据经过DM8500-E）基于原有的数据管理服务器做了统一命名空间的封装（数据不经过Dm8500-E）宇视的“云”产品宇视近年来的口号就为“云监控，易安防”，是业内最早提出云概念的厂家。宇视与海康的设计思路相反，强调的是“大数据” ，注重于“云监控”系

21、统的整体交付。宇视原来的系统架构忽悠的成分占多，今年展会上推出的第一个具有“云”特性的产品是其“云计算”产品。宇视的云计算产品硬件产品是2U的机箱设备，分为元服务器和计算节点进行集群。下图是宇视资料上发布的数据，大体上看就是UniHadoo Hadoop SQL（PS：感觉像卡口平台）宇视的“云”产品云计算产品友商分析之宇视 具体的应用场景为： 专门针对平安城市等对“大数据”“云”等关键词较敏感的应用场景，交付整体“云监控”解决方案。 宇视应该还没有其“云存储”产品，基于分布式检索的“云计算”产品，也应该还在酝酿之中。宣传点为： 云存储产品不作为独立的产品单独宣传 强调“云监控”整体交付友商对于“云”的理解分布式计算分布式存储分布式数据库虚拟化平台平台化程度海康以存储和检索为核心提供平台化方案宇视以云计算为核心提供平台化方案烽火以虚拟化为核心提供平台化方案博康不开放云计算平台，主要开发应用大华独立的云存储产品安防监控迈入云存储时代安防大数据时代科达云存储邀您一起，云中漫步