长春市视频监控与卡口信息系统-视频图像信息数据库系统平台课件.ppt

1、平台介绍 视频图像信息库（视图库）是针对海量结构化与非结构化数据采集、存储、管理与共享为一体的管理支撑系统，视图库主要解决的是视频片段、图片、文档的高效存储，以及视频图像相关结构化数据的高效存储与检索。主要支撑技术有Hadoop、HBase、Zookeeper、Solr等，通过这些技术的整合，构建起能承载高并发的数据接入、处理、存储的专用于视频图像数据的管理系统，通过标准服务接口支撑上层业务系统开展各项业务。卡口数据包含过车信息、过车图片，并且数据并发量大，数据总量也非常大，一般的业务系统只保存最近三个月的卡口数据，并且在海量数据的分析处理能力上效率较低，用户体验很差，所以视图库就专门针对卡口

2、的数据接入、存储、检索、分析进行了优化调整，提升卡口数据分析统计的用户体验。整个视图库包括数据了数据采集、数据存储、数据整合、共享应用等模块。视图库的技术架构主要分为基础环境、存储、应用、接口这四层，各层依次对上层进行支撑。l 视图库服务器 视图库服务器部署平台的管理、共享应用，用于负责平台的管理、配置和访问的控制，对外提供标准的采集、共享接口等功能。l 全文检索服务器 全文检索服务器用于部署索引生成、索引更新维护、索引查询等功能，采用集群的方式部署，更好的为上层提供数据支撑。数据采集 负载均衡 数据接入数据管理 数据存储 数据整合共享服务 流量统计 频度研判 初次入城 区域碰撞 行车轨迹 跟

3、车研判全文检索 索引生成 索引检索平台管理 安全认证 状态监控 数据清理 基础管理 负载均衡 卡警服务器在上传卡口过车记录之前，需要通过负载均衡获取最优节点，然后调用最优节点的数据接入服务进行数据上载。数据接入 视图库提供基于Rest与WebService的数据接入接口，卡警服务器程序可以调用服务接口进行数据上传，数据接入模块会将数据先写入到数据库中，之后发给全文检索，全文检索系统构建索引。数据存储 平台的数据主要包括配置管理数据、卡口过车记录这两大类数据，因为配置管理数据是用于平台正常运行的基础数据，采用开源的数据库PostgreSQL来进行存储。卡口过车记录因为数据量较大，又需要用于进行分

4、析统计，所以采用HBase来进行数据的存储，根据不同的分析需求构建不同的分析统计模型。数据整合 视图库接入的卡口过车数据，在进行保存后，还需要根据不同的分析统计功能数据模型进行整合，将新的数据有效的反映到相关模型中，对分析统计的及时、准备、有效提供数据支撑。车流量统计 分析某个卡口在某段时间范围内的过车统计数据，可以以小时、天、周单位进行分析。频度研判 分析车辆在某一时段内，通过某路口的频度(通过次数)，如果频度过高，则车辆可被重点关注，以防止车辆在某一地点进行作案。初次入城 “入城”指的是车辆经过车道配置为“入城”的路口，“初次入城”指的是车辆在某次入城之前30天内未“入城”。区域碰撞 区域

5、碰撞分析是对不同区域内的车辆进行分析，取各个区域分析结果的车牌交集。行车轨迹 行车轨迹分析是查询指定车辆的行车路线，即查车辆在指定时间段内所经过的所有路口。跟车研判 跟车研判是指选定某一指定车辆，分析在此车辆跟车间隔前后且经过同一路口的车辆记录。索引生成 视图库支持索引实时生成、定时生成，实时生成对性能要求较高，定时生成则可以在服务器压力较小的时间段内进行，更好的平衡服务器的性能。索引检索 视图库的全文检索引擎采用成熟稳定高效的Solr来构建，支持以分布式的模型进行全文检索构建，加上Solr本身高效的检索算法，使得视图库可以实现对海量数据的快速检索。安全认证 视图库对数据的接入及共享都采用安全

6、认证机制，有效的保障服务接口及数据的安全，支持对用户、角色基本信息进行管理，控制用户角色的访问操作权限，保障数据的访问使用安全。状态监控 视图库提供基础的硬件资源监控，包括各个节点的CPU使用率、内存、存储空间等信息，同时也提供视图库运行所需的各种服务的监控，让管理员更好的把握系统的运行情况，及时作出调整优化。数据清理 因为存储的空间是有限的，不可能无限制增长，所以提供数据清理功能，让用户可以清除某个时间点以前的所有数据，有效的保障存储资源的利用，让视图库始终处于正常运行状态。基础管理 视图库的提供基础管理功能，比如常见的日志浏览、字典管理等基础运行管理功能。核心技术SolrHDFSSOAJ2

7、EEHBASE 视图库平台基于J2EE技术框架，采用SOA面向服务的软件架构，结合中间件、构架和构件、HBase及HDFS等主流技术进行开发。先进的技术架构带来良好的健壮性，保证系统具备海量接入和大并发量访问的能力。应用集群 KMSWeb1 KMSWeb2 Zoo Keeper集群 Zoo Keeper1 HBase集群 Hmaster HRegionServer HDFS集群 NameNode DataNode Solr集群 Solr1 Solr2 视图库平台提供了类似于百度搜索的全文检索功能，可从海量过车数据中查询出符合条件的结果数据，并将匹配的内容加红突出显示。全文检索具备了亿级数据的秒

8、级检索能力，满足卡口等大数据应用的需要。视图库针对卡口过车记录，定制了各种分析统计功能，基于先进的HBase技术进行构建，采用不同维度来构建各种数据分析模型，快速的支持数据分析统计，极大的提供用户的使用体验，提升海量数据的使用价值。频度统计算法模型 初次入城算法模型 过车记录表格和索引模型 平台遵循易用原则，操作界面友好，具有易懂的提示信息，同时提供丰富的操作快捷键，并支持健全的用户验证机制，提高平台访问安全性。此外平台还支持完善配置功能，实现系统配置管理的便捷化，对接口服务的设计采用简化原则，并通过接口使用文档，让接口的使用十分简单。支持主流操作系统 支持主流Web中间件 支持主流数据库 兼

9、容国内外众多厂商的设备项目项目配置配置部署模块及软件部署模块及软件数量数量部署模式部署模式视图库服务器视图库服务器CPU：2*8核处理器内存：32GB DDR内存硬盘：4*2TB SATA系统：Linux 64位管理系统共享系统WEB应用中间件PostgreSQLHBaseHDFS15集群全文检索服务器全文检索服务器CPU：2*8核处理器内存：32GB DDR内存硬盘：4*2TB SATA系统：Linux 64位全文检索WEB应用中间件4集群名称名称主要参数主要参数数量数量备注备注数据库数据库1开源产品HBase1开源产品Hadoop1开源产品全文检索全文检索Linux操作系统，支持集群，支持索引生成、索引检索、支持节点状态监控管理。1开源产品视图库管理系统视图库管理系统Linux操作系统，支持集群，提供数据采集、数据存储、数据整合、系统管理等功能。1商业产品视图库共享系统视图库共享系统Linux操作系统，提供各种分析统计、查询检索共享接口。1商业产品WEB应用中间件应用中间件Linux操作系统，主流高性能应用中间件。1开源产品谢谢观看