视频智能检索系统课件.pptx

1、赞华公司视频智能检索系统议题 一 赞华公司简介及主要业务 二 视频监控智能识别系统介绍政府行业客户政府行业客户外交部、国家发改委、民政部、财政部、国土资源部、水利部、农业部、商务部、国家计生委海关总署、税务总局、质检总局、广电总局、安全监管总局、统计局、知识产权局、新闻办新华社、中科院、地震局、气象局信访局、海洋局、测绘信息局、民航局、文物局、食品药品监管局、外汇局、无线电管理委员会、农科院公司主要客户公司主要客户金融行业客户金融行业客户中国人民银行、国家开发银行、中国农业发展银行、中国银行、中国农业银行、中国工商银行、中国建设银行、交通银行、招商银行、民生银行、光大银行、中信银行、华夏银行、

2、广发银行、深发银行、浦发银行、兴业银行、北京银行、北京农村商业银行、山东农信、中国人寿、中国人保、养老保险、平安保险、新华人寿、中意人寿、华泰人寿、中航三星人寿、中美大都会人寿、英大人寿、摩根士丹利、瑞银集团、德意志银行、法国兴业银行、高盛高华、民族证券、中信信托、野村证券、工银瑞信政府行业客户政府行业客户系统集成项目系统集成项目公司公司主要业务主要业务犯罪逃逸犯罪逃逸我们有大量摄像头布下的天罗地网，我们有大量摄像头布下的天罗地网，面对犯罪逃逸、肇事车辆逃逸等社会问题面对犯罪逃逸、肇事车辆逃逸等社会问题却收效甚微？却收效甚微？我们希望能够从海量视频数据中自动找到目标！我们希望能够从海量视频数据

3、中自动找到目标！在在追查追查逃犯时，公安部门往往会调用案发地附近大量的逃犯时，公安部门往往会调用案发地附近大量的监摄像头的监控视频来搜索犯罪嫌疑人的线索。需要大监摄像头的监控视频来搜索犯罪嫌疑人的线索。需要大量的人员来人工排查监控视频。不仅效率低还很容易错量的人员来人工排查监控视频。不仅效率低还很容易错过嫌疑人段再出现的瞬间。即使发现了犯罪嫌疑人的面过嫌疑人段再出现的瞬间。即使发现了犯罪嫌疑人的面貌特征仍旧需要大量的警力来拿着照片走访，排查。使貌特征仍旧需要大量的警力来拿着照片走访，排查。使破案的效率大大降低，甚至延误、错失最佳的办案时机破案的效率大大降低，甚至延误、错失最佳的办案时机。智能视

4、频分析面临的挑战智能视频分析面临的挑战智能分析面临的智能分析面临的挑战挑战6智能分析智能分析 入侵检测入侵检测 遗留检测遗留检测 人流密度检测人流密度检测 事件检测事件检测 仅限于单个摄像头范围内仅限于单个摄像头范围内 过多的误报过多的误报 事后查找依靠人为播放事后查找依靠人为播放技术限制：技术限制：用于事前预警用于事前预警 无法跨摄像头区域联动报警无法跨摄像头区域联动报警 相关人疲于应付，消耗大量成本相关人疲于应付，消耗大量成本 时候查证缺乏快捷直观手段时候查证缺乏快捷直观手段应用中的问题：应用中的问题：事后调查困难，无事后调查困难，无主动检索主动检索误报太多误报太多无有效查询无有效查询无法

5、对黑名单之外的嫌疑人进行行动路径分析无法对黑名单之外的嫌疑人进行行动路径分析智能识别面临的挑战智能识别面临的挑战7智能识别智能识别 静态静态人脸识别人脸识别 动态人脸识别（布控）动态人脸识别（布控）任意物体识别任意物体识别 车牌识别（布控）车牌识别（布控）仅限于单个摄像头范围内仅限于单个摄像头范围内 大数据量（大数据量（10万库万库)下的下的 识别精度低，速度慢识别精度低，速度慢 对于环境要求高：人脸对于环境要求高：人脸80*80以上以上技术限制：技术限制：用于身份确认用于身份确认 无法跨摄像头区域联动追踪无法跨摄像头区域联动追踪 无法满足海量图像的查找要求无法满足海量图像的查找要求 无法在室

6、外监控环境中使用无法在室外监控环境中使用应用中的问题：应用中的问题：无法在室外摄像头无法在室外摄像头 环境使用环境使用无法跨海量摄像头无法跨海量摄像头 实时比对实时比对在海量数据集上无法在海量数据集上无法 保证精度和速度保证精度和速度赞华视频智能检索系统功能赞华视频智能检索系统功能人脸检索多线索检索车辆检索人脸检索特点人脸检索特点跨海量摄像头环境使用高速检索实时或准实时以及事后检索黑白名单设置进行身份认证一对一，一对多身份比对嫌疑人移动轨迹追踪随时查询，任意人物高速的实时人脸捕获高速的实时人脸捕获目标导入海量摄像头中的特定人物检索海量摄像头中的特定人物检索结果显示经过过滤后的结果精确地找出特定

7、人员出现过的各个时间地点的场景或图片精确地找出特定人员出现过的各个时间地点的场景或图片根据检索结果确定被检索人身份根据检索结果确定被检索人身份把摄像头捕获的图像中的人脸放入后台身份库中的档案进行查找，最终确定被检索人身份。身份身份一对一比对一对一比对一对一身份比对一对一身份比对验证结果失败验证结果失败验证验证结果成功结果成功黑白名单设置，及时预警黑白名单设置，及时预警提前设置黑名单或提前设置黑名单或白名单，并对黑名白名单，并对黑名单人员出现以及除单人员出现以及除白名单以外人员出白名单以外人员出现时做出报警提示现时做出报警提示发现黑名单人员发现黑名单人员系统警报，警灯警笛警报，邮件警报系统警报，

8、警灯警笛警报，邮件警报根据被查找人出现的摄像头位置，绘制出嫌疑人行踪轨迹地图根据被查找人出现的摄像头位置，绘制出嫌疑人行踪轨迹地图嫌疑人移动轨迹追踪嫌疑人移动轨迹追踪车辆追踪车辆追踪精确地找出特定车辆出现过的各个时间地点的场景或图片，类精确地找出特定车辆出现过的各个时间地点的场景或图片，类似的也可以绘制出车辆的活动轨迹及范围似的也可以绘制出车辆的活动轨迹及范围根据车辆颜色，拍照，车标品牌根据车辆颜色，拍照，车标品牌车牌检索车牌检索输入需要查找车辆的车牌在某区域范围搜索该车辆多线索检索多线索检索 时间 地点 行动轨迹 衣着（上衣、裤子、帽子、围巾、包）脸部特征人员 时间 地点 行动轨迹 车牌 品

9、牌 颜色 特征区域车辆视频数据的结构化和预处理视频数据的结构化和预处理对于非人脸特征进行多线索检索对于非人脸特征进行多线索检索形成各个图像块的特征描述形成各个图像块的特征描述特征块描述例（颜色）特征块描述例（颜色）特征数据库特征数据库特征抽取过程特征抽取过程n利用多种利用多种线索进行联合线索进行联合检索检索多线索检索过程多线索检索过程视频摘要：视频摘要：由计算机自动提取视频中的所有活动物体(人、车、动物等)，并以浓缩视频和快照的方式输出的过程。浓缩视频：浓缩视频：提取视频中活动物体，与背景融合拼接，生成一个包含所有活动物体的新视频，在同一视频画面展现不同时间点的活动物体的过程。浓缩视频比原视频

10、短得多，从而缩短查看视频的时间。快照：快照：活动物体在某些时间点的映像。可以是从原始视频中截取的某帧，或将活动物体与原始视频背景叠加合成的图片。每个活动物体一张快照，用户不用看原视频，只需快速浏览快照，即可快速发现视频中出现的可疑目标。快照快照 原视频原视频 浓缩视频浓缩视频 视频视频摘要摘要多线索检索多线索检索视频检索：视频检索：在视频摘要的基础上，由计算机进一步对活动物体进行分类和特征识别，按照颜色、形状、纹理、行为、出现时间等特征进行分类标注，建立特征索引，以供用户输入条件进行检索的过程。视频检索不用浏览全部活动物体，只需输入条件，即可搜索到需要的目标。跨摄像头跨摄像头检索检索针对视频及

11、图片大数据的超高速检索针对视频及图片大数据的超高速检索 事件检测过程事件检测过程摄像机及摄像机代理摄像机及摄像机代理服务节点用于服务节点用于解析摄像机的输入数据（来自摄像机或已有的视频数据）。解析摄像机的输入数据（来自摄像机或已有的视频数据）。分析结果传送到检索分析结果传送到检索服务节点并服务节点并存储到检索数据库中。图像存储到检索数据库中。图像/视频传送到用于视频数据库的存视频传送到用于视频数据库的存档档服务节点。服务节点。检索过程检索过程客户端如需视频检索，将直接访问检索客户端如需视频检索，将直接访问检索服务节点中服务节点中的检索数据库，而无需解析图像的检索数据库，而无需解析图像/视频数据

12、。视频数据。检索检索服务节点可服务节点可即时将检索结果发送到给客户端即时将检索结果发送到给客户端。回放过程回放过程 客户端如需回放视频检索结果，将直接从存档客户端如需回放视频检索结果，将直接从存档服务节点提取服务节点提取相关内容（图像相关内容（图像/视频数据）。视频数据）。客户端客户端存档存档服务节点服务节点检索检索服务节点服务节点高速高速检索检索网络网络判断判断重要度重要度摄像机及摄像机代理摄像机及摄像机代理服务节点服务节点摄像机摄像机n 在在在在1 1秒钟之内，从秒钟之内，从1 1亿件亿件的的图像中筛选相似特征图像的高速检索技术图像中筛选相似特征图像的高速检索技术n 仅用仅用50ms50m

13、s即可更新即可更新1 1张图像索引的数据库管理技术张图像索引的数据库管理技术高速检索的保障高速检索的保障通过采用分布式架构，支持城市大规模网络监控系统分布式存储和实时处理的网络架通过采用分布式架构，支持城市大规模网络监控系统分布式存储和实时处理的网络架构，在效率上大大领先于每次都需要导入的离线处理系统。采用实时分布式处理架构，构，在效率上大大领先于每次都需要导入的离线处理系统。采用实时分布式处理架构，基本可以做到无需等待，即时检索。基本可以做到无需等待，即时检索。在平安城市等领域应用建议在平安城市等领域应用建议调取视频调取视频线索发现线索发现身份确认身份确认追踪布控追踪布控案发案发通过智能检索

14、系统：通过智能检索系统：通过通过人脸人脸查找嫌疑查找嫌疑人人通过通过头发、帽子、头发、帽子、口罩、围巾、衣服颜口罩、围巾、衣服颜色色查找嫌疑人查找嫌疑人通过通过行进轨迹行进轨迹查找查找嫌疑人嫌疑人通过通过车辆外形，品车辆外形，品牌，车号牌，车号查找嫌疑车查找嫌疑车辆辆通过时间、地点限通过时间、地点限定查找范围定查找范围通过智通过智能检索能检索系统：系统：实时实时通通过联网过联网摄像头摄像头在在全城全城范围内范围内发现嫌发现嫌疑人、疑人、嫌疑车嫌疑车辆行踪辆行踪破案破案通过智通过智能检索能检索系统：系统：检索检索后后台的台的档档案库案库，锁定嫌锁定嫌疑人员疑人员车辆车辆典型应用典型应用重点重点关

15、卡，通道的排查。与后台逃犯库和黑名单对比，发现嫌疑人马关卡，通道的排查。与后台逃犯库和黑名单对比，发现嫌疑人马上报警上报警在在安全防范等级高的园区、单位设置白名单，一旦发现外来人员立刻安全防范等级高的园区、单位设置白名单，一旦发现外来人员立刻报警报警现场现场办案时用于对被排查人员的身份办案时用于对被排查人员的身份确认确认对对已掌握目标的嫌疑人进行定位，一旦在布控摄像头中出现就能够确已掌握目标的嫌疑人进行定位，一旦在布控摄像头中出现就能够确定他的位置定他的位置利用利用多线索检索多线索检索，筛选，筛选案发后嫌疑人的踪迹案发后嫌疑人的踪迹在在广场等人员密集场所进行走失人员查找广场等人员密集场所进行走失人员查找对对长视频进行浓缩发现有价值的长视频进行浓缩发现有价值的线索线索对对逃逸、失窃车辆在全网的监控中寻找逃逸、失窃车辆在全网的监控中寻找