TMS320DM8168平台的智能网络视频监控的设计与实现课件.ppt

1、基于基于TMS320DM8168平台的智能网平台的智能网络视频监控的研究与实现络视频监控的研究与实现 内容结构安排内容结构安排l一、论文研究背景概述l二、本设计主要实现的功能l三、硬件平台的研究与设计l四、系统软件的研究与设计l五、应用软件的研究与设计l六、系统调试及实验结果l七、总结与展望一、论文研究背景概述一、论文研究背景概述l模拟视频监控l模拟监控系统优点：视频、音频信号的采集、传输、存储均为模拟形式，质量最高l模拟监控系统缺点：传输距离短、使用范围小、灵活性差、交换数据难一、论文研究背景概述一、论文研究背景概述l数字视频监控l数字视频监控的优点：灵活方便、标准规范，友好人机交互界面l数

2、字视频监控的缺点：通常只适合于小范围的区域监控 系统的扩展能力差，无法形成有效的报警联动 一、论文研究背景概述一、论文研究背景概述l网络视频监控l网络数字视频系统优点：利用现有的网络资源实现远程视频监控，系统扩展能力强，全数字化便于保存和检索l网络数字视频系统缺点：无法形成有效的报警联动 一、论文研究背景概述一、论文研究背景概述l智能视频监控l为什么要做智能视频监控呢？1、摄像头足够多，但是没有足够的工作人员去监管摄像头2、被动式的监控，在遇到紧急情况无法及时发出报警信息l如何实现智能视频监控呢？1、从硬件角度分析：高性能的处理器出现，为智能视频算法提供了可靠的运行平台2、从软件角度分析：计算

3、机视觉技术和人工智能技术的发展二、本设计主要实现的功能二、本设计主要实现的功能1、实现16 路D1视频采集、H.264压缩编码、存盘、读盘、H.264解码以及4x4多画面播放显示2、对每一路摄像头进行遮挡检测和动态场景检测，发出报警信息三、硬件平台的研究与设计三、硬件平台的研究与设计l视频采集芯片+FPGA+DSP处理器l优点：由于FPGA的可在线编程，可适性强，灵活性高l缺点：算法开发难度大，控制能力弱TMS320DM642音频采集视频采集FPGASDRAMFlash时钟电源复位电路PCI传输三、硬件平台的研究与设计三、硬件平台的研究与设计l视频采集芯片+DSP处理器+嵌入式处理器l系统的体

4、系结构将硬件划分为两大模块，即视频图像处理模块和系统控制模块。嵌入式处理器增强控制能力，DSP专用于视频算法处理。但是硬件设计复杂，可扩展性差三、硬件平台的研究与设计三、硬件平台的研究与设计l视频采集芯片+视频处理芯片+嵌入式处理器l缺点：视频算法处理单一，扩展性差SAA7114视频采集芯片EPM3061IME6400MPEG4编码芯片SDRAMMCF5307Flash MemorySDRAMLAN91C111以太网控制器RS-232RJ-45控制模块视频采集与压缩模块接口模块模拟视频输入三、硬件平台的研究与设计三、硬件平台的研究与设计l本设计采用视频采集芯片+SOC片上系统TMS320DM8

5、168内部结构框图HDVPSS子系统结构框图三、硬件平台的研究与设计三、硬件平台的研究与设计lHDVICP协处理器三、硬件平台的研究与设计三、硬件平台的研究与设计l视频采集模块框图TVP5158TVP5158TVP5158TVP5158TMS320DM8168VIN0_AVIN0_BVIN1_AVIN1_BI2CHDMI视频输出四路模拟视频输入四路模拟视频输入四路模拟视频输入四路模拟视频输入HD-DAC视频输出SD-DAC视频输出Off-Chip HDMI视频输出四、系统软件的研究与设计四、系统软件的研究与设计l系统软件设计方案的研究五、应用软件的研究与设计五、应用软件的研究与设计lDVRRD

6、K集成开发环境安装第五章：应用软件的研究与设计第五章：应用软件的研究与设计五、应用软件的研究与设计五、应用软件的研究与设计lSyslink/IPC处理器通信协议介绍五、应用软件的研究与设计五、应用软件的研究与设计lMailbox模块五、应用软件的研究与设计五、应用软件的研究与设计l Spinlock模块五、应用软件的研究与设计五、应用软件的研究与设计lLink组件介绍五、应用软件的研究与设计五、应用软件的研究与设计lIPC（Inter Processor Communication）Link组件在DVRRDK开发环境中Link之间通信存在3种模式：l1、Intra-processor link

7、s：即运行在同一处理器上Link之间的通信，使用简单有效的邮箱和队列通信机制，实现Link之间数据快速的交换。比如Capture Link和Display Link，单核实现视频采集和显示的功能。l2、Inter M3(Video/VPSS)links：即HDVPSS-M3和HDVICP-M3协处理器之间的通信，通过基于Notify机制的IPC ListMP实现，不需要任何cache设置和地址转换操作。例如实现Capture Link和Venc Link，双核协处理器实现视频编解码功能。l3、Inter processor(M3 to A8 or DSP)：即M3、ARM和DSP之间数据交换模

8、式，由于在M3和DSP上数据都存储在连续的物理地址空间，而ARM采用了内存管理机制，应用空间只能操作虚拟地址，所以在M3或者DSP与ARM通信时必须实现物理地址到虚拟地址之间的转换。例如实现视频压缩数据存储的功能，运行在HDVICP-M3处理器上的Venc Link同IPC Link将编码后的数据传递到ARM上，在ARM上实现数据硬盘的存储。五、应用软件的研究与设计五、应用软件的研究与设计lHDVPSS Link组件组件lCapture Link：实现视频采集的功能lCapture Link：实现视频采集的功能lDei Link：实现隔行扫描方式到逐行扫描方式的转化lNsf Link：实现对图

9、像的噪声滤波处理功能lSelect Link：实现从队列中选择指定通道的信息lSclr Link：实现图形的缩小和放大处理lMP_Sclr Link：实现任何分辨率图像大小的放缩lSwMs Link：实现4*4的显示布局，窗口和通道之间的映射关系lDisplay Link：实现图像和视频的显示功能lMerge Link：将多核输入队列整合成一个输出队列lDup Link：将一个输入通道完整复制成多个输出通道lIPC_OUT_M3 Link、IPC_IN_M3 Link、IPC_FRAME_OUT Link、IPC_FRAME_IN Link五、应用软件的研究与设计五、应用软件的研究与设计lHD

10、VICP Link组件组件lVenc Link：将视频图像帧数据编码压缩为视频流数据，在本系统中使用Venc Link完成16路D1视频数据H.264压缩，帧率与通道成反比关系，最大支持3路1080P60编码lVdec Link：实现视频图像解码功能，目前支持H.264、MPEG4以及MJPEG解码，最多可创建64个解码通道，在NVR应用中支持6路1080P30解码功能lIPC_BITS_OUT Link、IPC_BITS_IN Link、IPC_OUT_M3 Link、IPC_IN_M3 Link、IPC_FRAME_OUT Link、IPC_FRAME_IN Link五、应用软件的研究与设

11、计五、应用软件的研究与设计五、应用软件的研究与设计五、应用软件的研究与设计lARM Link组件组件lIPC_BITS_IN Link：实现从HDVICP-M3处理器获取视频图像编码数据进行硬盘存储和网络发送处理功能lIPC_BITS_OUT Link：通过IPC_BITS_OUT Link组件Cortex-A8 ARM将从网络接收到的视频流数据发送到HDVICP-M3处理器lIPC_FRAME_IN Link：实现 ARM处理器从HDVPSS-M3处理器获取采集后的视频图像数据，进行原始数据的存盘或发送处理lIPC_FRAME_OUT Link：通过IPC_FRAME_OUT Link组件将

12、YUV视频数据发送到HDVPSS-M3处理器显示或者发送到HDVICP-M3视频编解码处理器进行编码处理lARM处理器主要负责从HDVICP-M3处理器获取编码后的视频流数据并作存盘和网络发送处理五、应用软件的研究与设计五、应用软件的研究与设计lDSP视频分析程序的实现视频分析程序的实现1、TMS320DM8168芯片内部集成1GHz C674x浮点DSP处理器，为实现高性能的智能视频分析算法提供强大的处理引擎。2、本系统中在DSP处理器上通过运行SCD(Scene Change Detection)算法实现摄像头遮挡自动检测和动态场景自动检测功能。3、摄像头遮挡检测功能是通过基于帧的图像篡改

13、算法实现的，即是通计算断图像的质量和有效性判断摄像头是否被遮挡、覆盖或者断开等情况。4、动态场景检测功能是同基于块的动态场景检测，在算法中将一帧完整图像分割成若干个尺寸固定的小型Regions块，用户可以选择使用某一个Regions块来代表整帧图像的变化状态，经过对Region快处理之后判断摄像头周围场景是否发生变化五、应用软件的研究与设计五、应用软件的研究与设计l SCD算法处理流程图五、应用软件的研究与设计五、应用软件的研究与设计lChains链构建链构建l从软件角度分析，Link组件介于底层驱动与上层应用之间的中间成组件，虽然编程灵活性比较强，但是对于软件开发人员需要熟悉底层硬件以及相关

14、驱动程序，为程序开发提高了较高的难度。为了解决此问题在Link的基础之上进行了再次封装，即是MCFW层，为DVR和DVR需求开发减小了软件开发难度lChains是按照某种需求将各种Link组件连接而成的视频处理链。链有Link的APIs接口连接而成，不同的视频处理链实现不同的应用功能，链可以被打开也重建五、应用软件的研究与设计五、应用软件的研究与设计CAPTURE_DISPLAY_DUP IPC Frame OUTAlg Link(OSD)IPC Frame INNoise FilterDEIHDEIMERGE_DEI_SC_D1MERGE_VIP_SC_ SECONDARY_CIFMERGE

15、_VIP_SC_D1MERGE_D1_CIFIPC Frame IN(DSP)IPC Frame OUT(M3)AlgLink(SCD)DUP_CIF_LINKDUP_D1_LINKIPCBitsIn(A8)IPCBitsOut(M3)EncLinkIPCM3INIPCM3OUTIPCBitsOut(A8)IPCBitsIn(M3)DecLinkIPCM3INIPCM3OUTIPC CMD OUT(DSP)IPC CMD IN(A8)Warning(A8)LIVE_DECODE_METGELIVE_DECODE_DUPSWMS0SWMS1存盘On-CHip HDMIOff-Chip HDMI&

16、HD-DAcCapture(YUV422I)16 CH D1 60fps读盘SD-DAc8CH D116CH D18CH CIF16CH CIF8CH D116CH D116CH D1六、系统调试及实验结果六、系统调试及实验结果l硬件平台调试l软件系统调试六、系统调试及实验结果六、系统调试及实验结果l实验结果-HDMI显示4x4路视频六、系统调试及实验结果六、系统调试及实验结果lSCD算法测试结果第六章：系统调试及实验结果第六章：系统调试及实验结果lCPU利用率统计数据第七章：总结与展望第七章：总结与展望l论文总结l1、认真研究了TMS320DM8168的硬件开发平台，并进行了硬件调试，平台能

17、正常工作。l2、认真研究了DDR内存分配机制、多核通信机制，包括Mailbox/Spinlock硬件模块以及Syslink/IPC APIs接口函数l3、详细地研究Link组件的组成、接口函数、分类以及每个处理器上运行的Link组件和Chains链的搭建流程l4、在分析DSP算法开发流程基础之上，在TMS320DM8168平台的DSP处理器上移植SCD算法，实现16路动态场景检测和摄像头遮挡检测功能l5、对整个系统的功能、灵敏度和稳定性进行了测试统计和分析七、总结与展望七、总结与展望l前景展望l1、算法：除了摄像头遮挡检测和动态场景检测算法之外，用户可以按照开发基于C674x DSP的智能视频

18、分析算法，比如目标数量统计算法、虚拟警戒线算法等智能分析算法，实现传统的视频监控向无人监控的跨越和实现被动监控向主动监控的跨域。l2、开发环境：强大的硬件处理平台和复杂的DVRRDK开发环境，无形中提高了软件的开发难度。所以需要开发更加灵活适用的APIs接口函数，屏蔽底层与硬件相关的操作，减小应用程序的开发周期。l3、开发板面积：虽然EVM8168硬件开发板包含了丰富的外设接口，但是PCB板占用更大的空间，同时功耗较高。如果将开发板小型化和产品化，那么本系统将会非常完善，其商业价值也将大大提高。l4、系列芯片：虽然本系统是基于TMS320DM8168平台实现的DVR方案，但是用户可以根据不同的

19、需求采用TMS320DM8168同系列不同的方案，比如TMS320DM8127更适合做高清智能IP摄像头等视频监控前端设备，TMS320DM8148更适合汽车监控等低功耗设备。外审问题一外审问题一l智能体现在哪些方面？本系统有什么特点？如何完成系统升级？l答1：摄像头遮挡检测和动态场景检测l答2：采用最新型的TI达芬奇处理器TMS320DM8168，在普通的DVR监控中添加了智能检测算法l答3：网络自动升级或者本地人工升级外审问题二外审问题二l系统如何实现摄像头的遮挡检测？智能化程度如何？图像分辨路如何？l答1：见32页l答2：智能算法拥有每秒5帧的处理能力l答3：H.264压缩是D1分辨路，智能算法检测是CIF分辨率外审问题三外审问题三l设计平台能监控的地理范围有多大？答：若使用同轴电缆最大监控距离不超过1km，共16个监控点，具体每个摄像头的监控范围不太清楚Thank You！谢谢！谢谢！