镜头边界检测课件.ppt

1、镜头边界检测（SBD）摘要 本文要做的内容：1.在模式识别角度提出了普遍适用的结构框架2.回顾现存的检测方法3.提出了一个基于图像分割模型的SBD系统关键字：架构，图像分割模型，多分辨率分析，镜头边界检测，支持向量机I.简介 镜头边界的概念 一个镜头(shot)是相机的一次连续拍摄，代表的是时间和空 间上一组连续的动作,是一系列相互关联的连续帧的组合。镜头边界分为两类：切换和渐变 渐变又分为：溶解、换扫、淡入、淡出l现阶段主要研究为渐变检测l现阶段研究镜头边界检测存在的主要问题：1.现阶段的研究跟不上镜头边界检测技术的需求2.现阶段许多方法的效果没有统一的评价标准I.简介 文章的主要内容1.T

2、he Section II：SBD架构2.The Section III：对现有SDB技术的分析3.The Section IV：提出了一个基于图像分割模型的SBD系统4.The Section V：基于实验平台TRECVID的实验检测提出系统的有效性5.The Section VI：总结与展望I.简介II.SBD架构A.镜头边界检测（SBD）即从视频中分割成一些连续的镜头。主要包括3个核心部分 1.可视内容的描述 2.可视内容的连续性评估 3.连续值的分类II.SBD架构 可视内容的描述可视内容的描述需要两点：不变性和灵敏性不变性指：当内容变化时存在特征是不变的（镜头切换除外）如，镜头的旋转

3、灵敏性：反映捕获可视内容细节的能力内容越粗糙不变性越强，细节越多灵敏性越强II.SBD架构连续信号的结构 本文将视频码流转化为一维连续信号分析，理想情况下，在相同镜头下码流保持很大的值而当镜头切换时，码流会衰减到很小。而实际情况下不仅要考虑帧间的变化 还要考虑相邻帧的变化。II.SBD架构连续值的分辨 通过建立分辨连续性的数学模型，产生自适应的分辨器，设立阈值完成镜头边界检测。II.SBD架构B.架构中存在的主要问题1.渐变镜头的检测2.突变光变化的干扰3.大对象/摄像机运动的干扰III.现有SBD技术的分析A.基于可是内容描述的方法1.基于像素的方法 优点：简单，灵敏性强 缺点：对于局部和整

4、体的运动敏感 改进：色柱状图法，块匹配法2.基于边缘变化率法 优点：对于光线改变引起的变化不敏感 缺点：繁琐，计算量大III.现有SBD技术的分析B.基于信号连续性结构的方法1.成对比较法：将帧成对比较 优点：简便 缺点：对噪声敏感 改进：二阶差分2.上下相关法：比较时考虑其他前关的帧，提取出相似信息，在进行帧索引。此方法提取特征信息是关键，现有算法还不理想。III.现有SBD技术的分析C.基于分类的方法1.规则分辨器法：选取阈值对帧进行分辨，采用自适应阈值好于全局阈值2.机器学习法：分为区别分辨器和进化分辨器，关键在于如何构造分辨器的特征和如何获取一个合适的训练III.现有SBD技术的分析D

5、.渐变镜头检测的方法1.淡入和淡出：这时两个镜头之间以黑白帧隔开，通过寻找黑白帧从而分来两个镜头。2.换扫：两个镜头通过换扫转换时，存在“时空片”使两部分的内容同时存在时空片上，通过寻找时空片将而分开两个镜头。3.溶解：（1）基于给定溶解类型，通过判断帧是不是符合溶解类型找出溶解帧，从而分辨两个镜头；（2）再溶解开始时，像素的强度在溶解达到中间时最小。通过找像素曲线的最小值 找到溶解帧，从而分辨两个镜头。4渐变的一般方法：双比较法，如基于自适应运动阈值的有限状态机法；多分辨率分析法：高分辨率对应低阈值，低分辨率对应高阈值。IV.基于图像分割模型的SBD系统A.图像分割模型IV.基于图像分割模型

6、的SBD系统A.图像分割模型IV.基于图像分割模型的SBD系统B.支持向量机的主动学习IV.基于图像分割模型的SBD系统C.时域多分辨率分析IV.基于图像分割模型的SBD系统C.时域多分辨率分析IV.基于图像分割模型的SBD系统D.整个系统的构建V.基于TRECVID实验A.实验条件V.基于TRECVID实验B.结果的比较V.基于TRECVID实验B.结果的比较V.基于TRECVID实验B.结果的比较V.基于TRECVID实验B.结果的比较VI.总结及展望l文章总结1.提出了普遍适用的SBD架构2.对现有SDB技术的分析3.提出了一个基于图像分割模型的SBD系统4.基于实验平台TRECVID的实验检测提出系统的有效性 展望1.与CBIR(content-based image retrieval)等问题在方法上有通用性2.镜头分割通过将三维的信号转化成一维信号，在信号分割和图像分割方面有相似的应用。3.机器学习法在解决问题上较其他方法有优越性，在SBD中的应用还有待研究。谢谢