计算机视觉教程(第3版)PPT第15章-场景解释课件.pptx

1、1对场景的解释是计算机视觉的高层目标计算机视觉有一个从2-D视觉感知向3-D场景理解的发展过程场景解释对视觉信息的表达和加工在理论和方法上都提出了新的要求场景解释是一个综合性的复杂工作，不仅要考虑每个步骤的具体技术手段，而且要考虑完成这个工作的计算机视觉系统结构，以及更基本的计算机视觉理论框架第15章场景解释2目 录 contents15.1线条图标记解释15.2体育比赛视频排序15.3计算机视觉系统模型15.4计算机视觉理论框架3线条图标记解释在线条图中对轮廓进行标记时的一些名词概念(1)刃边(2)翼边(3)折痕(4)痕迹(5)阴影轮廓标记4线条图标记解释三面角点目标，处于常规位置结构推理5

2、线条图标记解释结构推理6线条图标记解释已知2-D线条图中的一组边，要给每条边赋一个标记，以解释3-D的情况回朔标记法将边排成序列，以深度优先的方式生成通路，依次对每条边进行所有可能的标记，检验新标记与其他边标记的一致性，依次赋给所有边的标记都满足一致性，则得到一种标记结果 棱锥4个顶点分别用A，B，C，D表示回溯标记7线条图标记解释8体育比赛视频排序一般均有较强的结构性，环境常是特定的总有一些高潮事件，最得到关注的瞬间比赛中有许多不定因素，事件发生的时间位置不能事先确定，所以比赛中无法控制视频生成过程有关特殊事件的精彩镜头是一大看点，常对应特定的场景画面使用先验知识对精彩事件进行定义检测体育比

3、赛视频的特点9体育比赛视频排序比赛事件、发球事件、场间休息、观众和重放将节目中的镜头根据场景进行非监督聚类比赛节目的结构10体育比赛视频排序 基于客观指标 运动员检测 球桌检测 球检测 运动员跟踪 乒乓球跟踪目标检测和跟踪11体育比赛视频排序 (1)基本层的排序球运动的平均速度连续两次击球间球运动的平均距离运动员连续两次击球间运动的平均距离精彩度判定和排序12体育比赛视频排序 (2)品质层的排序运动员移动的激烈程度球轨迹的品质击球的变化精彩度判定和排序13计算机视觉系统模型 将图像理解过程看作是一个信息加工过程，具有确定的输入和输出，因而将图像理解系统组织成一系列分别处于不同层次的模块并以串行

4、方式结合起来，每个模块（在其他模块的协同配合下）按顺序执行一些特定的工作，从而逐步完成预定的视觉任务由底向上的处理，比较通用，但不一定总有效由顶向下的处理，在约束充分时效率会比较高，反之则不实用多层次串行结构14计算机视觉系统模型15计算机视觉系统模型 可以看作是一种类比于人类视觉系统的结构。它的特点是以知识为中心，系统整体不分层，信号在各个模块及知识库中多次进行交换处理以知识库为中心的辐射结构16计算机视觉系统模型 是一种模块分类方式，它根据对知识的不同表达类型进行组织它将对目标的描述分别在4个不同的抽象层次(1)广义图像（采集结果）(2)分割图像（有意义目标）(3)几何结构（表示、特征）(

5、4)关系结构（符号、推理）以知识库为根的树结构17计算机视觉系统模型18计算机视觉系统模型将整个系统分成多个模块，各有确定的输入和输出，且互相配合交叉，比较灵活一个图，其中每个结点代表一个加工过程或加工任务，而结点间的连接则反映了信息的流动和过程的联系本书的整体框架，即本书所采用的计算机视觉系统框架是对上述多模块交叉配合结构的系统框图根据教学需求经过调整而得到的多模块交叉配合结构19计算机视觉系统模型20计算机视觉理论框架1.视觉是一个复杂的信息加工过程要解决两个问题。一个是视觉信息的表达问题，另一个是视觉信息的加工问题2.视觉信息加工的三个要素马尔视觉计算理论21计算机视觉理论框架2.视觉信

6、息加工的三个要素一个任务要用计算机完成，它应该是可以被计算的。这就是可计算性问题，需要用计算理论来回答有了计算理论后，还必须要有算法实现，为此需要给加工所操作的实体选择一种合适的表达有了表达和算法，在物理上如何实现算法也是必不可少的。特别是随着对实时性要求的不断提高，专用的硬件实现问题常常被提出来马尔视觉计算理论22计算机视觉理论框架2.视觉信息加工的三个要素上述三个要素之间有一定的逻辑因果联系，但并无绝对的依赖关系箭头正向表示带有指导的含义，反过来则有作为基础的含义马尔视觉计算理论23计算机视觉理论框架3.视觉信息的三级内部表达(1)基素表达一种2-D表达，它是图像特征的集合(2)2.5-D

7、表达完全为适应计算机的运算功能而提出马尔视觉计算理论24计算机视觉理论框架3.视觉信息的三级内部表达(3)3-D表达以物体为中心（也包括了物体的不可见部分） 的表达形式马尔视觉计算理论25计算机视觉理论框架如何由原始图的像素表达出发，通过基素表达和2.5-D表达，最后得到3-D表达马尔视觉计算理论26计算机视觉理论框架4.视觉信息处理按照功能模块形式组织视觉信息系统应该包括许多模块，每个模块获取某一特定的视觉线索，进行一定的加工5.计算理论形式化表示必须考虑约束条件约束条件一般是借助先验知识获得的，利用约束条件可改变病态问题马尔视觉计算理论27计算机视觉理论框架马尔的理论也有其不足之处：(1)

8、框架中输入是被动的，给什么图像，系统就处理什么图像(2)框架中加工目的不变，总是恢复场景中物体的位置和形状等(3)框架缺乏或者说未足够重视高层知识的指导作用(4)整个框架中信息加工过程基本自下而上，单向流动，没有反馈28计算机视觉理论框架对马尔理论框架4个方面的改进：(1)主动视觉(2)有目的视觉(3)高层知识(4)反馈控制29计算机视觉理论框架(1)从图像特征中提取那些相对于观察方向在大范围内保持不变的分组和结构(2)利用概率排队的方法减小搜索空间(3)使3-D模型的投影直接与图像特征相匹配基于知识的理论框架30计算机视觉理论框架(1)选择注意机制(2)注视控制主动视觉理论框架31计算机视觉理论框架人类视觉系统是相当通用的计算机视觉系统。计算机视觉研究的一个重要目标就是要建立能完成各种视觉任务的通用系统计算机视觉是一个牵涉人类智能的问题。对于许多看起来非常简单的人类智能是否可能在计算机上复现，至今还没有定论这是一个值得研究和有所作为的领域，有着光明的前景，让我们一起努力吧!计算机视觉的最终目标