图像特征与理解教学课件.ppt

1、 图像特征与理解 1 图像的几何特征图像的几何特征 2 形状特征形状特征 3 纹理分析纹理分析 4 其他特征或描述其他特征或描述 11 图像的几何特征图像的几何特征 图像的几何特征尽管比较直观和简单，但在许多图像分析问题中起着十分重要的作用。提取图像的几何特征之前，常对图像进行分割和二值化处理，即处理成只有0和1两种值的黑白图像。在图像分析和计算机视觉系统中，二值图像及其几何特征特别有用，可用来分类、检验、定位、轨迹跟踪等任务。下面介绍常用的一些几何特征。2图6-1 物体位置由质心表示 1.1 位置与方向位置与方向 1.位置位置 yxO(xi,yj)3 图像中的物体通常并不是一个点，因此，用物

2、体的面积的中心点作为物体的位置。面积中心就是单位面积质量恒定的相同形状图形的质心O（见图6-1）。因二值图像质量分布是均匀的，故质心和形心重合。若图像中的物体对应的像素位置坐标为(xi,yj)(i=0,1,n1；j=0,1,m1)，则可用下式计算质心位置坐标：101010101,1mjjnimjiniymnyxmnx(6-1)42.方向方向 我们不仅需要知道图像中物体的位置，而且还要知道物体在图像中的方向。确定物体的方向有一定难度。如果物体是细长的，则可以把较长方向的轴定为物体的方向。如图6-2所示，通常，将最小二阶矩轴（最小惯量轴在二维平面上的等效轴）定义为较长物体的方向。也就是说，要找出一

3、条直线，使下式定义的E值最小：dydxyxfrE),(2式中，r是点（x,y）到直线的垂直距离。(6-2)5图6-2 物体方向可由最小惯量轴定义 61.2 周长周长 区域的周长即区域的边界长度。一个形状简单的物体用相对较短的周长来包围它所占有面积内的像素，周长就是围绕所有这些像素的外边界的长度。通常，测量这个长度时包含了许多90的转弯，从而夸大了周长值。区域的周长在区别具有简单或复杂形状物体时特别有用。由于周长的表示方法不同，因而计算方法也不同，常用的简便方法如下：7 (1)当把图像中的像素看作单位面积小方块时，则图像中的区域和背景均由小方块组成。区域的周长即为区域和背景缝隙的长度和，此时边界

4、用隙码表示。因此，求周长就是计算隙码的长度。(2)当把像素看作一个个点时，则周长用链码表示，求周长也即计算链码长度。周长也可以简单地从物体分块文件中通过计算边界上相邻像素的中心距离的和得到。(3)周长用边界所占面积表示，也即边界点数之和，每个点占面积为1的一个小方块。81.3 面积面积 面积是物体的总尺寸的一个方便的度量。面积只与该物体的边界有关，而与其内部灰度级的变化无关。一个形状简单的物体可用相对较短的周长来包围它所占有的面积。1.像素计数面积像素计数面积 最简单的(未校准的)面积计算方法是统计边界内部(也包括边界上)的像素的数目。在这个定义下面积的计算非常简单，求出域边界内像素点的总和即

5、可，计算公式如下：MyNxyxfA11),(对二值图像而言，若用1表示物体，用0表示背景，其面积就是统计f(x,y)=1的个数。(6-3)92.由边界行程码或链码计算面积由边界行程码或链码计算面积3.用边界坐标计算面积用边界坐标计算面积 Green（格林）定理表明，在x-y平面中的一个封闭曲线包围的面积由其轮廓积分给定，即)(21ydxxdyA(6-4)其中，积分沿着该闭合曲线进行。将其离散化，式（6-4）变为 bbNiiiiiNiiiiiiiyxyxxxyyyxA11111121)()(21(6-5)式中，Nb为边界点的数目。101.4 长轴和短轴长轴和短轴 当物体的边界已知时，用其外接矩形

6、的尺寸来刻画它的基本形状是最简单的方法，如图6-3(a)所示。求物体在坐标系方向上的外接矩形，只需计算物体边界点的最大和最小坐标值，就可得到物体的水平和垂直跨度。但是，对任意朝向的物体，水平和垂直并非是我们感兴趣的方向。这时，就有必要确定物体的主轴，然后计算反映物体形状特征的主轴方向上的长度和与之垂直方向上的宽度，这样的外接矩形是物体的最小外接矩形（Minimum Enclosing Rectangle，MER）。11 计算MER的一种方法是，将物体的边界以每次3左右的增量在90范围内旋转。每旋转一次记录一次其坐标系方向上的外接矩形边界点的最大和最小x、y值。旋转到某一个角度后，外接矩形的面积

7、达到最小。取面积最小的外接矩形的参数为主轴意义下的长度和宽度，如图6-3(b)所示。此外，主轴可以通过矩（Moments）的计算得到，也可以用求物体的最佳拟合直线的方法求出。12图6-3 MER法求物体的长轴和短轴（a）坐标系方向上的外接矩形；（b）旋转物体使外接矩形最小 外接矩形最小外接矩形xyxyO(a)(b)O131.5 距离距离 图像中两点P(x,y)和Q(u,v)之间的距离是重要的几何性质，常用如下三种方法测量：（1）欧几里德距离：22)()(),(vyuxQPde(6-6)（2）市区距离：|),(4vyuxQPd(6-7)14（3）棋盘距离：|)|,max(|),(8vyuxQPd

8、(6-8)显然，以P为起点的市区距离小于等于t（t=1,2,）的点形成以P为中心的菱形。图6-4(a)为t2时用点的距离表示的这些点。可见，d4(P,Q)是从P到Q最短的4路径的长度。同样，以P为起点的棋盘距离小于等于t(t=1,2,)的点形成以P为中心的正方形。例如，当t2，用点的距离表示这些点时，如图6-4（b）所示。同样由图可见，d8(P,Q)是从P到Q最短的8路径的长度。15图6-4 两种距离表示法（a）d4(P,Q)2;(b)d8(P,Q)2 d4、d8计算简便，且为正整数，因此常用来测距离，而欧几里德距离很少被采用。221221012212222222211122101221112

9、22222(a)(b)162 形形 状状 特特 征征 2.1 矩形度矩形度 矩形度反映物体对其外接矩形的充满程度，用物体的面积与其最小外接矩形的面积之比来描述，即 MEROAAR(6-9)式中，AO是该物体的面积，而AMER是MER的面积。R的值在01之间，当物体为矩形时，R取得最大值1.0；圆形物体的R取值为/4；细长的、弯曲的物体的R的取值变小。17另外一个与形状有关的特征是长宽比r：MERMERLWr(6-10)r即为MER宽与长的比值。利用r可以将细长的物体与圆形或方形的物体区分开来。182.2 圆形度圆形度 1.致密度致密度C 度量圆形度最常用的是致密度，即周长(P)的平方与面积(A

10、)的比:APC2（6-11）19 2.边界能量边界能量E 边界能量是圆形度的另一个指标。假定物体的周长为P，用变量p表示边界上的点到某一起始点的距离。边界上任一点都有一个瞬时曲率半径r(p)，它是该点与边界相切圆的半径(见图6-5)。p点的曲率函数是)(1)(prpK 函数K(p)是周期为P的周期函数。可用下式计算单位边界长度的平均能量：pdppKPE02|)(|1在面积相同的条件下，圆具有最小边界能量E0(2P)2=(1R)2，其中R为圆的半径。曲率可以很容易地由链码算出，因而边界能量也可方便算出。（6-13）（6-12）20图6-5 曲率半径21 3.圆形性圆形性 圆形性（Circular

11、ity）C是一个用区域R的所有边界点定义的特征量，即RRC（6-14）式中,R是从区域重心到边界点的平均距离，R是从区域重心到边界点的距离均方差：21010|),(),(|1|),(),(|1RKkkkRKkkkRyxyxKyxyxK（6-15）（6-16）当区域R趋向圆形时，特征量C是单调递增且趋向无穷的，它不受区域平移、旋转和尺度变化的影响，可以推广用于描述三维目标。22 4.面积与平均距离平方的比值面积与平均距离平方的比值 圆形度的第四个指标利用了从边界上的点到物体内部某点的平均距离d，即 NiixNd11(6-17)式中，xi是从具有N个点的物体中的第i个点到与其最近的边界点的距离。相

12、应的形状度量为 NiixNdAg13(6-18)232.3 球状性球状性 球状性(Sphericity)S既可以描述二维目标也可以描述三维目标，其定义为 cirrS（6-19）在二维情况下，ri代表区域内切圆(Inscribed circle)的半径，而rc代表区域外接圆(Circumscribed circle)的半径，两个圆的圆心都在区域的重心上，如图6-6所示。当区域为圆时,球状性的值S达到最大值1.0，而当区域为其他形状时，则有S1.0。S不受区域平移、旋转和尺度变化的影响。24图6-6 球状性定义示意图ri重心rc252.4 不变矩不变矩 1.矩的定义矩的定义对于二元有界函数f(x,

13、y)，它的(j+k)阶矩为,2,1,0,),(kjdxdyyxfyxMkjjk（6-20）由于j和k可取所有的非负整数值，因此形成了一个矩的无限集。而且，这个集合完全可以确定函数f(x，y)本身。换句话说，集合Mjk 对于函数f(x，y)是惟一的，也只有f(x，y)才具有这种特定的矩集。26 为了描述物体的形状，假设f(x，y)的目标物体取值为1，背景为0，即函数只反映了物体的形状而忽略其内部的灰度级细节。参数jk称为矩的阶。特别地，零阶矩是物体的面积，即dxdyyxfM),(00(6-21)对二维离散函数f(x，y)，零阶矩可表示为 MyNxyxfM1100),(6-22)所有的一阶矩和高阶

14、矩除以M00后，与物体的大小无关。27 2.质心坐标与中心矩质心坐标与中心矩 当j=1,k=0时，M10对二值图像来讲就是物体上所有点的x坐标的总和，类似地，M01就是物体上所有点的y坐标的总和，所以 00010010,MMyMMx就是二值图像中一个物体的质心的坐标。为了获得矩的不变特征，往往采用中心矩以及归一化的中心矩。中心矩的定义为 MykjNxjkyxfyyxxM11),()()(6-23)(6-24)283.主轴主轴使二阶中心矩从11变得最小的旋转角可以由下式得出：02201122tan(6-25)将x、y轴分别旋转角得坐标轴x、y，称为该物体的主轴。式9-28中在为90时的不确定性可

15、以通过如下条件限定解决：0,300220 如果物体在计算矩之前旋转角，或相对于x、y轴计算矩，那么矩具有旋转不变性。29 4.不变矩不变矩 相对于主轴计算并用面积归一化的中心矩，在物体放大、平移、旋转时保持不变。只有三阶或更高阶的矩经过这样的规一化后不能保持不变性。对于j+k 2,3,4的高阶矩，可以定义归一化的中心矩为 12,)(00kjrMMrjkjk 利用归一化的中心矩，可以获得六个不变矩组合，这些组合对于平移、旋转、尺度等变换都是不变的，它们是：(6-26)30)(4)()()(3)()(3()(3)()(3()()()3()3(4)(2103213011203212123002206

16、2301222103213021032032121230120312305221032123042210321230321120220202201hhhhhh(6-27a)(6-27b)(6-27c)(6-27d)(6-27e)(6-27f)31 不变矩及其组合具备了好的形状特征应具有的某些性质，已经用于印刷体字符的识别、飞机形状区分、景物匹配和染色体分析中，但它们并不能确保在任意情况下都具有这些性质。一个物体形体的惟一性体现在一个矩的无限集中，因此，要区别相似的形体需要一个很大的特征集。这样所产生的高维分类器对噪声和类内变化十分敏感。在某些情况下，几个阶数相对较低的矩可以反映一个物体的显著形

17、状特征。322.5 偏心率偏心率 偏心率(Eccentricity)E也可叫伸长度(Elongation)，它在一定程度上描述了区域的紧凑性。偏心率E有多种计算公式,一种常用的简单方法是区域主轴（长轴）长度(A)与辅轴（短轴）长度(B)的比值，如图6-7所示。图中，主轴与辅轴相互垂直，且其长度是两方向的最大值。不过这样的计算受物体形状和噪声的影响比较大。另一种方法是计算惯性主轴比，它基于边界线上的点或整个区域来计算质量。Tenebaum提出了计算任意点集偏心度的近似公式，步骤如下：33图6-7 偏心率度量：A/B34（1）计算平均向量:NiiNiiyNyxNx11001,1(6-28)（2）计

18、算jk阶中心矩:kiNiNijijkyyxxM)()(0110(6-29)（3）计算方向角:22tan210220111NMMM（4）计算偏心度的近似值:AMMME11202204)(6-30)(6-31)352.6 形状描述子形状描述子 1.边界链码边界链码 链码是对边界点的一种编码表示方法，其特点是利用一系列具有特定长度和方向的相连的直线段来表示目标的边界。因为每个线段的长度固定而方向数目有限，所以只有边界的起点需要用绝对坐标表示，其余点都可只用接续方向来代表偏移量。由于表示一个方向数比表示一个坐标值所需比特数少，而且对每一个点又只需一个方向数就可以代替两个坐标值，因此链码表达可大大减少边

19、界表示所需的数据量。数字图像一般是按固定间距的网格采集的，因此最简单的链码是跟踪边界并赋给每两个相邻像素的连线一个方向值。常用的有4方向和8方向链码，其方向定义分别如图6-8(a)、(b)所示。它们的共同特点是直线段的长度固定，方向数有限。36图6-8 码值与方向对应关系(a)4方向链码；(b)8方向链码；(c)边界编码图形 0123012345670(a)(b)(c)37 对图6-9(c)所示边界，若设起始点O的坐标为（5，5），则分别用如下4方向和8方向链码表示区域边界：4方向链码：（5，5）1 1 1 2 3 2 3 2 3 0 0；8方向链码：（5，5）2 2 2 4 5 5 6 0

20、0。实际中直接对分割所得的目标边界进行编码有可能出现两个问题：一是码串比较长；二是噪声等干扰会导致小的边界变化从而使链码发生与目标整体形状无关的较大变动。常用的改进方法是对原边界以较大的网格重新采样，并把与原边界点最接近的大网格点定为新的边界点。这种方法也可用于消除目标尺度变化链码的影响。38 使用链码时，起点的选择常是很关键的。对同一个边界，如用不同的边界点作为链码的起点，得到的链码则是不同的。为解决这个问题可把链码归一化，下面介绍一种具体的做法。给定一个从任意点开始产生的链码，我们可把它看作一个由各方向数构成的自然数。首先，将这些方向数依一个方向循环，以使它们所构成的自然数的值最小；然后，

21、将这样转换后所对应的链码起点作为这个边界的归一化链码的起点。39 2.一阶差分链码一阶差分链码 用链码表示给定目标的边界时，如果目标平移，链码不会发生变化，而如果目标旋转则链码会发生变化。为解决这个问题，可利用链码的一阶差分来重新构造一个表示原链码各段之间方向变化的新序列，这相当于把链码进行旋转归一化。差分可用相邻两个方向数按反方向相减(后一个减去前一个)得到。如图6-9所示，上面一行为原链码(括号中为最右一个方向数循环到左边)，下面一行为上面一行的数两两相减得到的差分码。左边的目标在逆时针旋转90后成为右边的形状，可见，原链码发生了变化，但差分码并没有变化。40图6-9 利用一阶差分对链码旋

22、转归一化 逆时针旋转900122330100213312(2)1010332233133030(3)2121003 333133030413 纹理分析纹理分析 有时，物体在纹理上与其周围背景和其他物体有区别，这时，图像分割必须以纹理为基础。纹理是图像分析中常用的概念，但目前尚无统一的定义。纹理(Tuxture)一词最初指纤维物的外观，一般来说，可以认为纹理是由许多相互接近的、互相编织的元素构成，它们富有周期性。可将纹理定义为“任何事物构成成分的分布或特征，尤其是涉及外观或触觉的品质”。与图像分析直接有关的定义是“一种反映一个区域中像素灰度级的空间分布的属性”。人工纹理是某种符号的有序排列，这些

23、符号可以是线条、点、字母等，是有规则的。自然纹理是具有重复排列现象的自然景象，如砖墙、森林、草地等照片，往往是无规则的。42图6-10 人工纹理与自然纹理(a)人工纹理；（b）自然纹理(a)(b)43 认识纹理有两种方法：一是凭人们的直观影响，一是凭图像本身的结构。从直观影响的观点出发就会产生多种不同的统计纹理特征，当然可以采用统计方法对纹理进行分析。从图像结构的观点出发，则认为纹理是结构，纹理分析应该采用句法结构方法。那么，如何对一幅图像中区域的纹理进行度量呢？一般常用如下三种方法描述和度量纹理：统计法、结构法、频谱法。下面分别介绍这三种方法。443.1 统计法统计法 统计法是利用灰度直方图

24、的矩来描述纹理的，可分为灰度差分统计法和行程长度统计法。1.灰度差分统计法灰度差分统计法 设(x,y)为图像中的一点，该点与和它只有微小距离的点(x+x,y+y)的灰度差值为),(),(),(yyxxgyxgyxg g称为灰度差分。设灰度差分的所有可能取值共有m级，令点(x,y)在整个画面上移动，累计出g(x,y)取各个数值的次数，由此便可以作出g(x,y)的直方图。由直方图可以知道g(x,y)取值的概率p(i)。(6-32)45 当采用较小i值的概率p(i)较大时，说明纹理较粗糙；概率较平坦时，说明纹理较细。该方法采用以下参数描述纹理图像的特征：（1）对比度：iipiCON)(2(6-23)

25、（2）角度方向二阶矩:iipASM2)(6-34)（3）熵:iipipENT)(lg)(6-35)（4）平均值:iiipmMEAN)(1(6-36)在上述公式中，p(i)较平坦时，ASM较小，ENT较大；若p(i)分布在原点附近，则MEAN值较小。46 2.行程长度统计法行程长度统计法 设点(x,y)的灰度值为g，与其相邻点的灰度值也可能为g，统计出从任一点出发沿方向上连续n个点都具有灰度值g这种情况发生的概率，记为p(g,n)。在同一方向上具有相同灰度值的像素个数称为行程长度。由p(g,n)可以定义出能够较好描述纹理特征的如下参数：（1）长行程加重法：ngngngpngpnLRE,2),()

26、,(6-37)47（2）灰度值分布：nggnngpngpGLD,2),(),(6-38)（3）行程长度分布：nggnngpngpRLD,),(),(6-39)（4）行程比：2,),(NngpRPGng(6-40)式中，N2为像素总数。483.2 用空间自相关函数作纹理测度用空间自相关函数作纹理测度 纹理常用它的粗糙性来描述。例如，在相同的观看条件下，毛料织物要比丝织品粗糙。粗糙性的大小与局部结构的空间重复周期有关，周期大的纹理细。这种感觉上的粗糙与否不足以定量纹理的测度，但可说明纹理测度变化倾向。即小数值的纹理测度表示细纹理，大数值纹理测度表示粗纹理。用空间自相关函数作纹理测度的方法如下：49

27、设图像为f(m,n)，自相关函数可由下式定义：wkwknwjwjmwkwknwjwjmnmfnmfnmfkjC2),(),(),(),(（6-41）式（6-46）是对（2w+1）(2w+1)窗口内的每一个像素点（j,k）与偏离值为,=0,1,2,T的像素之间的相关值进行计算。一般纹理区对给定偏离（,）时的相关性要比细纹理区高，因而纹理粗糙性与自相关函数的扩展成正比。自相关函数扩展的一种测度是二阶矩，即),(),(22kjCkjTkTjT（6-42）503.3 频谱法频谱法 频谱法借助于傅立叶频谱的频率特性来描述周期的或近乎周期的二维图像模式的方向性。常用的三个性质是：(1)傅立叶频谱中突起的峰

28、值对应纹理模式的主方向;(2)这些峰在频域平面的位置对应模式的基本周期;(3)如果利用滤波把周期性成分除去，剩下的非周期性部分可用统计方法描述。51 实际检测中，为简便起见可把频谱转化到极坐标系中,此时频谱可用函数S(r,)表示，如图6-11所示。对每个确定的方向，S(r,)是一个一维函数S(r)；对每个确定的频率r，S(r,)是一个一维函数Sr()。对给定的，分析S(r)得到的频谱沿原点射出方向的行为特性；对给定的r，分析Sr()得到的频谱在以原点为中心的圆上的行为特性。如果把这些函数对下标求和可得到更为全局性的描述，即)()(0rSrS(6-43)()(1RrrSS(6-44)式中，R是以

29、原点为中心的圆的半径。52 S(r)和S()构成整个图像或图像区域纹理频谱能量的描述。图6-11(a)、(b)给出了两个纹理区域和频谱示意图，比较两条频谱曲线可看出两种纹理的朝向区别，还可从频谱曲线计算它们的最大值的位置等。图6-11 纹理和对应的频谱示意图 0(a)S()(b)0S()22533.4 联合概率矩阵法联合概率矩阵法 联合概率矩阵法是对图像的所有像素进行统计调查，以便描述其灰度分布的一种方法。取图像中任意一点(x，y)及偏离它的另一点(x+a,y+b)，设该点对的灰度值为(g1，g2)。令点(x，y)在整个画面上移动，则会得到各种(g1，g2)值，设灰度值的级数为k，则(g1，g

30、2)的组合共有k2种。对于整个画面，统计出每种(g1，g2)值出现的次数，然后排列成个方阵，再用(g1，g2)出现的总次数将它们归一化为出现的概率p(g1，g2)，这样的方阵称为联合概率矩阵，也叫做共生矩阵。544 其他特征或描述其他特征或描述 6.4.1 标记标记 标记(Signature)的基本思想是把二维的边界用一维的较易描述的函数形式来表达。产生标记最简单的方法是先求出给定物体的重心，然后把边界点与重心的距离作为角度的函数就得到一种标记。图6-12(a)、(b)给出了两个标记的例子。通过标记，就可把二维形状描述的问题转化为一维波形分析问题。55图6-12 两个标记的例子 56 上述方法

31、产生的标记不受目标平移的影响，但与尺度变换及旋转都有关。尺度变换会造成标记的幅度值发生变化，这个问题可用把最大幅值归一化到单位值的方法来解决。解决旋转影响常用的一种方法是选离重心最远的点作为标记起点；另一种方法是求出边界主轴，以主轴上离重心最远的点作为标记起点。后一种方法考虑了边界上所有的点，因此计算量较大但也比较可靠。576.4.2 欧拉数与孔洞数欧拉数与孔洞数 拓扑学(Topology)是研究图形性质的理论。区域的拓扑性质对区域的全局描述很有用，这些性质既不依赖距离，也不依赖基于距离测量的其他特性。如图6-13所示，如果把区域中的孔洞数H作为拓扑描述子，显然，这个性质不受伸长、旋转的影响，但如果撕裂或折叠时孔洞数会发生变化。区域内的连接部分C的个数是区域的另一拓扑特性。一个集合的连通部分就是它的最大子集，在这个子集的任何地方都可以用一条完全在子集中的曲线相连接。图6-14所示图形有三个连接部分。58图6-13 图像中的孔洞 图6-14 有三个连接部分的区域 59欧拉数(Euler number)E定义如下：EC-H （6-45）欧拉数也是区域的拓扑特性之一。图6-15(a)所示图像有1个连接部分和1个孔，所以它的欧拉数E为0；图（b）中有1个连接部分和2个孔，它的欧拉数为1。图6-15 具有欧拉数为0和-1的图形(a)(b)60