模式识别应用-车牌识别课件.ppt

1、模式识别应用模式识别应用 车牌识别车牌识别1模式识别系统的组成：模式识别系统的组成：v信息获取信息获取 v预处理预处理v特征提取和选择特征提取和选择 v分类器设计和分类决策分类器设计和分类决策2信息获取信息获取机器识别机器识别：计算机获取模式信息即实现观察对象的：计算机获取模式信息即实现观察对象的数字化表达。数字化表达。v待识别的样本大都是非电信息，例如语音信号、待识别的样本大都是非电信息，例如语音信号、待识别文本、图像等，这就需要待识别文本、图像等，这就需要将这些以各种不将这些以各种不同形式表现的信息通过传感器转换成电信号同形式表现的信息通过传感器转换成电信号。v如用话筒将声音信号转换成电信

2、号。如用话筒将声音信号转换成电信号。v景物信息在摄像机靶面成像并转换成二维的像素景物信息在摄像机靶面成像并转换成二维的像素矩阵，每个像素（矩阵元素）的电信号与物体表矩阵，每个像素（矩阵元素）的电信号与物体表面反射的光强或颜色信息呈现函数关系。面反射的光强或颜色信息呈现函数关系。3预处理预处理v预处理主要是指去除所获取信息中的噪声，增强预处理主要是指去除所获取信息中的噪声，增强有用的信息，及一切必要的使信息纯化的处理过有用的信息，及一切必要的使信息纯化的处理过程。程。v图像信息的预处理：几何校正、图像增强、图像图像信息的预处理：几何校正、图像增强、图像还原等。还原等。v例如，从图像中将汽车车牌的

3、号码识别出来，就例如，从图像中将汽车车牌的号码识别出来，就需要先将车牌从图像中找出来，再对车牌进行划需要先将车牌从图像中找出来，再对车牌进行划分，将每个数字分别划分开。做到这一步以后，分，将每个数字分别划分开。做到这一步以后，才能对每个数字进行识别。以上工作都应该在预才能对每个数字进行识别。以上工作都应该在预处理阶段完成。处理阶段完成。4v原始数据是由所使用的测量仪器或传感器获取的，这些数原始数据是由所使用的测量仪器或传感器获取的，这些数据组成的空间叫测量空间。据组成的空间叫测量空间。v样本是用特征进行描述的，识别与训练都是在特征空间中样本是用特征进行描述的，识别与训练都是在特征空间中进行的。

4、进行的。v特征提取模块将原始测量数据转换成能反映事物本质、有特征提取模块将原始测量数据转换成能反映事物本质、有效方式表示的信息，从而使分类器能根据这些信息决定样效方式表示的信息，从而使分类器能根据这些信息决定样本的类别。本的类别。v特征提取模块的功能是：对所获取的信息实现从测量空间特征提取模块的功能是：对所获取的信息实现从测量空间到特征空间的转换。到特征空间的转换。v通常用于描述模式性质的特征很多，需要从一组特征中挑通常用于描述模式性质的特征很多，需要从一组特征中挑选出一些最有效的特征以降低特征空间维数，即特征选择。选出一些最有效的特征以降低特征空间维数，即特征选择。特征提取和选择特征提取和选

5、择5分类决策分类决策模式识别系统工作有两个过程，一是样本训练，模式识别系统工作有两个过程，一是样本训练，二是分类决策。二是分类决策。样本训练样本训练：在已确定的特征空间中，对作为训：在已确定的特征空间中，对作为训练样本的数据进行特征提取与选择，得到它们练样本的数据进行特征提取与选择，得到它们在特征空间的分布，依据这些分布决定分类器在特征空间的分布，依据这些分布决定分类器的具体参数。的具体参数。分类决策分类决策：分类器在分界形式及其具体参数都：分类器在分界形式及其具体参数都确定后，对待分类样本进行分类决策的过程。确定后，对待分类样本进行分类决策的过程。6v分类决策是对事物辨识的最后一步。分类决策

6、是对事物辨识的最后一步。v识别事物（决策）的基本方法：识别事物（决策）的基本方法：同一类事物之间属性应比较同一类事物之间属性应比较近似，而不同类事物之间的属性之间应差异较大。这种现象近似，而不同类事物之间的属性之间应差异较大。这种现象表现在特征空间的分布中往往表现出同类事物的特征向量聚表现在特征空间的分布中往往表现出同类事物的特征向量聚集在一起，聚集在一个相对集中的区域，而不同事物则分别集在一起，聚集在一个相对集中的区域，而不同事物则分别占据不同的区域。因此，占据不同的区域。因此，如果待识别的事物的特征向量出现如果待识别的事物的特征向量出现在某一类事物经常出现或可能出现的区域内，该事物就被识在

7、某一类事物经常出现或可能出现的区域内，该事物就被识别为该类事物。别为该类事物。v决策依据：决策依据：在特征空间中哪个区域是某类事物典型所在区域在特征空间中哪个区域是某类事物典型所在区域需要用数学式子划定，这样一来，满足这种数学式子与否就需要用数学式子划定，这样一来，满足这种数学式子与否就成为分类决策的依据。如何确定这些数学式子就是分类器设成为分类决策的依据。如何确定这些数学式子就是分类器设计的任务，而一旦这种数学式子确定后，分类决策的方法也计的任务，而一旦这种数学式子确定后，分类决策的方法也就确定了。就确定了。7汽车车牌识别系统8汽车车牌识别系统v图像输入图像输入v车牌提取（牌照定位与分割）车

8、牌提取（牌照定位与分割）v车牌字符识别车牌字符识别9汽车车牌识别图像采集图像采集v地感线圈感应压力；地感线圈感应压力；v40ms后进入最佳识后进入最佳识别区；别区；v触发相机拍照触发相机拍照10汽车车牌识别图像采集图像采集11v首先，从摄像头取得彩色的包含车牌的图像。首先，从摄像头取得彩色的包含车牌的图像。在摄像机前方的检测点安装传感器，当汽车在摄像机前方的检测点安装传感器，当汽车通过检测点时，传感器向主机发出信号，系通过检测点时，传感器向主机发出信号，系统自动摄下车辆的图像，并将图像输入计算统自动摄下车辆的图像，并将图像输入计算机。机。v这是在一个收费站这是在一个收费站前拍摄的交费车辆前拍摄

9、的交费车辆的照片，在收费站的照片，在收费站的车牌识别系统中，的车牌识别系统中，车辆是静止的，因车辆是静止的，因此不用进行针对运此不用进行针对运动模糊等的预处理。动模糊等的预处理。12v车牌定位车牌定位是在包含车辆的图像中找到牌照区域的位置，并是在包含车辆的图像中找到牌照区域的位置，并把牌照区域把牌照区域分割分割出来，得到牌照图像。也可称这部分为牌出来，得到牌照图像。也可称这部分为牌照定位与分割。牌照定位决定其后的车牌字符识别，因此照定位与分割。牌照定位决定其后的车牌字符识别，因此牌照定位是识别系统的关键。牌照定位是识别系统的关键。汽车车牌识别车牌定位与分割车牌定位与分割13经过大量实验数据发现

10、，车辆牌照一般具有以下特征经过大量实验数据发现，车辆牌照一般具有以下特征:(1)目前车辆牌照的具体排列格式是由一个省份汉字目前车辆牌照的具体排列格式是由一个省份汉字(军警牌则军警牌则为其他字为其他字)后跟字母或阿拉伯数字组成的后跟字母或阿拉伯数字组成的7个字序列。除第一个字序列。除第一个汉字外，字母或数字的笔画在竖直方向都是连通的。个汉字外，字母或数字的笔画在竖直方向都是连通的。标准车牌的具体排列格式是标准车牌的具体排列格式是:X1X2X3X4X5X6X7uX1是各省、直辖市的简称或军警（多数为红色）、外交是各省、直辖市的简称或军警（多数为红色）、外交标志（例如：大使馆车辆白底黑字）标志（例如

11、：大使馆车辆白底黑字）uX2是英文字母是英文字母uX3X4是英文字母或阿拉伯数字是英文字母或阿拉伯数字uX5X6X7是阿拉伯数字。是阿拉伯数字。14v(2)车辆牌照区域牌底与牌字颜色相差较大，边缘非常丰富。车辆牌照区域牌底与牌字颜色相差较大，边缘非常丰富。v(3)车辆牌照子图像区域长高比例一定，车牌原始尺寸每个字车辆牌照子图像区域长高比例一定，车牌原始尺寸每个字宽宽45 mm，字高，字高90 mm，间隔符宽，间隔符宽10 mm，每个单元间隔，每个单元间隔12 mm。根据汽车牌照的特点，需要充分利用这些特征，并结合根据汽车牌照的特点，需要充分利用这些特征，并结合一系列图像处理，对车辆牌照进行定位

12、与分割。一系列图像处理，对车辆牌照进行定位与分割。三个主要步骤：三个主要步骤：v特征提取：灰度化、灰度拉伸、边缘检测特征提取：灰度化、灰度拉伸、边缘检测v粗略定位粗略定位v精细定位精细定位15车牌特征提取的第一步车牌特征提取的第一步 灰度化灰度化为了便于后续的快速图像处理，以及对不同颜色的车为了便于后续的快速图像处理，以及对不同颜色的车辆牌照进行统一处理，需要把摄像头拍到的含车辆的图像辆牌照进行统一处理，需要把摄像头拍到的含车辆的图像由由24位真彩色转化成灰度图。一般采用现行标准的平均值位真彩色转化成灰度图。一般采用现行标准的平均值法法:0.30.590.11gRGB其中其中:g表示灰度化后的

13、灰度值：表示灰度化后的灰度值：R、G、B分别表示原真分别表示原真彩色图中的红、彩色图中的红、绿、绿、蓝分量。蓝分量。16车牌特征提取的第二步车牌特征提取的第二步 灰度拉伸灰度拉伸对灰度化的图像进行对比度拉伸，把感兴趣的灰度范对灰度化的图像进行对比度拉伸，把感兴趣的灰度范围拉开，使得该范围内的像素亮的更亮、暗的更暗，使图像围拉开，使得该范围内的像素亮的更亮、暗的更暗，使图像的边缘更加凸显。灰度拉伸可以使牌照区域的笔画特征更明的边缘更加凸显。灰度拉伸可以使牌照区域的笔画特征更明显，有益于下一步的边缘检测。显，有益于下一步的边缘检测。假设原图像的灰度分布函数为假设原图像的灰度分布函数为f(x，y)，

14、像素灰度分布，像素灰度分布范围为范围为a,b。根据图像处理的需要，将其灰度范围变。根据图像处理的需要，将其灰度范围变换到换到a,b，增强后图像的灰度分布函数为增强后图像的灰度分布函数为g(x，y)，则则g(x，y)和和f(x，y)之间存在如下关系之间存在如下关系:(,)(,)bag x yaf x yaba17如果图像的灰度范围超出了如果图像的灰度范围超出了a，b，但绝大多数像，但绝大多数像素的灰度落在区间素的灰度落在区间a，b内，只有很少部分的像素灰度内，只有很少部分的像素灰度分布在小于分布在小于a和大于和大于b的区间内，此时可以采用一种称作的区间内，此时可以采用一种称作“截取式线性变换截取

15、式线性变换”的变换方法，其变换式如下的变换方法，其变换式如下:,(,)(,)(,),(,),(,)af x yabag x yaf x yaaf x ybbabbf x y18车牌特征提取的第三步车牌特征提取的第三步 边缘检测边缘检测边缘检测对于车牌区域的分割有重要的作用。经过边缘检边缘检测对于车牌区域的分割有重要的作用。经过边缘检测之后的图像由各个物体的轮廓线组成，由于测之后的图像由各个物体的轮廓线组成，由于车辆牌照是边缘车辆牌照是边缘丰富的子区域，车牌的笔画轮廓凸现，丰富的子区域，车牌的笔画轮廓凸现，而车体上其他部分的轮而车体上其他部分的轮廓线特征并不突出。在车牌识别系统中，可以采用如下的

16、算子廓线特征并不突出。在车牌识别系统中，可以采用如下的算子来提取边缘来提取边缘:1:1 1H21:1HH1、H2分别是水平和垂直方向的算子。分别是水平和垂直方向的算子。19v粗略定位粗略定位主要利用的信息是车牌部分的主要利用的信息是车牌部分的纹理分布纹理分布，主要利用，主要利用的是的是水平和竖直两个方向上的边缘水平和竖直两个方向上的边缘。在车牌部分，边缘分布。在车牌部分，边缘分布比较密集，可以利用这一点提取出候选的车牌区域，在图中比较密集，可以利用这一点提取出候选的车牌区域，在图中用方框标出。用方框标出。车牌粗略定位车牌粗略定位20v之后输出的就是候之后输出的就是候选的车牌位置，这选的车牌位置

17、，这些位置中，只有一些位置中，只有一个是真正的车牌。个是真正的车牌。而究竟哪一个是对而究竟哪一个是对的，要到字符识别的，要到字符识别阶段才能有结果。阶段才能有结果。v粗略定位的结果往粗略定位的结果往往不是很准，可以往不是很准，可以利用利用颜色的连续性颜色的连续性信息信息对定位的结果对定位的结果进行修正。进行修正。车牌精细定位车牌精细定位21字符特征提取字符特征提取训练：训练：字符识别分类器字符识别分类器识别：识别：车牌的具体内容车牌的具体内容汽车车牌识别字符识别字符识别22v字符分割要把车牌中的一个个字符逐一切分开，这样才能在下一步的识别字符分割要把车牌中的一个个字符逐一切分开，这样才能在下一

18、步的识别中对每一个字符分别处理。分割的方法可以利用灰度图像往竖直方向的投中对每一个字符分别处理。分割的方法可以利用灰度图像往竖直方向的投影。在有数字或字符的部分，这个投影值应该比较大，而在字符之间的间影。在有数字或字符的部分，这个投影值应该比较大，而在字符之间的间隙处，投影的累计值就几乎为零了。利用这个特征，可以很好地将字符分隙处，投影的累计值就几乎为零了。利用这个特征，可以很好地将字符分割开来。割开来。v同时，还需要得到对这个区域是不是车牌区域作个评价，如果划分结果比同时，还需要得到对这个区域是不是车牌区域作个评价，如果划分结果比较合理，划分出的每个字符的宽度都差不多，且符合车牌特征，那么说

19、明较合理，划分出的每个字符的宽度都差不多，且符合车牌特征，那么说明这个区域比较像车牌。如果字体太宽或者不符合车牌特征，说明是其它的这个区域比较像车牌。如果字体太宽或者不符合车牌特征，说明是其它的字符。字符。字符分割字符分割23v在在牌照识别中，需要利用光学字符识别牌照识别中，需要利用光学字符识别(OCR)技术识别出技术识别出牌照图像中的印刷体汉字、英文字母和阿拉伯数字，得到牌照图像中的印刷体汉字、英文字母和阿拉伯数字，得到车牌号码。可以根据目前标准车牌中字符的具体排列顺序，车牌号码。可以根据目前标准车牌中字符的具体排列顺序，设计不同的分类器。设计不同的分类器。v印刷体汉字印刷体汉字(包括各省、

20、直辖市的简称或军警包括各省、直辖市的简称或军警)；v英文字母英文字母(26个大写字母个大写字母)；v阿拉伯数字为阿拉伯数字为0，1，9。24字符特征提取字符特征提取2425v光学字符识别先要使识别系统学习待辩识字符的特征，光学字符识别先要使识别系统学习待辩识字符的特征，然后再利用这些先验知识对输入图像进行判决，得到然后再利用这些先验知识对输入图像进行判决，得到字符的识别结果。字符的识别结果。v字符的特征：字符的特征：平面上的点阵位置特征：像素灰度特征（不好）平面上的点阵位置特征：像素灰度特征（不好）频率特征：跳变统计特征频率特征：跳变统计特征投影特征：灰度统计特征投影特征：灰度统计特征语义特征

21、：结构特征语义特征：结构特征几种目前常采用的特征：几种目前常采用的特征：HOG、Haar、LBP字符特征提取（续）字符特征提取（续）2526v LBP（Local Binary Pattern，局部二值模式）是一种，局部二值模式）是一种用来描述图像局部纹理特征的算子；具有旋转不变性用来描述图像局部纹理特征的算子；具有旋转不变性和灰度不变性等显著的优点。和灰度不变性等显著的优点。字符特征提取（续）字符特征提取（续）2627vLBP特征的描述：特征的描述：v定义定义：在：在33的窗口内，以窗口中心像素为阈值，将相邻的的窗口内，以窗口中心像素为阈值，将相邻的8个像个像素的灰度值与其进行比较，若周围像

22、素值大于中心像素值，则该素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为像素点的位置被标记为1，否则为，否则为0。这样，。这样，33邻域内的邻域内的8个点经个点经比较可产生比较可产生8位二进制数（通常转换为十进制数即位二进制数（通常转换为十进制数即LBP码，共码，共256种），即得到该窗口中心像素点的种），即得到该窗口中心像素点的LBP值，并用这个值来反映该值，并用这个值来反映该区域的纹理信息。区域的纹理信息。字符特征提取（续）字符特征提取（续）灰度不变性灰度不变性2728v基本的基本的 LBP 算子有两个缺陷：算子有两个缺陷：只覆盖了一个固定半径范围内的小区域，不

23、能满足不同尺寸和只覆盖了一个固定半径范围内的小区域，不能满足不同尺寸和频率纹理的需要频率纹理的需要;不具有旋转不变性。不具有旋转不变性。v圆形圆形LBP特征：特征：将将 33 邻域扩展到任意邻域邻域扩展到任意邻域用圆形邻域代替了正方形邻域用圆形邻域代替了正方形邻域允许在半径为允许在半径为 R 的圆形邻域内有任意多个像素点。的圆形邻域内有任意多个像素点。字符特征提取（续）字符特征提取（续）2829v改进的改进的LBP特征具有特征具有灰度不变性灰度不变性和和旋转不变性旋转不变性。字符特征提取（续）字符特征提取（续）2930vLBP特征提取步骤：特征提取步骤：将检测窗口划分为一定大小的小区域（将检测

24、窗口划分为一定大小的小区域（cell），例如），例如1616；对于每个对于每个cell中的每个像素，计算其中的每个像素，计算其LBP值；值；计算每个计算每个cell的直方图，即每个的直方图，即每个LBP值出现的频率；并对该直方值出现的频率；并对该直方图进行归一化处理；图进行归一化处理；将每个将每个cell的统计直方图进行连接成为一个特征向量，也就是整的统计直方图进行连接成为一个特征向量，也就是整幅图的幅图的LBP纹理特征向量。纹理特征向量。字符特征提取（续）字符特征提取（续）30模板匹配模板匹配ANNSVM字符识别字符识别31需要考虑的情况需要考虑的情况v车牌区域上下两行字符：车牌区域上下两行字符：先横向投影再纵向投影；先横向投影再纵向投影；v两种车牌：蓝底白字（暗背景亮目标）两种车牌：蓝底白字（暗背景亮目标）黄底黑字（亮背景暗目标）黄底黑字（亮背景暗目标）边缘投影图中，波峰波谷位置不同。边缘投影图中，波峰波谷位置不同。32