运动模糊图像恢复

图像采集 图像处理 车牌定位 字符分割 字符识别 车牌输出

图1 车牌识别系统步骤

Fig.1 Steps of the l icense plate recognition system 第一章 绪论 3

图像采集部分。由安装在路边或者道路中央上方的摄像机拍摄获得的图像， 一般而言拍摄的角度都不是正对着车辆的， 因此很大程度上图像中的车牌位置时 倾斜的，这必须在字符分割之前做车牌形变校正处理，这部分内容将在后面的章 节中予以分析解决。

图像处理部分。对获得的图像进行增强、恢复、变换等操作，目的是为了突 出车牌部分特征，以便更好的进行车牌定位。这里主要做的还是一些与处理的工 作，在获得车牌定位之后，还要作进一步的图像处理。

车牌的定位和提取。本文处理的主要是灰度图像，在这基础上提取相应的特 征，由于实际中噪声、复杂背景的干扰会使定位十分困难，车牌定位的过程就是 一个寻找最符合牌照特征区域的过程。本质意义上讲，就是在参量空间里寻找最 优定位参量的问题。

字符分割。 对定位后获得的车牌部分分离出来一个个单个的字符 （包括汉字、 英文字母和数字）。

字符识别。对分割后的字符进行处理，转化为文本存入数据库或直接显示出 来。现在多采用神经网络方法通过学习能较好的识别出来。 1.2.2车牌识别技术

目前完成车牌识别功能的方法有很多，主要分为直接法和间接法两种：前者

是基于IC卡（无线电设频率鉴别（REID） ）或基于条码的识别，后者是基于图像 的汽车牌照识别[2].

（1）间接法：是将车辆类型的信息存储在车上单元（如IC卡或条码）中，需要 查询车辆信息是识别该单元即可。这种方法比实时测量简单易行，准确度高，运 行可靠，受到的干扰也小，可以全天候作业。不过它的缺点是价格昂贵，硬件设 备复杂，不适用于异地作业。此外，两者都需要制定全国统一的标准，并且无法 和对车、卡（或条码）是否相符，这也是它的一个缺点。另外，这两种方法有被 作弊的危险，所以推广上有难度。

（2）直接法：即基于图像的识别技术。与上面的间接法相比而言有如下几个优 点：首先，节省设备安置和大量的资金，提高了经济效益；其次，由于采用了先

进的计算机技术，识别速度得到较快的提高，因而较好的解决了实时性的问题；第一章论 4

最后， 它是根据图像进行识别的， 可以通过人的参与解决系统中的识别错误问题， 有一定的交互作用。

1.3 高速运动下车辆牌照识别的一些新问题

以前对车辆牌照的处理很多都是静态或者低速运动情况下的图像处理，这样 图像本身模糊程度不大，只要做一些预处理方面的工作就可以了。更多的工作集 中在后面的车牌定位、特征提取及识别部分。然而对于高速运动的车辆就产生很 多新问题：

（1）因为车辆高速运动，加之曝光时间通常较短的原因，得到的图像往往

是非常模糊的，这就要首先做图像复原处理，这里需要通过计算图像中车辆移动

绪 方向和移动尺度来反推原始的图像， 最后得到一幅大致上比较清晰的照片以供后 续处理。

（2）由于摄像机未必正对着道路，所以拍摄到的车辆图像不是正对着的，

这样导致获得车牌部分实际上可能成发生形变的平行四边形图像。 因此必须先对 其作仿射形变的校正才能在后面做字符分割等工作。关于这一块，目前已有不少 研究，本人结合单应性矩阵，利用霍夫变换提出了一种自动校正的方法。 1.4 汉字识别技术的历史与现状

VLP自动识别系统的识别对象是字符[3-9]， 故对车牌识别的研究可以追溯到 字符的识别史。字符识别包括印刷体字符识别和手写体字符识别。

最早的文字识别史与 50 年代初期的欧美，1955 年出现了印刷体数字 OCR （Optical Character Recognition）产品，此后转向手写体英文和数字的识别。 对汉字的识别研究最早的是 IBM 公司的 Casey 和 Nagy，1966 年他们发表了 第一篇关于汉字识别的文章，用模板匹配法识别 1000 个印刷体汉字，拉开了汉 字识别研究的序幕。手写汉字体的识别研究最早始于70年代中期的日本。 1981 年 Fuji 等展示了一个手写体日文汉字的识别器模型，打破了当时普遍 存在的“手写体汉字识别几乎不可实现”的心理障碍，从而触发了在中、日以及 世界范围内的手写体汉字识别的研究热潮。比较有代表性的是 1984 年东芝制造

的手写印刷体汉字识别装置OCR-V595，可以识别2200个汉字和其他符号。 第一章 5

我国于 70 年代开始邮政信函分拣的数字识别研究，70 年代末一些大学和研 究所也开始从事印刷体汉字识别的研究工作。

手写体的汉字研究大致始于 80 年代初。1985 年，这方面的文章不断出现在 各种期刊上。1989 年，清华大学计算机系首次在我国鉴定了交互式手写体汉字 识别系统，识别字域为3755个，对工整书写的楷体字前十位累计识别率为52%， 在386微机上识别速度为2字每秒。

90 年 7 月，北京大学研制出了我国第一个手写体汉字识别系统， ，识别字域 为 3755 个，对工整书写的楷体字前十位累计识别率为 60%，在 386 微机上识别 速度为1.4字每秒。

1995年国家863高技术306课题组织了第四次汉字识别系统性能测试， 脱机 手写体文本汉字识别系统识别率为68.05—-89.91%，识别速度为2字每秒。 随后， 清华大学又陆续推出了一些新的识别系统， 识别率有了进一步的提高， 速度及自动化程度有了明显提升。

总之，我国印刷体汉字识别和联机手写体汉字识别已进入实用阶段，与当今 世界最好水平并驾齐驱。 1.5 车牌识别的发展趋势

随着 20 多年的长足发展，车牌识别已经取得了巨大的成就，并产生了多种 车牌识别系统[10,11]。由于车牌受光线、气候、车型、运动速度、拍摄角度等 因素的影响，在实际应用中还不能取得较高的识别率。尽管如此，在前人研究的 基础上，综观科学发展趋势，可以分析出车牌识别有望在以下几个方面得到进一 步的发展。

（1） 小波变换的广泛应用

小波变换的多尺度分解特性非常符合人类的视觉机制，与计算机视觉中有粗 到细的认识过程十分相似，比较适合图像信息的处理。字符图像经小波变换 后，笔画的提取比较容易，简洁、明晰。最近，国际上提出利用矩和小波对

绪论 信息进行处理，成为一种模式识别发展的新趋势[12-14]。此外，小波与神 经网络的联合[15]，也取得了不错的效果。 （2） 遗传算法的应用 第一章 绪论 6

遗传算法是基于自然选择和基因遗传学院里的搜索算法，其中心问题是鲁棒 性。该算法吸取了自然生物系统中“适者生存”的进化理论，从而使它能够 提供一个在复杂空间基本上不需要什么限制性的假设（诸如连续、倒数存在 以及单峰等） 。在车牌的定位中，遗传算法部用搜索全部图像就能找到车牌， 抗噪声强，适用广泛[16]。若在将来对遗传算法加以改进，或者结合其它图 像分割方法，可以进一步提高定位精度，减少计算量，前景广阔。 （3） 神经网络与模糊逻辑的结合应用

神经网络具有并行计算、分布式信息存储、容错能力强以及具备自适应学习 等一系列优点。模糊逻辑是处理不确定、非线性等问题的有力工具。将两者 结合起来，取长补短，能获得比单独系统更好的系统。图像本身噪声、背景 复杂等原因，使得比较适合模糊神经网络的应用。所以，模糊神经网络用于 识别车牌系统，是一个研究方向[17][18][19][20]。 （4） 多方案集成的分层识别策略

对字符进行识别是一个复杂的问题，实践表明，单一方法的效果是有限的， 而采用多种方法有机组合，取长补短，走多特征融合、多方案集成的道路， 是字符识别的一个发展趋势。常用的分类器集成方法有投票法、概率法、 Dempster-Shafer 法、行为知识空间法、综合集成法、基于置信度的神经网 络集成法等[21]。但该识别策略需要设计一个性能良好的分类器方案。 （5） 心理学研究成果在字符识别中的应用[22]

字符识别的心理学研究对字符识别具有很大的启发意义。通过对人类汉字的 认知心理实验研究结果进行总结后， 学者们认为人的汉字识别是经由整字属性及 分层结构的多种途径复合而成的，其中多数可以在字符识别中得到模仿应用。这 方面的研究刚起步，是一个值得注意的新动向。 （6） 人工智能在字符识别中的应用

通常， “人工智能”主要是面向“人的智能”（Human Intelligence）的模拟、 延伸与扩展。而且， “人工智能”也是多层次的[23]，例如： n 专家系统—模拟延伸扩展人的知识推理能力。 n 神经网络—模拟延伸扩展人的学习、联想能力。

n 模式识别—模拟延伸扩展人的视觉、听觉能力 第一章 绪论 7

以上这些都是车牌识别系统中可以用到的。 因此如何研制出一种具有在线整体自 寻优、自动纠错、自学习功能，能够自适应的自能字符识别机，将会是未来字符 识别的研究热点之一。

高速运动下车牌的识别研究是一项复杂的系统工程，随着相关学科的研究、 计算机、心理学、语言学、人工智能等交叉学科的发展，以及市场需求的驱动， 这项技术一定会有更大的提高。 1.6 本文的工作和内容安排

针对高速运动下车牌识别的要求，本文细致分析了我国车牌的特点、道路情 况，并综合分析了图像处理、图像校正、字符识别、神经网络等相关技术，采用 多种法来解决这一问题。

论文所涉及的主要工作如下：

（1） 图像预处理，主要集中在运动模糊图像恢复这一部分。研究运动模糊图像 的模糊方向和模糊尺度。这里采用对模糊图像进行方向性的高通滤波（方 向微分）的方法来判定运动模糊方向。然后利用自相关原理，计算模糊的 尺度。文中提出了对于这种方法的改进，优化了对极小值的搜索，使得对 运动模糊方向的检测更加快捷。

（2） 车牌的定位分割。通过上面的方法获得较为清晰的图像时，就需要进行车 牌定位，这部分是一个比较关键的部分，效果的好坏对后面的字符分割以 及智能识别都有很大的影响。通过对车牌的特点进行分析，发现车牌灰度 值分布具有明显的密集的峰、谷特征，提出了基于车牌图像灰度值分布特 点的车牌定位算法，该方法速度快，定位结果准确。

（3） 车牌的形变校正。由于摄像机拍摄的角度，得到的车牌图像往往不是呈矩 形的，因此必须先作仿射形变，将其校正为矩形图像。这里本文结合单应 性矩阵原理，提出了利用霍夫变换体出了一种自动检测边缘变换的方法， 效果较好。

（4） 字符分割与智能识别。对得到的车牌进行分割，采用多种方法分析结构， 获取字符特征，采用神经网络予以识别。这部分不是本文的重点，主要予 以解释说明。 第一章 绪论 8

本文内容安排：

第一章：绪论。概述了车牌识别系统及其技术现状，高速运动下车牌识别方 法的特点和难点，汉字识别技术的历史与现状，车牌识别技术的发展趋势和本文 的内容安排。

第二章：图像预处理。主要包括图像灰度处理、高通滤波、自相关等。通过 维纳滤波对模糊图像作恢复。这里采用对模糊图像进行方向性的高通滤波（方向 微分） ，当滤波方向为微分方向时，由于此方向模糊图相对应的高频成分最少， 这样的话高通滤波（方向微分）使得模糊图像能量损失最大，所以得到的微分图 像微分值之和为最小。 由此可以通过计算方向微分得到的灰度值之和的最小值对 应的方向来判定运动模糊方向。然后利用自相关原理，计算模糊的尺度。针对原 来算法中求极小值较为复杂的缺陷，文中提出了关于这种原理的改进方法，优化 了对极小值的搜索。仿真试验表明，该方法比较精确，计算快捷、校正后图像失 真较少。

第三章：车牌定位算法。通过对车牌的特点进行分析，发现车牌灰度值分布 具有明显的密集的峰、谷特征，提出了基于车牌图像灰度值分布特点的车牌定位 算法，对于可能出现的符合条件的多个候选区域的问题，本文提出了结合Hough 变换、字符占区域比值和位置判定等综合判别方法，使得车牌定位准确率较高。 仿真结果显示该方法速度快，定位结果准确。

第四章： 图像校正。 本文将单应性矩阵的图形恢复方法引入到车牌的校正中， 单应性矩阵恢复方法的一个难点是检测边缘和它们的交点，故通常手动确定。本 文提出了一种关于自动提取车牌边缘的方法， 并结合单应性矩阵变换对发生倾斜 形变的车牌进行校正。相对而言，这种方法简单快捷，可以应用在很多场合 第五章：字符分割。提出了一种基于hough变换的剔除车牌边框方法，以利 于后面的字符分割。对 Ostu 算法作了改进，在效果基本不变的情况下缩小了计 算区间。对校正的图像进行归一化、二值化等预处理，然后进行字符分割。