摘 要

停车场通过对出入车辆的统计，同时通过停车场内的监控来查询停车位置的占有率。车牌识别在停车场的管理系统中作为重要的一部分它会使停车场管理系统更加完善、更加方便。为了方便对停车场内车辆的管理，停车场内一般会设有多个高角度摄像头。停车场管理系统可以在不同的摄像头中拍摄到多辆车，并且可以拍摄到多角度的同一车辆图片。这就是多数据源及多目标车牌识别的由来和研究意义。

本文所采取的方法是先利用物体识别和分类的方法先对图片中的车辆打标签分类，然后将识别并打了标签的车辆目标提取出来作为车牌识别的目标，最后使用端到端车牌识别技术对车牌进行识别。本文的工作主要有以下的几点：

1、先将车牌图片进行预处理即将车牌识别转化为先对车辆进行识别与分类，然后再对单个目标进行车牌识别。转换角度巧妙的解决了问题。

2、利用OpenCV和汽车的字体来生成和渲染有污迹、噪音、变形的虚拟车牌将其添加到了车牌识别训练中。虚拟车牌和真实车牌结合训练卷积神经网络。

3、在车牌识别的过程中，本文是采用的端到端的车牌识别方法。利用卷积神经网络构成的标签化学习方法，提取特征完成对车牌的识别。最终识别率达到了95.8%。相比于传统的基于字符分割的车牌识别，识别范围更广。

本文先后使用了两次神经网络，先利用神经网络对目标进行车辆的识别和分类将分类出的目标切割出来，最后再利用神经网络对车牌进行识别。

关键词：车辆目标识别与分类；端到端车牌识别；卷积神经网络；

Abstract

Through the statistics of vehicles in and out of the parking lot, at the same time, through the monitoring of the parking lot to query the share of parking location. License plate recognition in the parking lot management system as an important part of it will make the parking lot management system more perfect and more convenient. In order to facilitate the management of vehicles in the parking lot, there are generally a number of high-angle cameras in the parking lot. At the same time, multiple vehicles can be photographed in different cameras. In order to manage the vehicle, this is the origin and research significance of multiple data sources and multi-target license plate recognition.

The method adopted in this paper is to first label and classify the vehicles in the image by using the method of object recognition and classification, and then extract the vehicle target which is recognized and tagged as the target of license plate recognition. Finally, the end-to-end license plate recognition technology is used to recognize the license plate. The main work of this paper is as follows:

1. First, the license plate image is preprocessed, that is, license plate recognition is transformed into vehicle recognition and classification, and then license plate recognition for a single target. The change of angle cleverly solves the problem.

2. The virtual license plate with stain, noise and deformation is added to the license plate recognition training by using the font of OpenCV and car to generate and render the virtual license plate with stain, noise and deformation. Virtual license plate and real license plate combined with training convolution neural network.

3. In the process of license plate recognition, this paper uses the end-to-end license plate recognition method. The tag learning method composed of convolution neural network is used to extract features to complete license plate recognition. The final recognition rate is 95.8%. Compared with the traditional license plate recognition based on character segmentation, the recognition range is wider.

In this paper, the neural network is used twice. First, the neural network is used to identify and classify the vehicle, and then the neural network is used to identify the license plate.

Key Words：vehicle target recognition and classification；End-to-end license plate recognition；Convolution neural network

目录

第一章绪论 １

1.1 研究背景、目的及意义 １

1.2国内外研究现状 １

1.3 中国车牌识别难点 ２

1.4课题研究内容 ３

1.5论文结构安排 ３

第二章 数据集的构成 ５

2.1图像预处理训练数据集 ５

2.2图像预处理测试数据集 ６

2.3 车牌识别训练数据集 ６

2.4车牌识别测试数据集 ７

第三章 车牌识别 ９

3.1 基于字符分割的车牌识别框架 ９

3.2 端到端的车牌识别框架 １０

3.3 图像预处理 １０

3.3.1神经网络的搭建 １１

3.3.2训练模型 １２

3.3.3 图像切割 １２

3.3.4构建车牌识别测试集 １３

3.4 车牌识别方法 １４

3.4.1训练库的构建 １４

3.4.2卷积神经网络 １５

3.4.3 多标签学习 １６

3.4.4 损失函数 １８

第四章 识别结果分析 １９

4.1实验环境 １９

4.2评估标准 １９

4.2.1识别率 １９

4.2.2识别速度 １９

4.3图像预处理结果分析 ２０

4.4图像预处理（标签化）结果分析 ２１

4.5车牌识别测试集构建的分析 ２２

4.6车牌识别结果分析 ２２

4.6.1多个识别结果的选择方法 ２３

4.7 多数据源及多目标的车牌识别结果分析 ２４

第五章 总结与展望 ２５

5.1工作总结 ２５

5.2工作展望 ２５

参考文献 ２６

致谢 ２８

第一章绪论

1.1 研究背景、目的及意义

伴随着经济和社会科技的发展，机动车辆的数目也在日益的增长。据公安部交管局公布的数据，截至到2016年3月底，我国机动车量的数目达到2.83亿辆，其中汽车1.79亿辆^[1]。随着汽车数目的增多，各种社会问题也会随之增加，其中很重要的就是车辆的停放的问题，车辆的违停会严重的影响公共的交通秩序，停车场的管理可以在一定的程度上缓解道路停车拥堵和违停问题，所以对停车场管理体系的更改与完善就成为当务之急了。

车牌识别（License Plate Recognition ,LPR）算法的更改可以为停车场管理造成巨大的影响。传统的停车场由于识别的框架以及算法对车辆车牌的照片要求是近距离以及高清晰度的车牌图片，只在停车场的入口以及出口的位置设置摄像头，但是实际上对于停车场内部的出入口的两个摄像头完全不够，在停车场内部也需要很多摄像头来查询内部情况所以这些摄像头为一些高角度摄像头，这些摄像头拍摄的图片都在有多个车辆，并且很多时候可能只拍摄到车辆的一个侧身，并没有拍摄到车辆的车牌，所以对这些摄像头拍摄的图片中的多个车辆的识别就变的很有意义。它包括对遮挡车牌的识别以及对车辆的识别等一系列的方法，这个是多数据源及多目标车牌识别的背景。

目前，LPR在实际的停车场的车牌识别应用中还是取得了很大的成功的，但是它的局限性也是有的其主要是基于摄像头位置固定，车辆需要满足某类假设的情况下进行识别^[2][3]。这种车牌识别的成功无疑是片面的，当摄像头的位置不是固定的时候，一些假设也不满足的时候的车牌识别也是有意义的。本文研究的是对于停车场内部的一些非固定的高摄像头，拍摄到的多个车辆的车牌识别，称之为多数据源及多个目标的车牌识别算法，这就是研究的目的及意义。

1.2国内外研究现状

国外的车牌识别研究起步比较早，比起国内要先进不少。早在20世纪70年代英国的科研人员就开发了用于车牌识别的设备。在20世纪80年代，国外就有一些用于车牌识别的具体应用使用了一些零零散散的图像处理方法。而国内在这个时期刚刚处于改革开放初期还没有涉足。但是在刚开始的时候车牌识别技术的研究还没有形成一个比较完善的体系，正常情况下解决问题是采用简单的图像处理方法来解决，而且最后还需要人为进行干涉。进入20世纪90年代后，车牌自动识别的系统化研究正式开始腾飞。1990年Johnson 教授率先提出可以通过图像分割技术实现车牌的自动化识别，并且构建了由图像分割(Image Segment)、提取特征(Feature Extraction)、模板构造(Template Formation)和字符识别 (Character Recognition)四个步骤组成的经典框架，为车牌识别做出了重要的贡献^[4]。R.A.Lotufo等通过对光学字符识别技术利用边界跟踪技术对字符特征进行提取^[4]。对于端到端的车牌识别培训，Hui Li等人解决了自然场景图像中车牌检测和识别问题，提出了一种统一的深度学习神经网络，它可以将车牌本地化，并且在一次的正向传播中同时识别字母^[5]。Li H等训练具有长短期记忆（LSTM）的递归神经网络（RNN）以识别通过神经网络从整个牌照提取的顺序特征^[6]。

由于我国在交通道路和车辆的普及的方面发展比较晚，于是我国对车牌识别的研究起步也比较晚，技术水平有一定的差距。我国的车牌与其他国家的车牌有很大的差别，其中最主要的是涉及到了中文字符的识别，我国没有可以借鉴的国家，大多数国家都是字母识别，于是我国的车牌识别技术基本上是从零开始的。在国家的支持以及科研工作者的不懈努力下，我国的车牌识别事业取得了不小的成就。其中比较有代表性的有北京文安科技有限公司的 VLPR 产品^[7]，中科院自动化研究所汉王公司的“汉王眼”，川大智胜软件的 ZT2000 车牌自动识别系统等^[8]。

1.3 中国车牌识别难点

由于中文与英文的区别，我国与其他国家的车牌也有明显的不同，这也导致了识别难度以及识别的不同，有如下的难点：

（1）我国车牌颜色多样，车牌底色有绿色、蓝色、黄色、白色等颜色，框线有黑色、白色等颜色，字符也有黑色、红色、白色等颜色。不同颜色的车牌在图像处理的时候是要进行不同的处理的。我研究的是停车场的车牌所以都是蓝底白字黑框的车牌。

（2）我国车牌的尺寸的不同。由于车辆的用途以及车辆的大小尺寸的不同，带来了车牌的位置以及车牌尺寸的不同。这也使得不能进行统一处理。本文处理的车牌都是小型汽车的车牌，属于单行车牌，单行车牌尺寸如下：

图1.1单行车牌尺寸标准^[9]

（3）车牌图像模糊，质量很差。我国虽然说全面覆盖道路监控，但是有不少地方的监控质量差，存在很大的问题，比如说模糊，倾斜，像素低等问题。

（4）由数字、汉字、英文字符构成的中国车牌识别元素很多。与其他国家的车牌识别难题相比就是汉字识别的问题区别。第一是在字符分割时可能会将一个汉字字符识别成多个例如“川”字，它就有可能被识别出三个“1”。第二是存在相似的汉字，比如说“京”和“琼”可能被识别成一个。

1.4课题研究内容

本文主要针对的是停车场中多个摄像头从不同角度拍摄的照片对其中车辆进行识别，如何对多张多车牌的图片进行识别就是我要研究的主要内容。

一．由于是停车场的一个多角度摄像头的拍摄图像，所以同一时间多个角度拍摄的图像必定会拍摄到所有车辆的车牌，否则多个摄像头也就没有意义了。即使存在车牌的遮挡情况，那么在其他的拍摄的照片中必定会存在至少一张的无遮挡车牌。所以如果想要完成停车场中多个目标车牌识别这一个课题，必须要识别出这一个车，而识别出一个车辆最好的认证方法便是车牌的唯一性（一个车牌对一个车），但是在这里直接对多张图片进行车牌的识别（采用传统方法），即使识别出来也是没有意义的。因为车辆会出现在多次在不同的图片中，一是会存在识别的重复性造成计算的复杂化，二是会出现遮挡到的车牌无法进行识别的情况。即使是所有的目标都识别到了（车辆的车牌都会出现至少一次），但是也是没有实际意义的。本文考虑到了这个问题便利用车辆的其他的特征如车辆的品牌，形态，颜色，对同一时间的多张图片进行预处理也就是对图片中的车辆目标进行识别和分类。

二．利用之前对车牌识别分类是定位的坐标对识别到的车辆目标进行切割，并对图像进行标注如：BenZ.SUV.Red即品牌BenZ形态SUV颜色Red。对图片分割过后会有多张同名文件，将这些同名的图片存储到同一文件夹中。最后将这些图片作为车牌识别系统的测试集。

三．采用端到端的车牌识别框架，采用神经网络的方法，首先要建立深度学习网络,深度卷积的运算不但可以使初始的车牌信息特征得到增强，而且还能降低噪声。

1.5论文结构安排

本文共有五个章节，具体章节安排如下：

第一章：绪论。首先介绍了多数据源及多目标的车牌识别的研究背景、研究目的以及研究意义，然后分析了国内外研究现状、中国车牌识别难点。最后简要叙述了课题的研究内容和论文的各章节内容安排。

第二章：介绍数据集的构建。讲述了论文所用的四个数据集的构成，分别是图像预处理训练数据集、图像预处理测试数据集、车牌识别训练数据集、车牌识别测试数据集。

第三章：讲述了主流的两种车牌识别方法。先介绍了本文是如何构建车辆识别与分类神经网络、对模型进行训练、分类后的图片进行图片切割、构建车牌识别训练集。然后介绍了本文训练集的构建。讲述了本文车牌识别系统所采用的卷积神经网络，先由卷积神经网络提取特征，然后再用全连接实现多标签学习。

第四章：分析每个步骤的识别率最终得到多数据源及多目标的车牌识别的识别率。

第五章：总结与展望。对论文所做的工作总结，列出了论文的主要工作内容，并对自己论文存在的一些问题和不足进行论述，指出了以后的改善方向。

第二章 数据集的构成

本文的车牌识别系统包括对图片车牌的预处理即进行车牌的识别与分类、端到端的车牌识别网络。对车辆识别与分类时要用到神经网络，这就需要对网络进行训练与测试，于是我就构成了图像预处理的训练数据集与测试数据集。同理在端到端的车牌识别神经网络中也需要用到训练数据集与测试数据集。下面我来介绍一下数据集的构成。

2.1图像预处理训练数据集

在车牌识别之前的图像预处理中需要对图像进行预处理，需要用到神经网络，需要数据集对网络进行训练。在已有的车辆检测和识别的数据集中本文选择了一个Cars^[10]数据集.这个汽车数据集包含196种汽车的16185福图像。这些图像包括8144张训练图像和8041张测试图像^[11]。数据结构如下图：

图2.1Cars数据集的构成

每一类的汽车大概有50-80张。汽车的类型的划分是根据制造商，模型，年份，颜色，例如2012年特斯拉S型黑色或2012年宝马M3蓝色跑车。本文的测试集既是采用Cars数据集的8144张训练数据图片。