摘 要

随着经济的快速发展，用车用户的人群加多。限号等措施虽然可以有效的缓解城市交通压力，但是各国对于交通运输需求的不断增长，频繁发生的交通事故，交通堵塞，车辆的失窃等城市问题，都迫切需要更智能化的交通管理系统。车牌作为汽车的唯一标识就奠定了车牌识别系统在智能交通管理系统中的重要性。我国的车牌识别技术存在车牌识别方面许多方面的难题，车牌既有汉字，又有数字和字母；个别车牌字符相似度较大，在模糊不清的状况下很容易被误读等问题。所以，提升在复杂环境中的车牌识别的准确率是我们目前主要的研究方向。采用基于卷积神经网络的车牌系统识别能够有效的克服由于图片位置、角度、形状等不同以及字符模糊带来的难度。

本文是基于卷积神经网络进行车牌识别的，与其它的车牌识别算法相比，卷积神经网络的学习能力更强，这种方法对于车牌中字符部分笔画模糊不清、有缺损的情况具有较好的识别效果，所以具有更高的车牌字符识别率。首先进行车牌识别的图片采用网络上开源的一个车牌生成器，随机生成一些车牌图片，对生成的车牌进行一些倾斜、加噪处理，进行模型训练。首先，该卷积神经网络模型对输入的图像进行卷积和池化操作提取出特征图，然后再对车牌字符进行识别，生成预测的字符序列。本文所用的CNN的结构为典型的Alexnet，深层的卷积神经网络拥有更强的特征提取能力，能够很好的识别噪声较大的图片。

从实验结果可以看出，用卷积神经网络来进行的车牌字符识别有很高的准确率，且识别一张车牌的时间很快，仅需2.5s。

关键词：卷积神经网络，深度学习，车牌识别技术，TensorFlow

Abstract

With the rapid economic development, the number of people using car users is increasing. Limit numbers and other measures can effectively relieve urban traffic pressure, but countries are increasingly in need of more intelligent traffic management systems for the ever-increasing demand for transportation, frequent traffic accidents, traffic jams, vehicle theft and other urban problems. The license plate as the only mark of the car has laid the importance of the license plate recognition system in the intelligent traffic management system. China's license plate recognition technology has many problems in the area of ​​license plate recognition. The license plate has both Chinese characters, numbers, and letters. Individual license plate characters have similar similarities and are easily misunderstood under vague conditions. Therefore, improving the accuracy of license plate recognition in complex environments is our main research direction. The adoption of convolutional neural network based vehicle license plate recognition can effectively overcome the difficulty caused by the difference in position, angle, shape, and character blurring of the picture.

This paper is based on the convolutional neural network for license plate recognition. Compared with other license plate recognition algorithms, the convolutional neural network has stronger learning ability. This method is more suitable for the blurred and unclear strokes of character parts in the license plate. Good recognition effect, so it has higher license plate character recognition rate. The license plate recognition image is firstly generated using a license plate generator that is open source on the network. Some license plate images are generated at random, and the generated license plate is subjected to some tilt, noise processing, and model training. First, the convolutional neural network model performs convolution and pooling operations on the input image to extract the feature map, and then recognizes the license plate characters to generate a predicted character sequence. The structure of CNN used in this paper is a typical Alexnet. The deep convolutional neural network has stronger feature extraction capability and can well identify the noisy pictures.

From the experimental results, it can be seen that the license plate character recognition using convolutional neural network has a high accuracy, and the time for identifying a license plate is very fast and only takes 2.5s.

Key words: Convolutional neural network, deep learning ,license plate recognition technology ,TensorFlow

目录

第1章 绪论

1.1 研究背景及意义

1.2 国内外的研究现状

1.2.1 车牌识别的国内外研究现状

1.2.2 卷积神经网络的国内外研究现状

1.3 论文的研究内容

1.4 论文的结构安排

第2章 深度学习

2.1 深度学习介绍

2.1 深度学习框架TensorFlow

2.3 深度学习的应用

第3章 卷积神经网络

3.1 卷积神经网络的基本结构

3.2 卷积神经网络Alexnet

第4章 基于卷积神经网络的车牌识别实验研究

4.1 准备数据集

4.2 实验环境

4.3 训练数据集

4.4 测试数据集

4.5 实验结果分析

4.5.1 结果评价标准

4.5.2 结果分析

第5章 结论

参考文献

附录

致谢

第1章绪论

1.1研究背景及其意义

随着现代交通的迅速发展，车牌识别技术逐步广泛应用于现实生活中。停车场收费管理、车辆防盗、闯红灯检查、高速公路超速监管等都离不开车牌识别。目前，汽车的保有量还在持续增长，随之而来的交通压力也越来越重，智能化的交通管理系统能够有效地提升治安、刑侦、交通方面的管理，减少道路交通事故的发生和违法行为。车牌作为汽车的唯一标识就奠定了车牌识别系统在智能交通管理系统中的重要性。

现阶段，我国很多的大中小城市基本拥有完善的智能交通系统，提升在复杂环境中的车牌识别准确率是目前的研究方向。即使很早以前，对于车牌识别技术的研究就已经开始了，也有了很多的研究成果，但是很多算法都只能在特定的场景使用。传统的机器学习算法对于那些自然场景下的车牌扭曲、车牌倾斜、光线条件不好、像素分辨率低等情况不能够准确的进行车牌识别。而本文主要是用近几年发展起来比较火的深度学习算法对汽车牌照进行识别。这样能够减少复杂度、提升识别的准确性

传统的车牌识别系统:输入图像，对图像进行去噪、灰度化、边缘检测等预处理，然后再提取边缘特征对车牌进行定位，最后是字符分割以及字符识别。而卷积神经网络可以将采集到的原始图像不进行灰度处理，直接进行视觉识别，预处理工作比较少。

1.2国内外的研究现状

1.2.1车牌识别的研究现状

车牌识别技术兴起于国外，最早可追溯到二十世纪八十年代，当时对于这个并没有形成完整的体系结构，一些学者针对于某一具体问题进行研究，提出了将图像处理应用到车辆拍照的识别中去。在这个研究阶段，加上人工干预也只能识别出一些简单的车牌照，对于一些复杂情况下的车辆牌照没法达到识别要求。随着模式识别等技术的发展和计算机性能的不断完善提高，车牌识别的准确率越来越高，识别速度越来越快。目前国外已经有比较成熟的车牌识别系统，如以色列的Scc-Car Systcm :新加坡的VLPRS识别系统。

由于我国的车牌组成复杂，既有汉字又有数字和字母，车牌颜色也多样化，国外的车牌识别系统大部分只能针对本国的车辆,不能生搬硬套到我国。所以直到九十年代我国才开始了车牌识别系统的研究。我国虽然起步较晚，但是借鉴国外对于车牌上英文和数字的识别，也迅速的发展了起来。目前比较典型的有“汉王眼”、慧光识别系统等。总的来说，国内外车牌识别行业比较成熟了且还将处于发展期。车牌识别行业进步的制约障碍主要是技术，当前评价该技术的主要指标是识别车牌的正确率，决定其是否能够应用到终端中去。因此提高车牌的识别正确率是当前车牌识别技术发展的重点，并且还是决定车牌识别系统是否能在更多的场景模式广泛应用，发挥出更大价值的决定性因素。

1.2.2卷积神经网络的研究现状

卷积神经网络在国外的研究较多，在国内对于它的研究以及应用才刚刚开始。在生物自然视觉认知机制启发下，最早由加拿大的一名教授LoCun提出，经过不断的完善和发展，一种多层的LcNet-5被设计出来，它可以对手写的数字进行分类，应用到图像识别领域取得了很好的效果。但是传统的LcNet-5只能应用到小范围的一些问题上，对于那些像素很大的自然图像的理解应用并没有取得很好的结果。目前在字符识别方面对于卷积神经网络的研究越来越多，如赵志宏对它的输出单元以及C5层结构进行了改进，于我国的车辆牌照识别上取得了很好的效果。

1.3论文的研究内容

采用卷积神经网络模型对车牌中字符进行检测，这种方法对于车牌中字符部分笔画模糊不清、有缺损的情况具有较好的识别效果。并且该方法不用对定位后的车牌进行校正，也不用对车牌中字符进行分割，减少了中间过程，提升了字符识别效果。

数据集采用一个车牌生成器，随机生成一些车牌图片，对生成的车牌进行一些倾斜、加噪处理，用于模型训练。对于传统的车牌字符识别算法，我们首先需要将定位好的车牌图像分割成单个的字符图像，最后对这些字符进行逐个识别。本次研究提出了能够识别字符串的神经网络模型，避免像传统的算法那样，在字符分割阶段因为字符分割不准确而导致影响后续字符的准确识别。首先，该卷积神经网络模型对输入的图像进行卷积和池化操作提取出特征图，其次再对车牌字符进行识别，生成预测的字符序列。本文所用的车牌识别模型为Alexnet，深层的卷积神经网络具有更强的特征抽象能力，能够很好的识别噪声较大的图片。

1.4论文的结构安排

本文共分为五个章节，主要内容如下：

第 1 章：主要介绍了本文的研究背景以及意义，然后简单阐述了车牌识别和卷积神经网络在国内外的研究现状。最后简单地描述了本文的主要研究内容以及组织结构安排。

第 2 章：主要学习了深度学习的一些相关概念，然后详细阐述了深度学习框架TensorFlow，最后介绍了深度学习在现实生活中的一些应用。

第 3 章：主要学习了卷积神经网络的基础知识，了解它的基本结构，然后详细描述了本文所用的车牌识别模型Alexnet。

第 4 章：介绍了车牌识别实验的相关流程以及结果分析。

第 5 章：总结了本次研究的主要内容，并对存在的不足之处加以之处，以及对未来相关研究工作的一些展望。

第2章深度学习

2.1深度学习介绍

深度学习是机器学习研究领域中的一个新领域，对于机器学习来说，就是要通过特征提取，把现实世界的实体数字化地表达出来，然后去解决各种复杂问题。然而很多的机器学习问题，并不容易提取特征，有些复杂的问题往往还需要人工设计提取有效的特征集合。深度学习要解决的一个核心问题之一就是自发地将简单的特征组合成更复杂的特征，然后用这些特征去解决一些问题。

深度学习可以从数据中学习更加复杂的特征表达，这样可以使得后面的权重学习变得简单且有效。传统机器学习和深度学习区别如下图。

2.2深度学习框架TensorFlow

目前流行的深度学习框架各有优缺点，在各个领域受到了不同程度的应用。伯克利大学BVLC开发的caffe是最早出现的，而且使用也是最广泛的；Torch能够支持大部分机器学习算法；Mxnet比较小巧，灵活性很高；还有基于python开发出来的Theano等。各框架特点如图2

本文选择的深度学习框架是TensorFlow，深度学习的工具包有好几个，之所以选择tensorflow有两个原因：其一是google是大公司，产品支持和更新会好一点；其二是感觉python开发容易一点，比c 的caffee入手容易一点。总结的话，如果是公司里涉及到超大模型，超大数据集的话，就转Tensorflow吧；如果是自己小玩一下，想学习一下DL的模型，Theano和GPU已经足够用了，另外Theano的DL的那个学习网站做的很好，学习资料比Tensorflow丰富。

TensorFlow是谷歌2015年开源出来的主流深度学习框架，目前广泛应用于谷歌、优步、小米、京东等科技公司。Tensor(张量)表示N维数组，Flow(流)表示基于数据流图的计算，TensorFlow指的是张量之间通过计算相互转化，从数组节点的这一端流到那一端的计算过程。总的来说，将复杂的数据结构传送到人工智能神经网络中进行分析和处理的系统就叫TensorFlow。TensorFlow 是比较高级的机器学习库，用户用它去设计各种各样的神经网络结构特别地方便，而且不需要为了追求高效率亲自写 C 或或者C代码。它同Theano 一样都支持自动的去求导，用户不用再去用反向传播求解梯度。TensorFlow支持C、C 、还有python语言，而且它的核心代码都是用C 写的，这点跟theano一样，这样简化了线上复杂度。

2.3深度学习的应用

深度学习最早是因为图像识别兴起的，经过几年的发展，它推广到了机器学习的各个问题领域。目前，深度学习在机器学习的各个领域都表现很优秀出彩，具体应用在图像识别、音频处理、语音识别、自然语音处理、化学、机器人、金融等领域。例如，语音识别领域就有大家所熟知的苹果公司的Siri系统，可以根据用户的语音输入去帮你完成相应的操作；在计算机视觉领域较早的有OCR光学字符识别，它能够使用计算机程序将计算机无法理解的图片中的字符，汉字、字母、数字等，转化成计算机能够理解的文本格式。

第3章 卷积神经网络

卷积神经网络是深度学习在图像处理领域的应用。

卷积神经网络来源于视觉神经机制的应用启发，我们希望借助于计算机来处理分析以及识别图片中的内容，卷积神经网络在图像识别领域因为其超高的准确率，接近人工标注的了，在各个领域得到了广泛的应用。。1962年，Hubel和Wiesel提出了卷积神经网络这个概念，得益于他们在研究生物的神经元时发现它独特的网络结构可以很有效地降低反馈神经网络的复杂性。

3.1卷积神经网络CNN的常用结构

一般地，CNN的常用结构包括两层。其一为特征提取层，我们也叫它卷积层，卷积层中最重要的部分我们称他为过滤器、内核或者卷积核，卷积核将当前神经网络上的一个子节点矩阵转化为下一层神经网络上的一个单位节点矩阵，这个过程叫特征提取，一旦提取该局部特征后，这个点与其它特征间的位置关系也随之被确定；其二是特征映射层，我们也叫它池化层，池化层往往放在卷积层中间，它可以有效地缩写矩阵的尺寸，从而让全连接层的参数减少它的作用主要是加快计算速度防止过度拟合。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部敏感性与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率，减少了需要我们优化的参数数目。CNN网络结构简化为如图所示。

3．2卷积神经网络Alexnet