论文总字数：25503字

摘 要

随着科技的快速崛起，便捷、智能的城市体系带给人们生活翻天覆地的变化。人工智能也摘下了它神秘的面纱，逐渐走进大众的视野。这项技术带来的不再只是机械化生产力的提高，而是通过模拟人类感知世界的角度，在贴合人类生活的基础上提供更加人性化的服务。深度学习，效仿大脑神经的结构搭建神经网络模型来帮助计算机学习，在人工智能从弱人工智能到强人工智能的发展过程中发挥了重大作用。车牌识别，一项大众耳熟能详的智慧交通技术，普遍应用于交通管辖和停车管理等方面。

本课题区别于传统识别技术，研究基于深度学习的端到端识别模型，设计出一种综合考虑各方面因素的车牌识别技术，从而大大提高识别精度和识别速度。定位阶段使用Yolov3算法模型对图片或视频中车牌的做定位处理，检测阶段使用CRNN CTC算法模型对根据定位裁剪出来的车牌号区域进行文本识别并返回序列结果。采用的Yolov3算法节省传统车牌的定位过程中存在的大量预处理操作，而CRNN CTC模型通过寻找序列的关系简化识别流程。

模型的整体将车牌识别分为两部分，将定位和检测分离并各自进行优化提升，能各自深入地改进车牌识别的精度和速度。定位部分算法的精度达到96%，对后续车牌号检测的部分缓解了定位误差导致车牌号缺失的问题。车牌号检测算法使用了360万中文数据集进行预训练，准确率达97.7%。使用Keras框架和Tensorflow框架来复现网络模型进行训练，并使用python和Android Studio来展示应用场景的多样性。

关键词：深度学习；车牌识别；Yolov3算法；CRNN CTC模型

Research and Application of License Plate Recognition Technology Based on Deep Learning

Abstract

With the rapid rise of technology, the convenient and smart city system has brought about earth-shaking changes in people's lives. Artificial intelligence has also taken off its mysterious veil and gradually entered the public's field of vision. What this technology brings is no longer just an increase in mechanized productivity, but a more humane service based on human life by simulating the perspective of human perception of the world. Deep learning, imitating the structure of the brain's nerves to build a neural network model to help computer learning, has played a major role in the development of artificial intelligence from weak artificial intelligence to strong artificial intelligence. License plate recognition, a well-known smart transportation technology, is widely used in traffic jurisdiction and parking management.

This subject is different from the traditional recognition technology, researching the end-to-end recognition model based on deep learning, and designing a license plate recognition technology that comprehensively considers various factors, thereby greatly improving the recognition accuracy and recognition speed. In the positioning stage, the Yolov3 algorithm model is used to locate the license plate in the picture or video, and the CRNN CTC algorithm model is used in the detection stage to perform text recognition on the license plate number area cropped according to the positioning and return the sequence result. The adopted Yolov3 algorithm saves a large number of preprocessing operations in the process of traditional license plate positioning, while the CRNN CTC model simplifies the recognition process by looking for sequence relationships.

The overall model of the model divides the license plate recognition into two parts, separates the positioning and detection and optimizes and improves each, which can deeply improve the accuracy and speed of the license plate recognition. The accuracy of the positioning algorithm reaches 96%, and the part of the subsequent license plate number detection alleviates the problem of missing license plate numbers caused by positioning errors. The license plate number detection algorithm uses 3.6 million Chinese data sets for pre-training, with an accuracy rate of 97.7%. Use the Keras framework and Tensorflow framework to reproduce the network model for training, and use python and Android Studio to show the diversity of application scenarios.

Keywords: Deep learning, license plate recognition, Yolov3 algorithm, CRNN CTC model

目 录

摘 要 I

Abstract II

第一章 引 言 1

1.1 研究背景与意义 1

1.2 国内外研究现状 1

1.2.1 深度学习研究现状 1

1.2.2 目标检测研究现状 1

1.2.3 OCR技术研究现状 2

1.3 研究内容与技术路线 2

第二章 深度学习理论与框架 4

2.1 深度学习概论 4

2.2 卷积神经网络 4

2.2.1 卷积神经网络原理与网络结构 4

2.2.2 卷积层 4

2.2.3 池化层 5

2.2.4 全连接层 6

2.3 循环神经网路 7

2.3.1 循环神经网络原理与网络结构 7

2.3.2 循环神经网络的改进 7

2.4 Keras 框架和Tensorflow 框架 8

2.5 本章小结 8

第三章 车牌定位算法设计 9

3.1 传统定位算法 9

3.2 Yolov3算法理论 9

3.2.1 Yolov3算法演变 9

3.2.2 Yolov3算法原理及网络结构 10

3.3 基于Yolov3算法的车牌定位 11

3.3.1 数据集制作 11

3.3.2 训练算法模型 13

3.3.3 计算模型指标 15

3.3.4 测试算法模型 15

3.4 本章小结 16

第四章 车牌识别算法设计 17

4.1 传统OCR技术 17

4.2 CRNN CTC算法理论 17

4.2.1 CRNN网络模型 17

4.2.2 LSTM网络模型 18

4.2.3 CTC原理 19

4.3 基于CRNN CTC算法的车牌识别 19

4.3.1 数据集制作 19

4.3.2 训练算法模型 20

4.3.3 测试算法模型 21

4.4 本章小结 21

第五章 车牌识别技术应用场景 22

5.1 车牌识别技术应用调研 22

5.2 小区闸机应用 22

5.2.1 小区闸机应用概述 22

5.2.2 系统设计 22

5.2.3 系统实现 24

5.3 小区违停APP应用 27

5.3.1 小区违停APP应用概述 27

5.3.2 系统设计 27

5.3.3 系统实现 29

5.4 本章小结 33

第六章 总结与展望 34

6.1 课题总结 34

6.2 课题展望 34

致 谢 35

参考文献 36

附 录 37

引 言

研究背景与意义

随着经济、科技的快速进步，人类生活水平的提升不再单纯的依赖生产力的发展，人工智能的迅猛发展带来的衣食住行各个方面的影响都是一目了然。经济景气的大环境带动了人们生活水平的显著提升，车辆也不再是少数家庭的选择。截至十月份，我国的机动车保有量已经达到了3.65亿，而汽车驾驶人高达4.1亿人。^[1]汽车确实带来了出行的便利，但是也伴随的问题也是不可忽视的，由此可见车辆管理的重要性。面对汽车量的急剧攀升，人工管理被迫退出历史舞台，智能管理应运而生。

车辆管理最常见的就是交通管理、小区和停车场的出入口管理，是车牌识别与电子控制技术、传感器技术等相结合的综合系统。传统的车牌识别技术经过图片预处理、车牌定位、字符分割、车牌识别的步骤，每一次的识别车牌都要经历大量的预处理步骤、以及繁琐的分割字符，加之当时的处理器运算能力有限，面对复杂的环境下的真实样本存在精度很低，识别速度慢的问题。^[2]其次，与外国车牌识别问题比较，中文车牌号的识别技术难度也因为中文字符的复杂性提升了很多。随着计算机软硬件的更新升级以及互联网的数据共享，CPU、GPU处理速度不断提高带来了深度学习的春天。基于深度学习的车牌识别，可以对车牌进行端到端的识别，能够良好的应对不同因素影响下的真实样本的测试。通过控制数据集的数据分布，可以根据不同应用场景下的调整车牌识别的侧重点，应用具有灵活性。

国内外研究现状

深度学习研究现状

深度学习作为时下最热门的人工智能技术，它广泛应用于图像检测、图像分类、语音识别、人脸识别等场景，是人工智能的发展上的一大步。作为机器学习的一类分支，采用神经网络结构作为骨干网络，学习样本数据的内在规律和表示层次，最终能够让机器仿照人类的感知方式接收数据并产生符合人类认知的结果。最早的深度学习框架，可以追溯到上个世纪八十年代提出的认知机。后来在人工神经网络的基础上加入了反向传播算法，用于手写邮政编码的识别，让深度学习成功走入市场。在硬件资源和处理器运算能力有限条件下，深度学习沉寂了相当一段时间。直到07年往后，在拥有互联网数据共享、分布式计算机的大时代里，深度学习才重新引起重视。目前，深度学习主要在计算机视觉和自然语言处理领域占据主流地位：视觉上对于图像的分类已经超过人眼所能达到的最高精度；语言翻译上也能符合人类翻译习惯。

目标检测研究现状

目标检测，即在图像中找到存在的真实目标，给出真实目标的位置和类别信息等。传统的目标检测技术是使用机器学习算法和滑动窗口的组合，对候选框提取特征放入到类似支持向量机（Support Vector Machine, SVM）的机器学习算法中进行分类。现在的目标检测广泛应用到深度学习的相关技术，其中基于卷积神经网络（Convolutional Neural Networks, CNN）的目标检测是典型应用。卷积神经网络模型对于图像的特征识别的效果要好于一般的视觉技术，且根据对基础网络的改进衍生出一系列的网络模型：有VGG模型、Yolo系列模型、GoogleNet 模型等。这里的每个模型都根据CNN模型进行了一系列模型改造的尝试，帮助CNN对于特定问题有更好的解决方面。基本可以将模型分为Two-stage和One-stage这两类目标检测算法，前者分为目标分类和目标定位两部分，后者则是直接对目标物体进行逻辑回归。^[17]Two-stage目标检测算法相对于One-stage目标检测算法，准确率更高，但是速度不及后者。Two-stage目标检测算法的典型代表有R-CNN、Fast R-CNN、Faster R-CNN等；One-stage目标检测算法的典型代表则是Yolo系列、SSD、CornerNet等。

OCR技术研究现状

传统文字识别（optical character recognition，OCR）意思是利用光学技术对字符进行扫描识别转化为计算机编码，后面用于统一文字识别技术的名词。它不是特定的一种技术，它只是文字识别技术的一个集合。传统OCR技术包括印刷体文本识别、手写体文本识别、大字符集识别这三个大方向。中文OCR相较于外文OCR起步晚，上个世纪九十年代中后期才进行汉字识别综合研究，也经历了印刷体单字体识别、印刷体多字体识别和多字体混排识别这几个时期。现代的OCR可以根据场景不同分为专用OCR和通用OCR。其中通用OCR技术可用于多种复杂的自然场景下的文本识别，可以应对背景丰富、文本变形、残缺遮挡等问题。不论传统OCR还是现代OCR技术，主要的技术攻克方向都只有文字检测和文字识别。传统OCR技术的流程一般为：输入图像，图像预处理，文字检测，字符分割，字符识别组合，输出识别结果。^[3]而现代的OCR技术基于深度学习的神经网络模型，采用循环神经网络（Recurrent Neural Network, RNN）和长短期记忆网络（LSTM，Long Short-Term Memory）等针对序列模型的神经网络进行识别，很好的引入了缺失的上下文信息。

研究内容与技术路线

本文主要是研究基于深度学习神经网络模型如何对车牌进行定位和识别，挑选出的算法所搭建模型对比传统车牌识别技术的优劣分析，以及该车牌识别技术可应用的前景。本课题的车牌识别技术通过结合深度学习的卷积神经网络CNN和循环神经网络RNN两大基础模型，最大发挥卷积神经网络优秀的特征提取能力和循环网络的序列关系能力。区别于一般车牌识别的流程，不再需要对每张图片进行大量的预处理操作，而是使用Yolov3算法对图像中的车牌区域进行截取定位，获取车牌的文本序列。车牌的识别也不再采用字符分割法进行单个字符识别组合，而是采用CRNN CTC的算法进行端到端的文本识别。通过Keras框架和Tensorflow框架分别复现车牌定位模型和车牌识别模型，训练模型获取较好的权重文件后，测试真实环境下的车牌识别效果。

剩余内容已隐藏，请支付后下载全文，论文总字数：25503字