摘 要

如今在工作和生活的各个方面，经常遇到身份证图像采集和验证的问题。对于身份证图像上的字符进行识别，如果采用人工录入信息的方式，操作很繁琐，如果采用现有的光学字符识别技术，准确率偏低。而深度学习技术不断发展进步，解决了目前计算机视觉领域的一些热门问题，如图像识别和图像检索。并且深度学习技术与传统模式识别技术相比，免去人工提取特征，识别率更高。本文基于深度学习的技术背景，主要的研究内容如下：

1）身份证图像涉及个人隐私，很难获取其数据训练集。针对此问题，本文采用获取身份证上印刷体汉字和数字的数据训练集的方法，利用Python图像库（PIL）将13类汉字印刷体字体转换成6492个类别，建立了较大的字符训练集；

2）如何获取身份证图片上的字符是在设计中一个重要问题。本文采用水平和垂直投影技术，首先对身份证图像进行预处理，然后对图片在水平和垂直方向上像素求和，区分字符与空白区域，完成了身份证图像中字符定位与分割工作，有很好的切分效果；

3）在模型训练中模型的选择与设计是一个重要的环节，本文选择Lenet模型，发现模型层次太浅，然后增加卷积层和池化层，设计出了改进的深层Lenet模型，然后采用Caffe深度学习工具对模型进行训练，并在训练好的模型上进行测试，实验表明，模型的测试精度达到96.2%。

基于上述研究，本文设计并实现了身份证图像自动识别系统，该系统先从移动端拍照获取身份证图片，然后在Flask轻量级web服务器上将身份证图像输入到模型中进行识别，并返回识别结果。设计的系统能准确识别出身份证上文字信息，具有较高的准确率，有一定的实用价值。

关键词：深度学习；Caffe；深层Lenet模型；字符定位与分割

Abstract

Now in all aspects of work and life, we often encounter ID card image acquisition and verification issues. For the identification of characters on the ID card image, if the use of manual input information, the operation is very cumbersome, if the use of existing optical character recognition technology, the accuracy rate is low. Deep learning continues evolve, which can solve the current field of computer vision of some popular issues, such as image recognition and image retrieval. And compared with the traditional pattern recognition technology, Deep learning eliminating the need for artificial extraction, recognition rate is higher. Based on the background of deep learning, the main research contents are as follows:

1) ID card images involve personal privacy, it is difficult to obtain their data training set. In order to solve this problem, this thesis uses the method of obtaining the data training set of printed Chinese characters and numbers on the ID card, and uses the Python image library (PIL) to convert 13 kinds of Chinese characters into 6492 categories, and establish a large character training set ;

2) How to get the ID card The character on the picture is an important issue in the design. In this thesis, the horizontal and vertical projection technology is used to preprocess the image of the ID card, and then the pixels are summed in the horizontal and vertical directions, and the characters and the blank area are distinguished. The characterization and segmentation of the ID card image are completed. Good cut effect;

3) In the model training, the selection and design of the model is an important link. In this thesis, Lenet model is selected, the model level is too shallow, and the convolution layer and the pool layer are increased. The improved deep Lenet model is designed and then Caffe Depth learning tools to train the model, and in the training of the model on the test, the experiment shows that the model of the test accuracy of 96.2%.

Based on the above research, this thesis designs and realizes the automatic identification system of ID card, which takes the ID card from the mobile end and then enters the ID card image into the model on the Flask lightweight web server and returns Identify the results. The design of the system can accurately identify the ID card on the text information, with a high accuracy, there is a certain practical value.

Key Words: Deep learning; Caffe; Deep Lenet model; Character location and segmentation

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 研究背景和意义 1

1.2 国内外研究现状 2

1.2.1 文字识别研究现状 2

1.2.2 深度学习研究现状 2

1.3本论文主要工作和内容结构安排 3

1.3.1 主要工作 3

1.3.2 内容结构安排 3

第二章 关键技术 5

2.1 深度学习介绍 5

2.1.1 深度学习基本思想 5

2.1.2 卷积神经网络（CNN） 6

2.1.3 Lenet模型和Alexnet模型 7

2.2 深度学习框架Caffe介绍 8

2.3 字符定位与切割 9

2.4 本章小结 9

第三章 模型训练 10

3.1 数据预处理 10

3.1.1 获取数据样本库 10

3.1.2 图片数据预处理 12

3.2 网络模型配置 13

3.2.1 模型的选择 13

3.2.1 网络模型设计 15

3.2.2 Solver配置文件设计 16

3.3 模型训练与测试 18

3.3.1 环境准备 18

3.3.2 训练并测试模型 18

3.3.3 字符识别实验 20

3.4 本章总结 22

第四章 系统设计与实现 23

4.1 系统结构与设计 23

4.2 模型服务器端设计 24

4.2.1 Flask服务器搭建 24

4.2.2 身份证图片预处理 25

4.2.3 身份证信息识别 27

4.3 Android移动端设计 28

4.3.1 图片处理 28

4.3.2 数据传输 29

4.4 本章小结 30

第五章 总结与展望 31

5.1 工作总结 31

5.2 工作展望 31

参考文献： 33

致 谢 34

第一章 绪论

1.1 研究背景和意义

随着时代的发展，信息化普及程度越来越高，我们生活中很频繁的用到第二代身份证和其它各类用于证明身份的证件。在公共场所、办公生活的各个方面我们会经常遇到身份的采集和验证等情况，传统的采集和验证身份信息的方式一般采取人工的手段，这种方式的弊端有录入复杂、效率低下、管理不便等。

同时随着手机等智能终端设备的普及，通过移动终端摄像头获取、处理、分享信息已经逐渐成为客观的发展趋势。在日常生活和公共场合会遇到很多身份证验证与信息检测的工作，比如手机APP上传身份证图片信息。如果能做到在交通、办公方面通过移动终端对身份证件进行扫描，手机APP自动识别拍摄的身份证图像并处理信息，实现身份信息的自动录入，提高身份信息查询的业务自动化程度，会提高很多工作效率，减少很多人工操作的流程。

光学字符识别技术(Optical Character Recognition，OCR)是比较成熟的字符识别的技术，应用领域广泛。Tesseract^[1]是一个OCR的系统，已经有三十多年历史，现在托管在Github上，如今仍有少数人还在使用着Tesseract。Tesseract在设计之初主要用在识别英文字符上，但是因为英文字符只由26个字母组成，而其他一些复杂的语言字符数量庞大，比如汉字，用Tesseract识别的准确率很低，这也是OCR现在存在的问题。所以将OCR技术用在身份证图像中的字符识别上的识别率不高。