论文总字数：22765字

摘 要

手写体数字识别技术是模式识别领域的重中之重，具有广泛的应用前景。手写体数字识别技术在财务报表、邮政编码、统计报表等方面得到了很好的应用。随着信息全球化进程的加速，手写体数字识别技术的研究具有重大的现实意义，对于识别结果稳定性和准确性的要求也越来越高。近年来，基于卷积神经网络的图像处理在模式识别领域取得了迅速发展，为手写体识别提供了更多的方案。通过独有的二维图像处理方式和在分类识别过程中对于图像特征自动抽取的特点，可以大幅度提高数字识别算法的泛化能力，进而获得更加精准的识别结果。

本文研究了卷积神经网络的网络结构以及各层功能实现的原理，搭建LeNet-5网络模型用于手写体数字识别。同时介绍了训练时卷积神经网络中的梯度下降算法，以及向后传播和向前传播过程，设计网络模型中的各层初始化参数和训练参数，选取手写体MNIST数据库训练和测试LeNet-5网络模型。对于手写体数字识别过程中LeNet-5网络模型出现的识别率不高等问题，本文提出了三种优化方法：第一种方法通过增加隐含层数目，使得识别率提高了2.36%；第二种方法通过加入Dropout层提高网络模型的泛化能力，使得识别率进一步提高了0.17%；第三种方法采用ReLU函数作为激活函数加快了网络模型的收敛速度，解决训练时LeNet-5模型不收敛问题，使得识别率在之前的基础上又提高了0.37%。

关键字：卷积神经网络网络 手写体数字识别 卷积 池化

Parameter Optimization Method of Convolutional Neural Network

ABSTRACT

As an important research signory of pattern recognition, the handwritten digit recognition technology has broad application prospects. The handwritten digit recognition technology has been well applied in financial statements, postal codes, statistical reports, etc. As the process of information globalization accelerates, the study of handwritten digit recognition technology has a great practical significance, and the requirements for the stability and accuracy of recognition results are also increasing. In recent years, the convolutional neural networks have achieved rapid development in the area of the image processing and recognition, which provides more solutions for handwriting recognition. Through the idiographic two-dimensional image processing method and the characteristic of automatically extracting image features, the generalization ability of the digital recognition algorithm can be greatly improved, and then more accurate recognition results can be obtained.

This paper studies the network structure of the convolutional neural network and the working theory of each layer, then builds a LeNet-5 network model for handwritten digit recognition. This paper also introduces the gradient descent algorithms during training, meanwhile it studies the forward propagation and the backward propagation in the convolutional neural network, and it need to design the initialization parameters in the network model. What is more, it also need to set up the training parameters. When training and testing the LeNet-5 network model, it needs to select the handwritten MNIST database. For the problem that the recognition rate of the LeNet-5 network model is not high, this paper proposes three optimization methods. The first method increases the recognition rate to 2.36% by increasing the number of hidden layers. The second method can raise the generalization capability of the network model by adding the Dropout layer, so the recognition rate is further increased by 0.17%; The third method uses the ReLU function as the activation function to speed up the convergence speed of the network model, solve the problem of non-convergence of the LeNet-5 model during training, and increase the recognition rate by 0.37% based on the previous basis.

Keywords: Convolutional neural network; handwritten digit recognition; convolution; pooling

目 录

摘 要 I

ABSTRACT II

第一章 绪论 1

1.1 课题研究的背景 1

1.2 国内外研究现状 2

1.2.1 手写体识别研究现状 2

1.2.2 卷积神经网络研究现状 2

1.3 课题研究的内容 3

1.4 论文组织结构 3

第二章 卷积神经网络概述 5

2.1神经网络概述 5

2.2卷积神经网络 6

2.2.1 卷积神经网络概述 6

2.2.2 卷积神经网络的特点 7

2.3 卷积神经网络模型结构 8

2.4 卷积神经网络模型的参数选择 10

2.4.1 手写体数字识别的网络模型 10

2.4.2 训练参数的选择 12

2.5 本章小结 13

第三章 基于卷积神经网络的手写数字识别算法 14

3.1 MNIST数据库 14

3.2 手写体数字识别算法设计 15

3.3 中间层的算法设计 18

3.4 权值更新过程 21

3.5 仿真实验与结果分析 21

3.5.1 数据样本的训练和测试流程 21

3.5.2 传统全连接神经网络的识别结果分析 22

3.5.3 优化LeNet-5模型的识别结果分析 23

3.6 本章小结 27

第四章 总结 29

参考文献 30

致 谢 32

第一章 绪论

1.1 课题研究的背景

在互联网技术和全球信息化进程迅猛发展的时代背景下，大量的数字信息需要得到处理，大数据时代已经到来[1,2]。为了提高数据的处理效率，通过计算机进行数字识别日益成为一个广泛关注的研究话题。手写体识别(Handwritten Character Recognition)是模式识别的重要研究领域[3]，同时作为光学字符识别技术的分支，具有广泛的应用前景。手写体识别处理的数据一般包括两种：第一种是文字信息，即各国家的文字，如汉字、法文、俄文等；第二种是数据信息，即由某些特殊符号和阿拉伯数字组成的数据信息，如考生编号、学生成绩、财政报表、快递单号等，处理这种数据就要用到手写体识别技术。我国科学技术的发展日新月异，手写体数字识别研究的意义也更加重大，将其投入到现实应用将会为社会带了前所未有的经济效益。

随着识别技术应用的快速发展，手写体字符种类繁多、书写风格多样且缺乏规律性等特点更加突显，提取图像特征的过程变得非常困难，最终的识别结果也变得不理想。因此，如何在短时间内得到较高的手写体识别性能，需要进一步研究。传统识别方法由于泛化能力不足和函数表达能力不强，达不到较高的识别准确度。基于卷积神经网络的图像处理在模式识别领域取得了迅速发展，为手写体识别提供了更多的方案。

请支付后下载全文，论文总字数：22765字