摘 要

近年来，随着各种机器学习、深度学习和计算机视觉算法的发展，手写数字识别越来越受到研究者的关注。深度学习是当代最强大的技术。本文介绍了利用卷积神经网络在知名图像数据库上进行手写数字识别的结果网络。深学习提高了精度，减少了计算时间，这是由简单的人工神经网络造成的。高精度有助于模型预测任何程度的失真数据。
本文的目的是观察CNN对手写数字进行不同隐藏层数和不同时代的分类精度的变化，并对其精度进行比较。对于CNN的性能评估，我们使用修改后的国家标准技术研究所（MNIST）数据集进行了实验。利用随机梯度下降和反向传播对网络进行训练算法。或者，笔尖的移动可以被“在线”感知，例如通过一个基于笔的计算机屏幕表面，这是一个通常更容易的任务，因为有更多可用的线索本文提出了识别手写数字（0到9）的方法著名的MNIST数据集以TensorFlow框架（library）和python为语言，当用户输入相应的数字时，机器将识别并以准确率百分比显示结果。我还使用Amazon Web Service在EC2实例上实现了相同的结果，并得到了类似的结果。为了提高精确度，减少培训和测试时间，需要使用GPU。使用GPU，我可以获得更多的并行性并获得更好的结果。
在试图解决这个问题时，面临着不同的挑战。手写数字并不总是相同的。实现一种模式分类方法来识别手写数字图像（0-9）的最小数据集中提供的手写数字。我们的应用程序使用的数据集由300个训练图像和300个测试图像组成，是MNIST数据集的子集（最初由60000个训练图像和10000个测试图像组成）。每个图像是一个28x28灰度（0-255）标记的单个数字表示。在这个数字分类问题中，我们预测到的普遍问题是1和7、5和6、3和8、9和8等数字之间的相似性，而且人们写的是同一个数字在许多不同的方式中，数字“1’’被写成’1’,’1’,’1’。类似地，7可以写成7、7或7。最后，不同个体笔迹的独特性和多样性也会影响数字的形成和出现。
最后，将我们的网络系统生成的结果与另一篇测试同一个手写数字数据库的研究结果进行了比较。似乎我们的实验有点差，这意味着还需要进一步的工作。

关键词：深度学习，手写识别，TensorFlow，MNIST手写数字数据库，神经网络，卷积神经网络（CNN），KNN，RFC。

Abstract

Handwritten digit recognition has recently been of very interest among the researchers because of the evolution of various Machine Learning, Deep Learning and Computer Vision algorithms. Deep learning is powerful technique in current generation. This paper presents the results of handwritten digit recognition on well-known image database using Convolution neural network. Deep learning increases accuracy and reduces computation time as was caused by simple artificial neural network. High accuracy facilitates model to predict any extent of distorted data.

The goal of this paper is to observe the variation of accuracies of CNN to classify handwritten digits using various numbers of hidden layers and epochs and to make the comparison between the accuracies. For this performance evaluation of CNN, we performed our experiment using Modified National Institute of Standards and Technology (MNIST) dataset. Further, the network is trained using stochastic gradient descent and the back propagation algorithm. This paper presents recognizing the handwritten digits (0 to 9) from the famous MNIST dataset using TensorFlow framework (library) and python as language and its libraries as user enters the respective digit the machine would recognize and show the results with accuracy percentage.

There are different challenges faced while attempting to solve this problem. The handwritten digits are not always the same implement a pattern classification method to recognize the handwritten digits provided in the MNIST dataset of images of handwritten digits (9-0). The dataset used for our application is composed of 300 training images and 300 testing images, and is a subset of the MNIST dataset (originally composed of 60,000 training images and 10,000 testing images). Each image is a 28x28 gray scale (0-255) labeled representation of an individual digit in. This classification number problem is the common problem we predict is the similarity between numbers such as 1 and7,5and 6, 3 and 8, 9 and 8, and people write the  same number in many different ways  In, the number “1” is written as ’1’,’1’,’1’. Similarly, 7 is written as 7, 7, or 7. Finally, the uniqueness and diversity of different individual handwriting will also affect the formation of numbers and appear.

At last, the result generated by our network systems are compared with those in another research paper tasted the same MNIST handwritten digit database. It seems that the result of our experiment is a little bit worse, which means further work is better.

Key Words：Deep learning, Handwritten recognition, TensorFlow，MNIST database, Neural Network, Convolutional Neural Network(CNN), KNN, RFC.

目 录

第1章 绪论 1

1.1 选题背景和意义 1

1.2 研究的内容 2

1.3 研究的现状 2

第2章 手写数字识别数据库建模和预处理 4

2.1 MNIST Database 4

2.1.2 MNIST Database 格式分析 5

2.1.3 读取MNIST数据集 6

2.2 深度学习算法的原理及应用 7

2.2.1 深度学习基本原理 7

2.2.2 卷积神经网络 7

2.2.3 CNN的手写数字识别 9

第3章 手写数字识别的设计与实现 11

3.1 TensorFlow 11

3.2 SOFTMAX 回归算法 11

3.3 实施手写数字识别模型 12

第4 章 结果分析与讨论 13

4.1对模拟结果的讨论 17

4.2. 现有研究工作进行比较 20

第5 章 结论 21

参考文献 22

致谢 23

第1章 绪论

• 1. 选题意义与背景

深度学习是机器学习研究的一个新领域，基于神经网络建立模拟人脑分析、 学习的模型，模仿人脑机制识别目标，感知信息。在手写数字识别上取得了令人惊异的进展。此前的一些神经网络研究也曾尝试解决这一问题，但因缺乏有效的深层网络模型以及训练算法而没有显著成果。

如今，手写数字识别是手写识别领域的研究活动。 近年来，提出了许多手写数字识别系统，用于实现应用的高精度和可靠性。触摸和重叠的字符, 不同的手写，模式和手写样式的人物增加了识别系统的复杂性。在手写识别领域，在人造神经网络（ANN），支持向量机（SVM）和深入学习的分类器等文献中提出了几种方法。虽然这些分类人已经报告了体面的识别精度; 手写数字识别仍然是开放的研究问题，并要求探索新技术和方法，这将进一步提高识别精度，运行时间和计算复杂性的性能。因此，在这项工作中，提出了一种手写数字识别的混合 CNN-SVM 的框架。本文的焦点是使用 CNN 从 MNIST Data Set 的输入手写数字图像中提取特征。 然后将这些学习功能传递给 SVM 分类器，以提出的手写数字识别实验。

在本文中，我们将建立基于深度学习技术的卷积神经网络（CNN），并设计了手写数字识别系统。我们使用 MNIST 数据集作为我们的培训和测集。手工数字数据库在人工神经网络（ANN）。MNIST 手写数字数据库可以从 Yann Le Cun 的页面取出。它已经成为快速测试模式识别和机器学习算法的理论。MNIST 数据库由原始的 NIST 数据库构建; 修改的 NIST 或 MNIST。它包含分类器训练的 60,000 名手写数字图像，用于分类器测试的 10,000 名手写数字图像，两者都从同一分布中绘制。 我们选择使用这个 MNIST手写数字数据库的原因是各种各样的。首先，如上所述，它是一种用于快速测试理论和算法的相对简单的数据库的标准。我们想测试神经网络应用于现实世界的实际问题，MNIST 数据库中的手写数字已经被预处理，包括分割和归一化，使得我们可能是一个很好的开始，我们在预处理和格式化上消费最少的工作。此外，还有很多研究人员使用 MNIST 评估他们的理论和算法，这意味着我们可以将结果与相当全面的文献相比。 这个工作考虑了识别手写数字的问题，即数字 0 到 9.通常，手写的数字识别是各种实际应用中的基本功能，例如在管理和财务中。这些行业需要具有优异的可靠性的优异的识别率。不需要的手写编号识别已经以优秀的结果应用于对书面形式的票据，以填写的折扣形式或邮政编码邮政编码等手写的形式。约束识别是指个人认为认为超出控制因素的因素限制其行为。相比之下，无约束的识别系统可以分解成几个部分：预处理，特征提取，分类，评估和验证。