论文总字数：20310字

摘 要

在现实生活中，人们通过“特征”来描述事物，而深度学习通过建立一个深度网络进行特征提取，来模拟人脑进行分析和学习。良好的特征在很大程度上影响着最终算法的准确性，寻找好的特征也成为系统主要的计算和测试工作。本文的研究内容；利用自编码器在特征选择与表达上的良好的特性，尤其在数据降维方面的优越性，将其应用于字符识别。用大量无标签手写字符作为原始数据对自编码器进行预处理。然后结合LBFGS算法微调自编码结构的权值。建立起自编码模型后加入Softmax分类器，对手写字符图像进行预测，取得了很好的分类能力。本文同时也分析了一些因素对自编码网络结构产生的影响，这些因素主要包括隐含层层数，节点数，迭代次数，不同的优化算法。总的来说，自编码器是一种新颖的非线性降维方式，是处理数据的一种较为高效的方法，也可以作为转换数据表达方式的中间环节。

关键词：深度学习 特征表达 字符识别 自编码器

The Research of Auto-Encoders’ Technology in Deep Learning

ABSTRACT

In real life, we describe things through the "characteristics", while the deep learning makes feature selection through establishing a deep network to simulate the human brain in the process of analytic and study. To a large extent, the good characteristic representation affects the accuracy of the final algorithm, and the search for good features has become the main calculation and testing work of the system. In this paper, we mainly study the good effect of Auto-Encoder on feature selection and expression, especially on the stability of reducing dimensionality, and apply it on the character recognition. Use a large number of unlabeled handwritten characters as the original data to pre-train the Auto-Encoder and then combine with the LBFGS algorithm to fine-tune the weights of Auto-Encoder. After establishing the Auto-Encoder, add the Softmax classifier to test the accuracy of the correctly-predicted handwritten character images. The Auto-Encoder achieves a good classified ability. This paper also analyzes the influence of some factors on the structure of Auto-Encoder network. The factors mainly include the number of hidden layers, the number of nodes, the number of iterations, and the different optimization algorithms. In a way, Auto-Encoder is a relatively new nonlinear method to reduce dimensionality, and it is also an effective way to deal with the data, which can be used as a good way to transform the representation.

Keywords: Deep learning; Representation of characteristics; Character recognition; Auto-Encoder

目 录

摘 要 I

ABSTRACT II

第一章 绪论 5

1.1 研究背景 5

1.2 国内外研究现状 5

1.3 论文研究内容、意义及应用 6

1.4 论文的结构安排 7

第二章 自编码模型 8

2.1深度学习 8

2.1.1概述 9

2.1.2 神经网络模型 9

2.2 反向传导算法 11

2.3 自编码的架构 14

2.4 高级优化算法 15

2.4.1常用算法介绍 15

2.4.2优化算法的比较 16

2.5 本章小结 18

第三章 稀疏自编码模型 19

3.1 稀疏自编码器 19

3.1.1概念 19

3.1.2主要算法 20

3.2 Softmax分类器 21

3.3数值实验 23

3.4本章小结 25

第四章 栈式自编码模型 26

4.1网络架构 26

4.2特征提取 27

4.3隐含层层数与准确率的关系 29

4.4基于两层栈式自编码的系统 30

4.5本章小结 35

第五章 总结和展望 36

5.1 论文总结 36

5.2 课题研究展望 36

参考文献 37

致谢 38

第一章 绪论

1.1 研究背景

自2006年Hinton(Geoffrey Hinton)等人在“Science”刊文提出了深度学习^[1](深度结构学习，Deep Structured Learning)以来，深度学习在各个行业都得到了飞速的发展。学术界，斯坦福大学、MIT、纽约大学、多伦多大学等一大批高校都在研究深度学习^[2]；产业界，拥有大数据的Microsoft、谷歌、阿里巴巴、Baidu、IBM等互联网巨头相继开始建设与之相关的研究项目。深度学习在社会各界日渐成为研究热点，具体原因有如下三点:

第一点：在这个数据大爆炸的年代，简单模型已经不能满足时代要求，而复杂模型反映出的深层特征可以作为更精准的依据^[3]。上世纪80年代以来，误差反向传播算法^[4]（BP算法）的出现对于基于统计模型的机器学习的研究具有里程碑意义，也因此出现了浅层学习的概念和模型。研究者们提出如支持向量机（SVM）、Boosting、最大熵方法等模型。这些模型在理论分析和实际应用中都取得了很好的成效 ^[5]。但是，新世纪的“信息大爆炸”使得对海量数据进行分析和精准预测变成了时代要求。在大数据处理中，样本等于总体，要实现使用复杂算法快速简单得地解决问题也变得相当困难。当时行业内都盛传这样的说法：简单模型在处理数据时比复杂模型更好。然而不久后的研究表明在深度学习中复杂模型具有更好的表达能力，更能发现隐藏在大量数据背后更深刻更本质的信息。

第二点：计算机技术的发展激发了人们对深度学习的研究热情。当前计算机往巨型化、微型化、网络化和智能化方向发展。其处理数据的能力和运行速度的大幅提高为复杂算法的实现奠定了基础，也为深度学习的研究提供了保障。

请支付后下载全文，论文总字数：20310字