摘 要

在计算机自然语言处理中，机器翻译一直是人们难以攻克的难题。尽管在过去二十年间统计机器翻译（SMT）领域取得了很大进展，但其所实现的翻译质量一直不能满足用户的要求。与此同时，统计机器翻译系统复杂度逐渐提高，许多不同的组件分开构建，这使得统计机器翻译实现进一步发展变得非常困难。最近这几年，随着深度学习的发展，神经机器翻译（NMT）成为了解决机器翻译问题的有效解决方案。 神经机器翻译的核心是一个单一的深度神经网络，其中有数百万个神经元，可以直接将源语句映射到目标语句。同时神经机器翻译功能十分强大，因为它是一个端到端的深度学习框架，可以有效的捕获句子中的远程依赖关系以及很好地概括未知的文本。

本论文旨在学习和探索神经机器翻译模型，理解神经机器翻译中需要的关键技术，在神经机器翻译模型的建立离不开神经语言模型和循环神经网络。通过学习神经语言模型，我们可以理解神经机器翻译中如何实现对词汇的表达。这种表达方式也被称为词向量。而学习和应用循环神经网络，可以帮助理解神经机器翻译模型中的编码器和解码器的工作过程。神经机器翻译是建立在深度学习上的，这里可借助谷歌开源深度学习框架TensorFlow，并在Tensorflow开源框架搭建神经机器翻译模型，实现英中文机器翻译。而神经机器翻译的性能由多方面决定，通过对比翻译结果，分析影响神经机器翻译性能的因素。

关键词：神经机器翻译；神经语言模型循环神经网络

Abstract

In computer natural language processing, machine translation has always been a difficult problem that people can hardly overcome. Although significant progress has been made in the field of statistical machine translation (SMT) in the past two decades, the quality of translations it has achieved has not been able to meet the requirements of users. At the same time, the complexity of the statistical machine translation system has gradually increased, and many different components have been separately constructed. This has made it very difficult for statistical machine translation to achieve further development. In recent years, with the development of deep learning, neural machine translation (NMT) has become an effective solution to the problem of machine translation. The core of neural machine translation is a single deep neural network with millions of neurons that can directly map source statements to target statements. At the same time, the function of neural machine translation is very powerful because it is an end-to-end deep learning framework that can effectively capture remote dependencies in sentences and well generalize unknown texts.

The purpose of this dissertation is to study and explore neural machine translation models and to understand the key technologies needed in neural machine translation. The establishment of a neural machine translation model requires a neural language model and a recurrent neural network. By learning neural language models, we can understand how to express vocabulary in neural machine translation. This expression is also called a word vector. Learning and applying a recurrent neural network can help understand the working process of the encoder and decoder in the neural machine translation model. Neural machine translation is based on deep learning. Here we can use TensorFlow, a Google open source deep learning framework, and build a neural machine translation model in Tensorflow open source framework to achieve English machine translation. The performance of neural machine translation is determined in many ways. By comparing translation results, the factors that influence the translation performance of neural machines are analyzed.

Keywords: neural machine translation; neural language models; recurrent neural networks

目 录

第1章 绪论 1

1.1研究背景及意义 1

1.2国内外研究现状 2

1.3技术支持 2

1.4研究内容及章节安排 3

第2章 语言模型 4

2.1语言模型简介 4

2.2统计语言模型 4

2.2.1 n 元语法模型 4

2.3神经网络语言模型 5

2.4神经语言模型创建 8

2.5 该章小结 12

第3章 循环神经网络 14

3.1循环神经网络 14

3.1.1 循环神经网络简介 14

3.1.2 循环神经网络模型 14

3.2长短时记忆网络结构 16

3.3实验 18

3.3.1循环神经网络实现 18

3.3.2长短时记忆网络实现 19

3.4本章小节 20

第4章 神经机器翻译模型 22

4.1 神经机器翻译模型介绍 22

4.2 通过Tensorflow实现机器翻译模型 24

4.2.1 开发环境介绍 24

4.2.2 神经机器翻译模型具体实现 25

4.3构建中英翻译模型 28

4.3.1 训练模型 28

4.3.2 生成翻译 31

4.4 本章小结 33

第5章 总结与展望 34

5.1 总结 34

5.2 展望 35

参考文献 35

感 谢 36

第1章 绪论

1.1研究背景及意义

近几年来，随着国内“互联网 ”的倡议，诞生了众多商业创新和技术创新，然而科技界的聚光灯却时时被人工智能和深度学习所创造的一个个奇迹所占据着，从阿尔法狗肆虐围棋界到集成独立AI(Artificial Intelligence)人工智能专用NPU(network process units)经网络处理单元移动芯片华为麒麟970，都预示着我们即将进入“AI ”的时代，而对于AI“质”与“量”的提升，离不开高性能计算平台的发展，更离不开算法的进步。而深度学习则成为了推动算法进步的主力军。

而深度学习作为机器学习的分支，其本质是利用算法解析数据，从中学习，然后对真实世界中的事件做出决策和预测。同时也需要大量的数据作为依托，提供训练模型的精度。因为引入了深度神经网络，利用计算机模拟神经元结构，通过多个隐含层神经网络结构，使计算机在自然语言处理，图像识别，语音识别等方面能够拥有AI智慧^[1]。

TensorFlow作为google发布的一款用于深度学习的开源框架，目前被多个团队用于开发和研究各种基于深度学习的商用产品，如语音识别，谷歌地图，谷歌翻译等^[2]。同时TensorFlow可以使用GPU进行复杂运算，甚至可以进行分布式计算，因此它的计算速度远比传统方法快^[3]。而在这短短几年内，深度学习推广到了机器学习的各个领域，可以预测TensorFlow作为主流的深度学习开源框架，会被越来越多的人采用。学习和应用TensorFlow开源框架，是此次研究课题的意义之一。

文本翻译作为自然语言处理的一个分支，对于人工翻译，因为基于专业人士的强大知识背景，和对相关语言的理解，使得翻译的质量远高于机器翻译。而机器翻译的概念虽然被早早提出，但前期基于各种原因，例如自然语言的建模不成熟，算法不够先进以及早期计算机运算能力的不足等等，使机器翻译一直难以达到日常使用标准，但随着深度学习的兴起，以及谷歌翻译所达到的效果，让计算机像人那样实现自然语言的翻译，越来越成为了可能，研究此课题，可以学习当下流行自然语言的建模，实现文本向量化表达同时学习神经网络在自然语言处理上的应用^[4]。

1.2国内外研究现状

因为传统机器翻译的不良表现，特别是统计机器翻译模型无法解决语义语法等问题^[5]。各大互联网公司将基于深度学习的神经机器翻译作为机器翻译发展的方向。目前无论是国外谷歌的谷歌翻译和微软的Bing Microsoft Translator还是国内的百度翻译和有道翻译，都是基于自身构建的深度学习框架搭建的神经机器翻译系统。

神经机器翻译系统同时依托于互联网海量数据，可以实现对机器翻译模型不断优化，从而使机器翻译不断接近人工翻译的水平。这里以谷歌发布的谷歌神经机器翻译（GNMT）为例，在2016年，谷歌发布了基于TensorFlow框架下的GNMT：Google Neural Machine Translation System（谷歌神经机器翻译系统）^[6]。该系统采用的就是深度学习的训练方式。并采用了深度学习中的神经网络架构循环神经网络（RNN：Recurrent Neural Networks），并采用的seq-seq的工作方式，可以实现一个输入序列（源语句）到一个输出序列（目标语句）的映射^[7]。而与基于短语的翻译系统相比，这种方式所需的工程设计更少，精确度更高。而在国内，机器翻译似乎兴起的更早，早在2015年，百度发布的神经机器翻译系统，是世界上首个互联网NMT（Neural Machine Translation）线上产品。其采用的是百度内部研发的深度学习框架PaddlePaddle。目前基于该系统所研发的百度翻译系统已经应用于市场，并有不俗的表现。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：