摘 要

近年来，随着深度学习的不断发展，在自然语言处理上有了很大的应用，利用循环卷积神经网络结构可以处理很多自然语言方面的问题，从而使自然语言处理得到了非常大的发展。而随着自然语言处理得到了发展，智能对话系统应运而生，这也使得智能对话系统在近年来的人工智能方面非常的流行与火热。

目前最主要的三种对话系统分为三种，一种是基于人工模板的对话系统，所有的问答模板都是人工规定好的，一种是基于检索的对话系统，是根据问题在语料库中搜索然后给出答案，最后一种就是基于深度学习的生成式对话系统，而生成式对话系统使用的最多的就是基于RNN的Seq2Seq2框架。

本文研究的就是基于深度学习的生成式对话系统，沿用了比较传统的基于RNN的Seq2Seq框架，对其有部分改进，将RNN换成具有更加长久记忆的LSTM神经网络，并且加上attention机制和Dropout机制，能够更加有效的改善RNN存在的一些缺陷。本文将对此进行研究，学习Word2vec训练工具来将中文语料库训练成词向量错位模型输入，减少计算量，然后学习基于LSTM的Seq2seq模型来检测对话预测效果，学习爬虫以及文本预处理的方法和python设计GUI界面的方法。

关键词：Seq2Seq模型；tensorflow库；LSTM神经网络

Abstract

In recent years, with the continuous development of deep learning, there has been great application in natural language processing. The use of circular convolutional neural network structure can deal with many natural language problems, thus making natural language processing a very big development.With the development of natural language processing, intelligent dialogue systems have emerged, which makes the intelligent dialogue system very popular and hot in recent years.

At present, the three most important dialogue systems are divided into three types. One is a dialogue system based on manual templates. All the question and answer templates are manually specified. One is a retrieval-based dialogue system. It is based on the problem and searches in the corpus. Then the answer is given. The last one is a generous dialogue system based on deep learning. The most used of the production dialogue system is the Seq2Seq2 framework based on RNN.

This paper is based on the deep learning-based generative dialogue system, which follows the more traditional RNN-based Seq2Seq framework, which is partially improved, replacing RNN with LSTM neural network with more permanent memory, and adding attention mechanism and Dropout. Mechanisms can more effectively improve some of the shortcomings of RNN. This article will study this, learn the Word2vec training tool to train the Chinese corpus into the word vector misplaced model input, reduce the amount of calculation, and then learn the LSTM-based Seq2seq model to detect the dialogue prediction effect, learn the crawler and text preprocessing method and python The method of designing the GUI interface.

Keywords: Seq2Seq model; tensorflow library; LSTM neural network

目录

第1章 绪论 1

1.1 引言 1

1.2 论文研究背景与意义 1

1.3 国内外研究发展史与现状 2

1.4 课题的主要内容及章节安排 3

第2章 智能对话系统的构建原理 5

2.1 WordEmbedding技术 5

2.2 深度学习技术 8

2.2.1 深度学习介绍 8

2.2.2 深度学习应用 9

2.2.3 神经网络介绍 10

2.3 seq2seq模型 14

2.3.1 seq2seq介绍 14

2.3.2 Attention机制 15

2.4 本章小结 15

第3章 总体实验设计 16

3.1实验设计总流程图 16

3.2词向量处理 16

3.2.1 准备原语料库 16

3.2.2 语料库分词 17

3.3 Seq2Seq模型 19

3.3.1 定义seq2seq类 19

3.3.2 创建词向量字典 20

3.3.3 计算总长度 21

3.3.4 初始化问答序列 21

3.3.5 产生训练数据 22

3.3.6 seq2seq模型训练代码 22

3.3.7 seq2seq模型代码 23

3.4 预测阶段 24

3.4.1 词向量转换成词代码 24

3.4.2 产生预测数据 25

3.4.3 预测输出句子 25

3.5本章小结 26

第4章GUI界面设计 27

4.1 主界面 27

4.2 语料库切词界面 27

4.3 训练词向量界面 28

4.4对话界面 29

4.5 模型训练界面 30

4.6 本章小结 30

第5章 总结与展望 31

参考文献 33

第1章 绪论

1.1 引言

近年来，人工智能飞速发展，尤其是Alpah Go的出现与打败棋手李世乭这一战，使得人工智能受到了广泛的关注。而在人工智能飞速发展之中，向往人机交互的人们当然会不断研究智能对话系统，人机交互一直是人类的一个梦想，试想假如机器能听懂人类的语言并且按照人类的要求去做人类想要他们完成的事情，那么生活将会变得多么的方便，所以今年随着自然语言处理的不断发展，智能对话系统也在飞速发展。

智能对话系统分为任务导向型对话系统与非任务导向型对话系统。任务导向型对话系统就是帮助人们完成某项要求的任务，例如设置备忘录，设置闹钟，买票订票等。系统首先将人类说的话转换成机器语言，然后根据说的话去完成所要求的任务，再将机器语言转换成人类语言回复给人类。任务导向型对话系统在日常生活中十分的有作用，它能够帮助人们解决很多需要人们自己动手的一些小事，也可以应用于各大商家，减少人工成本，促进社会进步。

非任务导向型对话系统就是人们称为的智能聊天机器人，他可以根据用户的话语来回答，提供娱乐消遣功能，这也是人们想要发展的一块，假如一个聊天机器人能有“情商”的来聊天，那么生活将多么的有趣。非任务导向型对话系统分为基于人工模板，基于检索和基于深度学习的生成式聊天机器人。基于人工模板的对话系统是根据人工设置的问答对来回答，这样会导致人工工作量很大而且很不智能。基于检索的对话系统是从人工一开始就定义好的语料库中进行搜索，学习根据当前用户的问题来在其中选择回复。基于检索方法的缺点在于它需要一个十分庞大的语料库，这样导致所需要的人力会非常的大，而且要不断更新语料库，十分麻烦。而目前研究的最多的就是基于深度学习的生成式对话系统，他能使用深度学习的方法，根据语料库来自主训练出一个模型，然后根据问题来给出训练后的答案，但是他的缺点也十分明显，就是训练出来的模型不一定能说出像人类一样的回答，会有各种语法错误或者回复一些没有意义的话语。