摘 要

随着人工智能技术的快速发展，越来越多的问答机器人走进千家万户，为人们提供各种各样的信息服务。为了提高问答系统的智能程度，我们有必要进行知识库技术的研究。过去的知识库研究主要是想把知识纳入统一的架构，从而构建出一个包含所有知识的百科全书式的知识库。但在互联网的影响下，知识呈现爆炸式增长。过去的知识库技术已不能很好地管理所有的知识。为克服这一缺点，本文将对网络化知识库和向量化知识库进行探索，并围绕着这两个理念构建问答系统。

网络化知识库指的是以互联网为知识库，当用户提问时，系统自动到互联网中去寻找答案。本系统基于爬虫技术对这一理念进行实现。而向量化知识库指的是把知识转换为向量的形式，本系统主要通过知识图谱的表示学习实现这一理念，采取的表示学习算法是TransE。本文将展现用TransE构建向量化知识库的过程，并对训练好的模型进行了测试。在包含有10481个实体的基金数据集中，TransE算法取得了不错的结果，在系统中应用到基金知识的问答。系统利用爬虫作为知识检索引擎，大大提升了知识的广度，能够很好地回答用户所提的多个领域的事实性问题。本次研究将有助于促进人们对新的知识库技术的探索。

关键词：知识库；表示学习；问答系统；网络爬虫；TransE

Abstract

With the rapid development of artificial intelligence technology, more and more Question Answer Robots come into our lives, providing a variety of information services for people. In order to improve the intelligence of question answering system, it is necessary to study knowledge base technology. In the past, the main purpose of knowledge base research is to integrate knowledge into a unified framework, to build an encyclopedic knowledge base containing all knowledge. However, under the influence of the Internet, knowledge shows explosive growth. The past knowledge base technology can’t manage all knowledge well. In order to overcome this shortcoming, this paper will explore the networked knowledge base and the vectorized knowledge base and build a Question Answer System around these two concepts.

Networked knowledge base refers to the Internet as the knowledge base, when users ask questions, the system automatically goes to the Internet to find answers. This system is based on the crawler technology to realize this idea. Quantitative knowledge base refers to the transformation of knowledge into vector form. This system mainly achieves this idea through the representation learning of knowledge atlas. The representation learning algorithm adopted is TransE. This paper will show the process of constructing vectorized knowledge base with TransE and test the trained model. TransE algorithm achieves good results in the fund data set containing 10481 entities and is applied to the function of answering the question of fund knowledge in the system. The system uses the crawler as the knowledge retrieval engine, which greatly enhances the breadth of knowledge and does well in answering the factual questions in many fields raised by users. This research will be helpful to promote people's exploration of new knowledge base technology.

Key Words: Knowledge base; Question Answer System; Web Crawler; TransE

目 录

第1章 引言 1

1.1 研究的背景和意义 1

1.2 研究的目的和内容 1

1.3 国内外研究现状 2

1.3.1 问答系统的研究 2

1.3.2 知识图谱的起源 3

1.3.3 知识表示研究 3

1.3.4 知识推理研究 3

1.3.5 知识图谱实际应用 4

1.4 论文组织结构 4

第2章 系统相关的技术 5

2.1 知识图谱 5

2.2 爬虫技术 7

2.3 自然语言处理 7

2.4 Django框架和其它Web技术 8

第3章 系统分析和设计 10

3.1 需求分析 10

3.2 系统总体设计 13

3.3 系统详细设计 14

3.3.1 交互界面 14

3.3.2 语言处理模块 14

3.3.3 时刻信息检索引擎 14

3.3.4 日期信息检索引擎 15

3.3.5 实体基本信息检索引擎 15

3.3.6 实体特定信息检索引擎 15

3.3.7 天气信息检索引擎 15

3.3.8 基金信息检索引擎 15

第4章 系统实施和运行 17

4.1 TransE 17

4.1.1 数据源 17

4.1.2 模型的训练 20

4.1.3 模型的测试 21

4.2 基于TransE的问答 22

4.3 基于爬虫的问答 23

第5章 总结和展望 31

5.1 结论 31

5.2 存在的不足 31

5.3 工作展望 32

参考文献 33

致谢 34

引言

研究的背景和意义

随着时代的发展，人们对于系统的智能化要求越来越高。无数科学家为实现机器智能奉献了毕生的精力。那么怎样才叫实现了机器智能呢？对于这个问题，图灵于1950年在《Computing Machinery and Intelligence》提出图灵测试。图灵测试的核心在于如果人工智能系统能够与大多数人进行无障碍的交流而不被认为是机器，那么我们认为该系统是具有智能的。从那时起，实现能与人们进行正常交流的问答系统成为人工智能研究的重要方向。

经过多年的研究，语音处理、自然语言处理等技术取得了巨大的突破。尤其是以深度学习为代表的智能技术被越来越多的人所熟知，各种各样的问答机器人如雨后春笋般涌现出来。这些机器人已在在线客服、娱乐和教育等多个行业得到应用[1]。问答机器人逐渐成为人们获取信息的重要接口。