基于深度学习的论文摘要写作辅助模型文献综述
2020-05-01 08:41:13
1.目的及意义
1.1研究背景:
2005年,SCIgen[1]横空出世,开创了人工智能写论文、文章的先河。虽然SCIgen实现的技术以现在的观点来看十分简略,而且发明它的三位MIT的研究生本身也只是以恶搞为目的,但用人工智能来辅助人类进行写作这个思想则从此进入实际可行的范围。从此,学者们开始对人工智能自动辅助写作展开了美好的篇章。
一般而言,根据总结生成的方式,自动文摘技术被分为两大类:基于提取[2]和基于抽象[3]。前一种方法从源文档中选择一些原始的句子来创建一个简短的摘要,后一种方法模仿人的写作摘要,将语料库提炼成小单位(如名词短语或动词短语)。随后,根据语言语法,这些单位被重新组织起来生成摘要。虽然抽象的方法与人类生成总结的逻辑是一致的,但由于自然语言生成技术的局限性,很难用人类逻辑自动生成总结[4]。因此,目前,大多数方法都是基于提取的[5]。例如,Liu等人通过提出一种核心语义提取模型CSEM来提高文档摘要的新颖程度和语义的丰富性[4]。他们通过引入新的衰减函数来调整语义单元的重要性,最大化语义的丰富性。Chen等人则提出的是一种自动生成论文的相关工作[6]。他们首先收集引用了相关参考文献的论文,然后从这些论文中提取关键字,并构建关键词图。随后,根据此图生成包含关键字的最小Steiner树。最后,根据Steiner树提取句子主干来完成自动生成相关工作。然而,近年来随着深度学习(Deep Learning)及其相关方法的出现,用更加智能的方式来完成自动文摘技术已成为可能,尤其是基于抽象的方法。因此,我们致力于从基于抽象的角度、并结合深度学习理论来使得自动文摘技术更加智能。具体而言,我们希望深度学习方法能够在自动辅助写作上得到具有前途的结果。
Wanner等人总结了目前一些已经应用到商业环境中的几种写作辅助方法,它们的核心均为词组合(Word Combinatorics),即当检测到某个词不合适时,会自动地给出合适的搭配,进而辅助写作[7]。在这方面最为著名的应用方法之一便是利用n-gram进行句子补全、以及判断某句子是否符合书写习惯等来辅助写作[8]。然而,这类方法都只是在语法、拼写、词语搭配等方面给出了辅助意见,但事实上,论文写作可能我们更需要给出在语义级别甚至大意级别的辅助才更为合适。
1.2 目的及意义:
当研究人员需要写一篇文献综述或一篇文章时,其目的往往不仅是为了发展学科沟通技巧,而且是为了从多个文档中学习和推理[9]。这就涉及到一些技能,如找出来源或综合信息[9]。然而,大多数学生在这些技能的掌握上都有着一定的问题[9]。如果我们能够让计算机从某种程度上辅助他们进行写作,这对于学生的写作水平的提高亦或是综合信息的能力都是具有指导意义的。然而,已有的辅助写作的方法或模型大都具有或多或少的问题。因此,本文应当努力解决传统方法所不能解决的问题,并进一步提高辅助论文写作的准确性。
综上,本文应致力于解决以下几个具体问题,即(1),运用更加智能的手段或方法提高辅助的准确度,尤其应以近来效果显著的深度学习及其相关方法入手,改善传统分类器方法的不足;(2),尽可能避免使用者进行主动更改或调整,而应尽量将此任务交由辅助程序来完成;(3),从语义、句与句之间的关系来完成辅助,而非仅仅从字词、语法、拼写等方面完成。
{title}2005年,SCIgen[1]横空出世,开创了人工智能写论文、文章的先河。虽然SCIgen实现的技术以现在的观点来看十分简略,而且发明它的三位MIT的研究生本身也只是以恶搞为目的,但用人工智能来辅助人类进行写作这个思想则从此进入实际可行的范围。从此,学者们开始对人工智能自动辅助写作展开了美好的篇章。
一般而言,根据总结生成的方式,自动文摘技术被分为两大类:基于提取[2]和基于抽象[3]。前一种方法从源文档中选择一些原始的句子来创建一个简短的摘要,后一种方法模仿人的写作摘要,将语料库提炼成小单位(如名词短语或动词短语)。随后,根据语言语法,这些单位被重新组织起来生成摘要。虽然抽象的方法与人类生成总结的逻辑是一致的,但由于自然语言生成技术的局限性,很难用人类逻辑自动生成总结[4]。因此,目前,大多数方法都是基于提取的[5]。例如,Liu等人通过提出一种核心语义提取模型CSEM来提高文档摘要的新颖程度和语义的丰富性[4]。他们通过引入新的衰减函数来调整语义单元的重要性,最大化语义的丰富性。Chen等人则提出的是一种自动生成论文的相关工作[6]。他们首先收集引用了相关参考文献的论文,然后从这些论文中提取关键字,并构建关键词图。随后,根据此图生成包含关键字的最小Steiner树。最后,根据Steiner树提取句子主干来完成自动生成相关工作。然而,近年来随着深度学习(Deep Learning)及其相关方法的出现,用更加智能的方式来完成自动文摘技术已成为可能,尤其是基于抽象的方法。因此,我们致力于从基于抽象的角度、并结合深度学习理论来使得自动文摘技术更加智能。具体而言,我们希望深度学习方法能够在自动辅助写作上得到具有前途的结果。
Wanner等人总结了目前一些已经应用到商业环境中的几种写作辅助方法,它们的核心均为词组合(Word Combinatorics),即当检测到某个词不合适时,会自动地给出合适的搭配,进而辅助写作[7]。在这方面最为著名的应用方法之一便是利用n-gram进行句子补全、以及判断某句子是否符合书写习惯等来辅助写作[8]。然而,这类方法都只是在语法、拼写、词语搭配等方面给出了辅助意见,但事实上,论文写作可能我们更需要给出在语义级别甚至大意级别的辅助才更为合适。
1.2 目的及意义:
当研究人员需要写一篇文献综述或一篇文章时,其目的往往不仅是为了发展学科沟通技巧,而且是为了从多个文档中学习和推理[9]。这就涉及到一些技能,如找出来源或综合信息[9]。然而,大多数学生在这些技能的掌握上都有着一定的问题[9]。如果我们能够让计算机从某种程度上辅助他们进行写作,这对于学生的写作水平的提高亦或是综合信息的能力都是具有指导意义的。然而,已有的辅助写作的方法或模型大都具有或多或少的问题。因此,本文应当努力解决传统方法所不能解决的问题,并进一步提高辅助论文写作的准确性。
综上,本文应致力于解决以下几个具体问题,即(1),运用更加智能的手段或方法提高辅助的准确度,尤其应以近来效果显著的深度学习及其相关方法入手,改善传统分类器方法的不足;(2),尽可能避免使用者进行主动更改或调整,而应尽量将此任务交由辅助程序来完成;(3),从语义、句与句之间的关系来完成辅助,而非仅仅从字词、语法、拼写等方面完成。
2. 研究的基本内容与方案
{title} 2.1基本内容(功能):
需要实现的功能:
1 抓取论文数据
2 根据论文数据的上下文训练LSTM神经网络及编码器-译码器模型
3 获取一句用户输入为原始句子
4 将这个句子导入训练好的编码器-译码器模型,得到对应当前句子的句子
5 重复第4步,直到获取到足够的句子构成一段话。
需要实现的功能:
1 抓取论文数据
2 根据论文数据的上下文训练LSTM神经网络及编码器-译码器模型
3 获取一句用户输入为原始句子
4 将这个句子导入训练好的编码器-译码器模型,得到对应当前句子的句子
5 重复第4步,直到获取到足够的句子构成一段话。
2.2技术方案:
本文拟采用以下几个技术方案实现目标。
首先,为了提高准确度,即解决问题(1),应采用深度学习及其相关方法作为基本框架。
考虑到本文的主要目标涉及到句与句之间的生成以及语义关系,则应考虑使用基于循环神经网络(Recurrent Neural Network, RNN)的一些方法。
由于RNN的基本网络结构是序列状的,因此其天生适合用于处理自然语言处理(Natural Language Processing, NLP)及其相关问题。
本文的目标本质上依然属于NLP问题,因此其结构也自然适配。
然而,由于RNN在面对比较长的时间间隔时会出现梯度消失的问题,因此在处理长句子输入时性能会显著下降。
考虑到本文的目标可能包含长句子,因而直接采用RNN效果并不会十分显著。
一个著名且有效的改进是长短期记忆网络(Long Short-Term Network, LSTM),其解决了RNN对于长句子的输入性能显著下降的问题。
由于其改进后效果迅猛提高,因而成为了目前国内外处理NLP问题的主流方法之一。
剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付
最新文档
- 华北地区夏季降水多年、少年近地层水汽场及风场分布特征开题报告
- 天山地区典型流域降雪分布研究文献综述
- 2016年台风狮子山路径突变原因的初步分析开题报告
- 北京和寿县地区边界层急流观测与模型的对比文献综述
- 具有双Kelvin波结构MJO活动的再分析开题报告
- 基于单片机的温控风扇设计文献综述
- 1961-2015年江苏省气候资源的时空分布规律开题报告
- 智能搬运机器人文献综述
- 基于类型的电影推荐系统文献综述
- Bi6S2O15的合成及其降解有机污染的研究开题报告
- 不确定时滞奇异摄动系统的鲁棒控制器设计文献综述
- 小型双模SIW滤波器的研究与设计开题报告
- 我国绿色出行政策执行研究——以南京市为例文献综述
- 试论李碧华小说中的爱情悲剧开题报告
- 基于FPGA的电子相册设计文献综述