登录

  • 登录
  • 忘记密码?点击找回

注册

  • 获取手机验证码 60
  • 注册

找回密码

  • 获取手机验证码60
  • 找回
毕业论文网 > 文献综述 > 电子信息类 > 电子信息工程 > 正文

基于参数预初始化的迁移学习初步研究文献综述

 2020-04-14 16:31:25  

1.目的及意义

随着社会的快速发展,信息化与网络化在人类日常的生活中扮演的角色变得愈发重要。随着数据规模与计算资源的快速发展,机器学习成为现在的一个热门学科。机器学习作为一种重要的学习方法,在近年来得到了广泛的研究与发展,其中卷积神经网络在图像分类、目标检测、图像语义分割等领域取得了一系列突破性的研究成果,其强大的特征学习与分类能力引起了广泛的关注,具有重要的分析与研究价值。

但是在传统的学习之中,由于“用于学习的训练样本与新的测试样本满足独立同分布”的条件以及“必须有足够可利用的训练样本才能学习得到一个好的分类模型”这两个条件往往在现实测试之中无法得到满足,这就引起了机器学习中的一个问题:如何利用少量的现有训练样本或者源领域数据,建立一个可靠的模型,对目标领域数据进行分析预测。与此同时我们也在思考探索另外一个问题:作为人类,我们在学习新的知识时,可以通过借助过去以往学习过的经验结果与知识这种方法来帮助学习新知识,比如学习英语时我们可以与借助中文的一些相似语法来学习。因此是否可以借助模仿人类的这一行为,去开发新的机器学习方法—迁移学习,从而把在特定数据集上训练得到的“知识”成功运用到新的领域之中,解决机器学习之中由于样本条件不满足难以得到准确的模型这一问题。因此现在“在卷积神经网络中运用迁移学习”成为了当下机器学习领域中的一个热门研究方向。诸多研究结果表明:先对卷积神经网络进行参数的预训练,然后将卷积神经网络在特定应用上进行迁移训练和测试相比传统地直接在目标数据集上训练网络的方法性能可以得到较大幅度的提升。

在近几年的时间里,在机器学习这一方面已经有非常多的学者投入了迁移学习的领域之中,而且积极投身这个领域的学者正在变得越来越多,其发展前景十分广阔。在每年的机器学习和数据挖掘的顶级学者峰会上都有关于迁移学习的文章发表,比如:ICML,SIGKDD,NIPS,ICDM以及CIKM等。同时在世界范围内,迁移学习已经取得了明显的成就,其在文本分类,图像识别,语义推理等方面上不断经过实验,结果明显发现在经过迁移学习与训练的样本要优于传统的一些学习方法的样本。在现如今,迁移学习已经开始应用在机器学习,电力,生物,医学,地理等各方面,通过卷积神经网络与迁移学习的相结合,解决了现实生活中的很多难题。

总之,越来越多的迁移学习开始出现在生活中很多方面的应用上,慢慢进入了实际生活运用之中;另外在迁移学习的研究上也取得了非常显著的效果,其优异性不断得到验证,学习效果也在不断提高。但另一方面,在目前大数据的背景下,由于目前算法的复杂度仍较处于比较高的阶段,能够处理的数据且比较小,难以满足更多应用的要求,所以我们应该更加注重算法的高效性,减小算法的复杂程度,聚焦于如何设计出高效的算法。

{title}

2. 研究的基本内容与方案

{title}

基本内容及目标

本次设计的研究目标为:首先对深度卷积神经网络的学习算法和基本结构以及迁移学习的原理和特点进行学习探讨,同时分析并代码实现具体的迁移学习基本框架,对其适用场景模型进行实际性能测试,并在测试后得出识别错误率,通过具体数据分析与总结本次毕业设计中的迁移学习框架实际性能效果。

本次设计的研究内容为:学习机器学习和深度卷积神经网络的基本知识;学习迁移学习的框架及适用场景模型;实现迁移学习框架的实际性能测试。

技术方案及措施

迁移学习在如今样本不满足一定条件下的机器学习中扮演者重要的角色,有效提高了系统的准确性,本次毕业设计主要通过pycharm软件进行以及keras基于tensorflow后端的开发框架进行,也可能用到大型数据集(比如Imagenet等)来进行测试。迁移学习在卷积神经网络上的应用主要是利用少量的现有训练样本或者源领域数据,建立一个可靠的模型对目标领域数据进行分析预测,即将在特定数据集上经过训练得到的“知识”运用到新的领域之中,其步骤初步主要可以划分为三步:第一,我们在开始特定的应用任务之前,我们利用相关领域方面的大型数据集(比如:imagenet)对卷积神经网络中的初始随机数据进行预训练。第二,我们利用前面训练后得到的卷积神经网络对特定领域中的数据进行特征提取。第三,我们利用提取得到的特征数据去训练特定领域的卷积神经网络,完成特定的CNN应用。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

企业微信

Copyright © 2010-2022 毕业论文网 站点地图