基于Java的BP神经网络模式研究文献综述
2020-04-23 19:54:20
1.1研究目的
神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。它是目前最为火热的研究方向——深度学习的基础。对于神经网络的研究不仅可以掌握一门强大的机器学习方法,同时也可以对理解深度学习技术提供更好地帮助。BP神经网络是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP神经网络具有完善的理论体系,清晰的算法流程,强大的数据识别和模拟功能。在解决非线性系统问题时,优势明显,突显出巨大的实际应用价值。
本次毕业设计的目的是学习BP网络模型及原理、Java基本语法及开发环境;设计基于Java的BP神经网络程序方案;完成BP神经网络对训练数据库中所具有的控制关系的学习。
1.2国内外研究现状分析
神经网络在提出的时候就暴露出了两个问题:容易形成局部极小而得不到全局最优以及训练次数多导致学习效率低。
2013年,Rendong Ge考虑有界变量的约束,而不是常见的无约束模型单优化问题,提出一种新的神经网络模型解决有界变量的凸优化问题。在一个秩缺陷的假设,原本困难的问题是通过强制执行期限转化为非单数约束优化问题。通过使用增广拉格朗日方法和投影技术,证明了所提出的连续模型可以解决单数的优化问题。
2014年, Facebook人工智能实验室的Weston等人提出的Mem NN在解决如何对长程记忆进行反复读取的问题时有良好的表现.Mem NN不像RNN或LSTM那样舍弃训练信息, 它保存全部训练信息在记忆模块中。2015年, Facebook人工智能实验室的Sukhbaatar又在原实验的基础上提出了新的实验模型, 即弱监督模型 (weakly supervised mode)。 2014年José Parra提出了一种采用进化策略的混合式反向传播训练,它将反向传播(BP)方法与演化算法相结合。BP更新网络连接权重,并且演化策略(ES)自适应地修改主要学习参数。
Alireza Hosseini在2016年提出了一种基于包容差异的神经网络融合的方法解决非光滑优化问题。对于一般的微分,证明了如果它的右手边集值映射满足一定的条件,那么,微分包含解轨迹收敛到最优解集的优化问题相应的应对措施。基于所获得的方法论,得出了求解非光滑优化问题的新递归神经网络。
{title}2. 研究的基本内容与方案
{title}2.1研究内容
学习单层神经网络、多层神经网络的基本构造,及其隐藏层的层数与权重配比对网络运行的影响。掌握Back Propagation算法,即反向传播算法的基本原理,能够推导算法的实现过程。掌握Java语言的基本语法、使用规范以及开发环境的配置,学习 Java相关开发工具的操作。