摘 要

基于梯度下降的人工神经网络最大的缺点就是训练时间太长从而限制其实时应用范围。近年来，超限学习机（ELM）和随机向量函数链接网络（RVFL）两种不同的随机权神经网络模型的学习算法的提出使得前馈神经网络的训练时间大大缩短。超限学习机的方法是确定输入层和输出层中间的权值以及在隐藏层的节点的偏置值，并分析出隐藏层和输出层之间的权值的方法。而随机向量函数链接网络的输出层则是包括了输入节点的输出和同为输入节点和隐藏节点的节点输出。它们的区别在于ELM算法是由输入层节点连接到随机层节点再由随机层输出节点连接到输出层，而RVFL算法则是由输入层直接连接到输出层的神经网络模型。本文借助MATLAB软件编写随机权值神经网络模型，并将其应用于回归和分类问题。通过全面的对比实验，分析研究随机向量函数链接网络与超限学习机的性能，掌握他们的区别与联系，所得的结果对于如何选择随机权值神经网络的训练方法有重要的指导意义。

关键词：人工神经网络；超限学习机；随机向量函数链接网络；分类；回归

Abstract

The major disadvantage of gradient-based neural networks is the time-consuming training process, which is a major bottleneck in their applications. In recent years, two novel random weights training methods named Extreme Learning Machine(ELM) and Random Vector Function-link Neural Network(RVFL) were developed and were popular for their fast training speeds. The main difference form ELM is that the RVFL allows for direct connections from the input neurons to the output neurons, whereas the ELM does not. Based on the experiments, we found that the direct connection plays an important performance enhancing role in RVFL, which may lead to better generalization ability. In this paper, Matlab is adopted to construct ELM and RVFL networks. Regression and classification problems are both investigated in this work. The effectiveness of ELM and RVFL have been validated through comprehensive tests. These obtained conclusions concerning about the differences and relations between ELM and RVFL, can serve as general guidelines for designing random weights based networks.

Key Words: Neural Networks; Extreme Learning Machine; Random Vector Function-link; Classification; Regression

目录

第1章 绪论 1

1.1研究背景及意义 1

1.2国内外研究现状 1

1.3论文研究内容 3

第2章　超限学习机和随机向量函数链接网络算法原理介绍 4

2.1BP网络算法 4

2.2带有随机隐藏节点的单隐藏层前馈神经网络 4

2.3超限学习机算法原理 7

2.4随机向量函数链接网络算法原理 8

第3章 基于MATLAB的随机权值网络模型搭建及其性能研究 10

3.1 MATLAB软件介绍 10

3.1.1 MATLAB简介 10

3.1.2 MATLAB的主要功能 10

3.2仿真实验 11

3.2.1分类问题的测试 12

3.2.2回归问题的测试 17

3.2.2时间序列预测 20

第4章 总结与展望 24

参考文献 25

致谢 26

第1章 绪论

1.1研究背景及意义

随着时代的发展，智能计算机应用的领域越来越广，速度和效率也越来越快，而且互联网的出现也使得网络资源共享、智能化大数据库和专家系统等领域也已经得到了广泛的使用。同时，信息技术的高速发展使得传统计算机体系的这些优良的性能已经难以满足人们日益增长的实际需要，以“机器”代替“大脑”的呼吁越来越多。要从根本上处理计算机的智能化效果，应该采取类似人类大脑那样拥有快速反应能力，强大学习能力的网络计算构造。

人工神经网络（Artifical Neural Networks）,简称神经网络，是由大量类似于大脑神经元的简单处理单元广泛互联的复杂网络系统。它是在现代并行神经学科研的基础上提出的。它反映了人脑的某些特点，但并不完全是大脑神经系统的真实描述，而是是经过模拟大脑神经系统的构造对信息进行处理的神经网络系统，它拥有类似于人类的从数据中学习的能力，并已经在许多不同领域得到关注。到目前为止，应用最为广泛是基于梯度下降的神经网络学习算法。但是古典的梯度下降算法本身在原理上有一些很难处理的问题，例如靠近极小值时收敛速度减慢且收敛时易陷入局部极小点、对原始参数的设置依赖性较高等。尤其是关于深度神经网络和递归神经网络，古典算法可能会发生梯度相关的极端问题，无法施展人工神经网络强大的学习能力。

同时，科学家们经过对人类大脑的进一步研究发现，部份大脑区域的神经元存在随机链接的情况，并且其在神经网络系统中具有重要作用。基于此生物学基础，随机参数的思想被提出，并有学者将其应用在人工神经网络系统中，提出了随机权值神经网络。经过求解简略线性回归问题并计算出输出层节点的偏置值，而在神经网络中的其他参数权值则会随机生成，并且不变。此类算法不需要进行梯度下降，也不需要连续叠代，简洁有效地处理了古典基于梯度下降的算法中遇到的难题。

1.2国内外研究现状

人工神经网络的最早的提出是受到解剖大脑构造的启示。神经元是生物大脑的基本组成单位，一个神经元都有着数据处理和信息储存的功能，当它受到来自外界的刺激时便会完成兴奋或抑制的相关反应。在人类大脑里大概有千亿到十万亿个基本神经元，每个神经元不是独立存在的个体，而是与其它神经元互相连接的形式存在。由于每一个神经元都与附近神经元互相有着大量的连接，所以人类大脑中的神经网络系统极为巨大深奥。正是由于拥有如此巨大的神经网络，人类大脑才有着强大的分析与学习能力。

基于人类大脑构造的知识，在1943年由生物学家McCulloch和数学家Pitts二人一同提出了一种抽象理论的人工神经元模型，并由二人名字首字母合并命名为MP模型，这是人工神经网络从无到有的开始。1949年生物学家Donala U.Hebb 发现了神经网络里面突触连接的强度是可变的，并提出了Hebb法则，为人工神经网络的学习功能奠定了理论基础。而1958年Rosenbaltt提出了感知器并将神经网络与计算机技术相融合，使得人工神经网络的研究从纯理论迎来高潮。1969年M.Minsky 和S.Papert 发现感知器不能做到线性不可分，只能做有限的功能，此结论一度将人工神经网络的研究推向低谷期。1982年美国加州工学院物理学家John J.Hopfield 在美国国家科学院刊物上提出了Hopfield模型，Hopfield模型对线性模型进行了很好的概况和指导，并引起了众多学者对神经网络的热情，人工神经网络的研究就此复兴。1986年美国的一个学者团队撰写了反向传播算法即算法的原理，并进行了详细的解析。BP算法克服了感知器无法进行非线性划分的问题，给人工神经网络的进展带来了大跨步的前进，BP算法到目前仍然是应用最为广泛的神经网络算法。20世纪90年代末，神经网络进入到了高速发展的时代，近年来研究成果包括Inoue提出的混沌神经网络模型，由Hiroyuki等提出的模糊神经网络等近百种神经网络模型。其中前馈神经网络因其完善的算法而广泛应用。