文 献 综 述

1、课题研究的背景

人工神经网络（Artificial Neural Networks,ANN）是对人的生物系统的一种模拟，神经元构成每个单位，每个环节具有简单的输入，输出，计算功能[1]。

人工神经网络的研究开始于上世纪的40年代。1943年，心理学家W.S.Mcculloch和数学家W.Pitts共同提出了一种模式，即M-P模型，神经网络算法大致分为三类，前向，反馈，还有自组织神经网络模型，人工神经网络是由通过每一个简单的单元而组成进而连成网络，它的准确性等很好，因此很多领域学术人员在科研中都应用神经网络模型。

神经网络（Neural Networks）模型是模式识别中一种应用非常广泛的分类器模型，神经网络有着很高的泛化能力，因此在人脸识别，文字识别，语音识别、指纹识别，遥感图像分类以及医疗诊断中，得到了各领域专家的认可。但是神经网络的学习过程非常复杂，迭代过程需要大量的训练时间，降低神经网络悬系的时间复杂度是优化神经网络分类过程的重要研究方向^[2]。

2、研究现状：

2006 年，黄广斌^[3]提出了一种新的单隐层前馈神经网络（Extreme Learning Machine：ELM）。同年，Huang 等^[4]在极限学习机的基础上进一步改进，提出了增量极限学习机，可以实现逐步增加隐层节点个数，并且在增加新的隐层节点时能够保持原隐层节点的参数不变。Huang^[5]等人在2007年为了进一步提高收敛率，提出了凸增量极限学习机。2009 年，Feng^[6]等人又提出了一种误差较小的极限学习机算法，该算法与增量极限学习机算法的主要区别在于加入新的隐层节点之后，需要重新计算隐层节点的输出权值。

在极限学习机集成方面，Lan 等人^[7]进一步提出了在线连续极限学习机集成算法，它提高了分类器的精度和泛化性能。2011 年，Cao 等人^[8]提出了多数投票极限学习机（Voting based extreme learning machine：V-ELM）的方法。V-ELM首先利用 k 个个体极限学习机学习，得到 k 个输出结果，利用这 k 个结果计算样本的后验概率，进而得到样本的最终类标号。这种方法不仅有效地克服了单个极限学习机不稳定的缺点，而且进一步提高了极限学习机的泛化性能。

神经网络（NN）和支持向量机（SVM）在过去机器学习领域占有重要地位^[9]，但是由于迭代速度过长，黄广斌老师提出了一套全新的学习理论和新的学习方法：极限学习机（Extreme Learning Machines,ELM）。ELM全面推翻和取代前馈神经网络和SVM学习理论的方法，被部分计算智能和脑神经专家认为是向人类了解人脑学习机制卖出的重要一步^[10]。

2010年，HUANG等发表了一篇关于ELM和SVM的相似性^[11]，重点讨论ELM和SVM的泛化性能和时间复杂度。Huang在论文中写道，从理论上ELM可以通过SVM的进行线性扩展，只需要将两种算法的激活函数统一即可，Huang也证明了同等泛化能力的情况下ELM的时间复杂度很大优势于SVM。