英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料

时间序列预测和神经网络

N.Davey, S.P.Hunt, R.J.Frank,

University of Hertfordshire

Hatfield, UK.

摘要

我们简要的探讨过用于时间序列预测的神经网络，并且我们认为需要定义一个适当的输入窗口。我们引用了从动态系统理论中得来的相关理论结果以及描述了虚假的邻居启发式的数量，作为找到正确的嵌入维度和窗口大小的一种途径。这一方法将被用于三中时间序列并且分析了有条理的前馈神经网络预测的普遍性能。很显然，试探法能够在定义适当的网络体系结构时提供有效的信息。

1. 简介

神经网络已经被广泛地应用于时间序列预测中：通常这些是通过使用一个在输入序列之上的滑动窗口的前馈网络。这一方法的常见的例子有市场预测，气象学和网络交通预测。在这些系统中，有两个重要的问题必须处理掉：被抽样数据的频率以及在输入表示中所使用的数据点的数量。在大多数应用中，这些问题通常会被解决掉，但在复杂的动态系统中所得到的结果则建议使用有效的启发式方法。本文是和研究使用这些试探法的影响有联系的。我们尝试着去解决以下问题：滑动窗口前馈神经网络预测的性能是不是能够很好的通过使用理论上可行的试探法得到优化？我们写这篇实验报告使用了三个数据集：从洛伦兹吸引子的三维中的其中之一得到的序列，1500年轮测量的序列以及在ATM网络上加交通负载的测量。

1. 时间序列预测

时间序列是一个矢量的的序列，，t=0,1,....t代表运行时间。为简单起见，在这里我们只考虑标量的序列，尽管提到的技术能够很容易的推广到矢量序列中。理论上来讲，x可以是一个随着t不断变化的一个值，就像温度一样。但实际上，对于任意给定的物理系统，x将被取样作为时间序列的离散数据点，相当于时间上的间隔。取出的样本数据离散化了模型的最大分辨率；但是，并不是有着最高分辨率的模型就会有着最好的预测精度，因此更为优秀的结果可能是通过在序列中使用每n个点而获得的。这一课题的更深层次的探讨将在模块3中讨论并且我们暂时假定每一个收集的数据点都会被使用到。

神经网络的研究集中在预测从x的值上升到现在的这段时间的时间序列的未来发展。这也可以比较正式的称为：找一个函数以便于在t d时间内获得一个x的估量，从t节点退回N节点，具体如下：

，，y（t）是x的值的N-ar向量的之后。通常情况下，d是惟一的，所以f可以用来预测x的下一个值。

神经网络预测：

执行时间序列预测的标准化的神经网络能够在标准化的MLP或者是RBF体系结构引起函数f,使用了一个n元祖输入和神经网络的目标值作为单独输出。这一方法通称为滑动窗口法。图一给出了基本结构：

这一方法可以在函数f被假设为一个有着灵活的先前的序列值的线性组合视作为一个自回归时间序列建模的扩展，这种限制并不适用于与MLP方法MLPs一般函数近似者。

1. 理论分析：

时间序列通常是测量一个或多个序列可见一个潜在的变量，动态系统的状态随时间变化的函数其当前状态向量u（t）：

对于离散的例子，这一状态的下一个值是当前状态的函数：这样一个动态系统可能随着时间演化为一个有规律并且有着简单的结构的点集；任何来自这样一个系统的时间序列也可能有着一个平滑并且有规律的外观。但另一个结果也是有可能的：这一系统可能演化为一个混沌吸引子。通过吸引子的矢量状态的路径是非周期的，并且由于任意来源于它的时间序列，所以会有着一个复杂的外观和表现。

在真实的如股市一般的系统中，状态空间的性质和结构是模糊的;以致于导致状态向量的实际变量是未知的或者是有争议的。因此为了一段时间序列预测的任务是可以转述的：给定的测量的状态向量的一个组成部分的动态系统有可能重建（可能）的混沌动力学相空间。从而预测是测量的变量的演变？让人惊喜的是，这一问题的答案是肯定的。Mane和Takens的嵌入理论表明了滞后的时间空间向量y有着足够大的尺寸来捕获原始相空间的结构。更具体的说，他们表明了如果N，y的参数数量，至少是原始的吸引子的维数的两倍，“然后正如在之后的空间坐标中所见的一样，吸引子将和相空间吸引子顺利相关”，当然这并不是给N赋一个值，因为最初的吸引子维数是未知的，但它确实显示了一个足够大的窗口将允许系统动力学的完整体现。Abarbaneletal建议使用启发式用于确定的嵌入大小和时间滞后，这些内容将在下面讨论。

假近邻

有一个足够大的时间延迟窗口对于时间序列预测是很重要的，如果窗口太小，那么系统的吸引子将被投射到一个不足够大的空间维度，在距离不是一个可靠的指导实际接近原始的吸引子。因此，两个相似的时间延迟向量y1和y2，可能代表实际上是系统的状态空间的相差甚远的两个点。此外，一个窗口过大时也可能产生问题：由于所有必要的信息填充在窗口的一个子集里，剩余的领域表示噪音或者污染。为了找到正确的嵌入维度，N，增量查找，从N=1，已经被实行了。对于一个给定的N，一组时间滞后向量yN就形成了。在yN组内的近邻关系就可以被计算了。当正确的N的值已经达到之后，一个额外加入嵌入的维度就不应该导致这一近邻分开。任意有着高的相对尺寸的额外分离的部分被认为是一个错误的近邻。尤其是，如果yN有着近邻，然后当嵌入维度递增，相关的额外的分离将如下式：

当这个值超过一个绝对值（我们用20），然后yN和就表示为假近邻。

采样率

由于很容易过采样一个数据流，Ababarnel et al提出在不同的采样率的情况下计算平均的交互信息，并且以第一个作为适当的比例。

4实验

我们检查嵌入维度和网络性能之间的关系有两个数据集

洛伦兹数据

第一个数据集是由洛伦兹系统得到的，由三个微分方程给出：

我们把参数设置为r=45.92，b=4,0,=16.0并且使用来自龙格库塔积分时间步长为0.01的25000x轴的点。交互信息分析提供了13天的滞后时间以便于每13个点就能被取出。一个数据集组成的剩余的1923个点和一个进行分析的近邻，具体数据在表1中给出，这个结果表明一个嵌入的3或者4维度就足以代表吸引子。这非常符合从嵌入定理中得到的理论上限。

我们利用共轭梯度误差最小化训练有着120的隐藏单位的前馈神经网络。嵌入维数即输入层的大小从1单位增加到9单位。数据被分成1200个矢量的样本集合715的测试集。每个网络配置被不同的随机起始点取样了10次。一个典型的运行状况将被展示在表2，总体结果将被放入表3.这个数据集的过采样并不是个问题，测试集的错误是没有看到上升。

测试和样本数据通常产生相似的平方误差值，就像图2所示的最终的MSE值一样表明了嵌入维度为3时产生了一个在MSE很显著的降低，相比于1或者2来说。在嵌入尺寸的进一步增加降低了在测试数据误差的可能性，但是这一幅度相对来说就比较低了。

图4展示了在对于传统样本网络的测试集的错误分布。在2和3输入之间有一个明显的误差模式过渡，在没有显著的改变模式的错误之后。在这种情况下，对应的预测嵌入维度从假近邻分析是值得注意的。洛伦兹数据集中缺少任意噪音项可能导致在过去的预测最优嵌入维度的错误的少量下降

在ATM网络中的语音通信需求

在这一试验中，使用了代表网络电话流量的1339的时间序列数据点，假近邻分析数据放入表2中，在这种情况下，选择窗口型号4.

电信交通的特点之一是许多周期性的叠加效果。例如，有着每小时的趋势对应着业务的一天，每日的趋势对应着每周的趋势根据每月中的一天和季节性的趋势。这些趋势是不同周期的周期性研究。为了帮助预报员处理每日，小时和分钟被使用一个周期加入到输入代码，智慧两位为每个特性，以便于这六个额外的输入能够被使用来给10个输入单位

树木的年轮数据

这个数据集包括5405个记录树木年轮的数据点。这一交互信息的数据分析提供了一种采样率。随后的假近邻分析将被放入表3

这一结果展示了一个假近邻下降又上升的数量的奇怪模式。数据被分为两块：一个是有着3000个点的样本数据，一个是有着2400点的测试数据。图5展示了MSE在各种嵌入维共轭梯度训练后，有着120隐藏点的前馈网络，平均超过5回合。这一结果展示了无显著的变化错误，输入的窗口尺寸是不同的。这一数据集似乎并不适合这种形式的预测模型

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[29814]，资料为PDF文档或Word文档，PDF文档可免费转换为Word