基于神经网络的自主评估电力负载预测系统

摘要：对负载行为的预测在电力系统工作和计划的决策中是非常重要的。四十年来，很多不同的负载模型已经被提出用于短期的预测。在1991年以后，这方面的文献作品几乎都是基于神经网络的提议。这主要是因为神经网络能够捕捉负载和外部变量的非线性关系。但是，在使用神经模型的一个主要风险就是有可能会过度要求数据的近似性，也就是说过度拟合，这经常会增加样本外预测的错误的可能性。基于神经网络的负载预测系统取决于输入空间表示，它所提供的非线性程度已经用启发式程序进行调整。基于交叉验证和网络修剪方法的早停训练和基于试验和错误的架构选择都是很流行的。这些程序的经验性质使得他们的程序既繁琐又费时。本论文提出了两种以耦合方式的非参数方法用来解决在短期负载预测中神经网络结构和输入选择的问题。

关键词：贝叶斯方法，前馈神经网络（NNs），输入选择，负荷预测，模型复杂度，支持向量机（SVM）。

Ⅰ.引言

电力系统中的操作决策，比如机组组合，经济调度，自发电控制，安全评估，维护。调度和能源商业化取决于未来负载的行为。因此，在过去的四年里，已经有好几种短期预测方法已经被提出。因此，在过去的四年里，已经有好几种短期预测方法已经被提出。长期处理负载预测问题的经验总结出了一些很有用的模型，譬如某些基于多重线性回归的Box-Jenkins方法，人工神经网络（ANNS）【1】，模糊系统和混合模型。然而，自动负载预测系统，也就是自动输入选择和模型复杂性控制，仍然需要避免专家干预并且把应用扩延到专家水平【2】。

电负载和其外生因素之间的关系很复杂而且不是线性的，这就使其很难通过诸如线性时间序列和回归分析等传统方法进行建模。传统的方法有偏见的倾向，也就是说，它们是基于对统治着正在研究的系统的潜在定理的理论猜想。另一方面，有了多年的实际经验，我们发现，当处理有关大型数据集的非线性和多变量问题比如短期负载预测的时候，人工神经网络有非凡的预测表现。人工神经网络有更多的灵活的函数形式，它本身就带有一些关于输入输出变量的关系假设。

人工神经网络虽然比传统负载预测模型更加强大，但是为了取得商业上的成功，已经解决了很多问题。自从第一个基于ANN的负载预测系统的提出，沉重的训练负担，缺少预测区间估计，推理的不透明，输入空间表示以及模型复杂度控制这五个主要的缺点已经被克服。

从九十年代起，快速训练算法已经得到改进，使的能够跟踪负载的非平稳变化。另一方面，在很长的一段时间里面，预测区间估计在实践中都没有得到足够的重视。人工神经网络预测的定性解释已经在【7】和【8】中被提出。但是ANN所提供的预测精确度的提高似乎只有在降低透明度的情况下才能实现。人工神经网络缺少可解释性这一缺点能被诸如【9】里面提到过的辅助工具解决。但是，达到和从线性模型中抽取出来的东西具有可比较的翻译性的程度是有一定困难的。

虽然上述两个缺点很关键，但是他们并没有受到很大的关注。作为负载预测的 风尚，人工神经网络输入表示和复杂控制不应被分开对待。从一个人工神经网络请求的非线性延展强烈依靠被选择的输入变量。神经网络模型的一个优点就是通用逼近能力，也就是无限精度的持续映射。然而，如果数据没有避免被过度拟合，这种理论优势可能适得其反。模型复杂度控制的主要目标是让数据规律和模型结构相匹配，使泛化能力达到最大化。

人工神经网络复杂度控制的一个热门程序就是基于早起训练停止的交叉验证（CV），也就是说不断更新连接重量直到验证子集的错误减少。这个程序是很具有探索性的，因为去检测中断训练过程中正确是迭代是很不容易的。另外，虽然交叉验证已经被成功应用于神经分类器设计，但是在用于时间序列预测的时候串列相关的信息有可能会丢失。交叉验证和早期停止的劣势在【11】和【12】里解释的很全面。

输入空间表示在负载预测中可能是最重要的子任务。经显示，基于自动线性和互相分析的输入变量选择对诸如人工神经网络的非线性模型是不合适的。，为了解决这个问题，基于微波的通过多分辨率分析的特征提取已经被提出【13】。然而仍然需要一个更加以人工神经网络为导向的的输入选择方案来捕捉在相关联的多变量数据里关于线性和非线性的相互依赖关系。

该论文提出了两个基于控制人工神经网络复杂度的最合适的技术方法，伴有短期负载预测的合适的解释性的输入变化的同时选择。为了自动将样本外预测的错误最小化，贝叶斯训练【14】和支持向量机（SVM）【15】学习【16】【17】正在被研究。这些训练方法在允许自主建模和自适应的目标函数包含了复杂度训练术语。一个基于激活功能扩展的训练过的复杂度调整程序由于其简单性而得到评估。

贝叶斯训练和支持向量机对于短期负载预测适用性的初步结论在【19】中已经说明。本篇论文回答了几个开放性论文的问题。为了满足兴趣问题的要求，最先进的非参数回归工具已经在工作中推广。在贝叶斯训练中，负载和天气的相关输入变量的不同优先级的假设被纳入考虑范围。各个输出的具体学习参数包含在【20】中。然而，它们的估算是用基于交叉验证的适应度函数的遗传算法来完成的。在这里，随着采集可能输入变量和人工神经网络结构的自动分析程序的发展，贝叶斯和支持向量机训练已经不再使用交叉验证。

贝叶斯方法第一次在负载预测中被完全的利用。为避免预测显著的阈值，一个新的用来决定有效输入的程序已经被开发出来。相比于最近提出来的模型【21】-【25】，在没有交叉验证的情况下，支持向量回归的参数和核心参数第一次被评估。

三个数据库已经被用来测试。其中的第一个相当于以小时为单位从一个被用于负载预测竞争的北美用电设备【4】，【26】的负载和温度系列。第二个数据库和日常最高的负载预测竞争相关，其负载和温度数据从东部斯洛伐克电力公司【25】取得。最后的一个数据组含有从澳大利亚电力部门管理公司【27】拿到的以半小时为单位的负载，温度和价格数据。

本论文中这些基于网络的数据集被用来允许重新生成结果。考虑到意向读者，这篇论文尽量让理论部分（第二部分到第四部分）相对独立。短期负载预测的重要方面有特别强调。本文第五部分呈现结果，第六部分介绍结论。

Ⅱ.人工神经网络复杂度控制

在负载预测中普遍使用的神经网络模型有一个带有一个隐藏层的前馈结构【例如，多层感知器（MLPs），径向基函数（RBFs）】。为了介绍已经采纳了的命名法，这部分描述了一个带有一个隐藏层和一个输出神经元的在监督学习下的前馈人工神经网络的基本结构。

和 分别是向量代表输入信号和用人工神经网络连接衡量的向量，其中M=nm 2m 1，m是深层神经数目。隐藏神经S型激活函数的偏差由表示，k=1,2，hellip;m, b代表输出神经线性激励函数。最终的映射是

。 （1）

其中

。

给定一个带有输入或输出对的N的数据集U，其中，，，代表期望输出，人工神经网络训练的目的经常是对权向量的评估来让经验风险（训练错误）最小化，即

。 （2）

让（2）最小化的算法有好几种，独立使用经典的错误反向传播算法，或者采用二阶方法，比如LM【13】或任何其他训练方法，这种无约束训练准则的主要缺点就是对模型复杂度缺少关注。

这里有两种方法可以控制人工神经网络的非线性程度。第一种方法叫做结构稳定法，在这里物体本身决定了隐藏层中的最小神经数。这种方法能通过用修剪或生长过程来比较不同结构从而得到实施，主要通过交叉验证或者对模型复杂度的分析性评估（例如VC界限【16】和NIC【29】）。

支持向量机（第四部分）属于结构稳定方法。它的学习基于结构风险的最小化，即对泛化错误上限的最小化（VC界限），对此持有很高的信心。因此，用成为训练副产品的模型结构的支持向量机有自己的复杂度隐式控制。

神经网络复杂度控制的第二种方法基于正则化理论，这种分析方法调整人工神经网络的非线性程度而不用改变模型的必要结构。第三部分描述了这种途径相关的两种方法：增益缩放【18】和贝叶斯训练【14】。

Ⅲ.正则化技术

正则化理论显示了当例子数目趋向于无穷的疏忽泛化是如何表现的。通过将总风险最小化可以得到训练错误和泛化能力之间的平衡。

（3）

在（3）中，在评估模型复杂度时， 表示在（2）中提到的经验风险。参数lambda;是正则化变量，表示了偏置方差权衡，即训练错误和模型复杂度。正则化变量lambda;的设置是重采样或者贝叶斯预估法得到的。

1. 增益缩放法

激励函数增益缩放法【18】是一个 等同于在一个不是很明确的训练模式下输入噪声的岗位培训方法。训练集里包括原始输入的损坏版本的激励就是缓和函数映射，来避免相似输入的发散输出。相似泛化能力可以用一个在原始数据集（比如没有损坏的模式下）最小化经验风险的人工神经网络得到，训练之后，从S型激励函数隐藏神经元的增益（过渡区斜坡）乘以，也就是，

（4）

其中

加到训练输入模式的噪音方差相关的变量是用交叉验证评估的。由于不等于零，人工神经网络提供了更少的非线性，因为激励函数的斜率在下降（增加它们的线性段）。在这个工作里，用反向传播算法训练的人工神经网络被用于增益缩放函数的起点。

1. 贝叶斯人工神经网络训练

在（3）中定义的函数形式是通过贝叶斯推理的应用得到的。运用贝叶斯规则，条件概率密度函数（PDF）的（在数据集U和）被下式评估： (5)

X是（5）中的所有条件概率，从这里开始将会被省略，因此，在这里是给定的D事件的概率，是的先验条件概率密度函数，并且使得=1。

起初被认为是一个等于的零均值和对角协方差矩阵，其中是M恒等矩阵，即其中 （6）

所需方差用表示，其中是等于的带有零均值和方差的高斯白噪声。正则化因子和（学习参数，也叫作超参数），和其他正则化技术相反，是随着模型变量被评估的。结合先前数据集模式独立的假设， 其中 （7）

因此，基于（5）可得到 （8）

其中

（9）

因此，后验分配的最大值等于的最小值[14]。用除并且让（3）中，如果满足

（10）

就能确认和之间的等式。

在（10）中，称为重量衰减的正则化项，有利于神经模型与小幅度的连接权。连接权重的小值倾向于通过几乎线性的段来传播输入信号S型激活函数。注意，要求在贝叶斯训练的先验信息是用于控制人工神经网络的复杂性的主要的仪器。

人工神经网络的贝叶斯训练的优点之一是估计的嵌入式迭代机制，比如避免了交叉验证的和。对于负荷预测等多元的问题，不推荐使用处理所有的连接权值单超参数。负荷和天气相关的输入变量，如温度，需要不同的先验。即使在相同的变量类型里，也包含了不同层次的相互依存（譬如和还有和，按每小时的基础负荷）。

在这项工作中，每个组的连接权直接关系到一个输入变量接收到一个不同的。同样的想法被施加到与偏见的权重组（一个与隐藏的神经元连接，另一个用于输出神经元连接）。最后一个是与所有的隐藏和输出层之间的连接权重。因此，对于一个n维输入向量，其总的数是n 3。

1. 贝叶斯训练中的输入选择：对于一个给定的模型结构，的能和相应输入变量（采取预定义设置）的相关性进行比较。由于应该被零均值和协方差正常分配，因此，最大的得到最小的。为了评估后验条件概率密度函数，贝叶斯训练结合了训练集提供的信息（5）的先验条件概率密度函数。如果很大，有关的先验信息基本是确定的，并且评估的训练数据的影响可以忽略。另一种观察对的影响的方法是通过（9）。

非常小的输入变量即很大的，对输出的影响不是很明显。然而，必须建立一个定义的非常大的引用级别。短期负荷预测，不相干的两个不同的引用需要：连续变量的一个参考，如荷载和温度，和另一个虚拟变量，如一天的星期和时间。均匀分布的输入变量可以被用来定义无关参考【30】。对于连续输入变量，由于连续变量已经标准化（零均值和方差），一个均匀分布的随机变量的上限和下限等于和分别作为不相关性参考。对于假变量，参考是一个具有均匀分布的二元随机变量。这2个引用变量被添加到预定义的输入集合中。

训练后的模型与预定义的输入变量，和虚拟变量分别排名。对于每一个级别，相应大于（无关的水平）都被忽略。在输入选择之后，再对选择的变量用人工神经网络再次训练。

1. 贝叶斯训练中的结构选择：贝叶斯推理也可以被用来确定一个预定义的一组的可能性，比如，其相应输入在之前就被选择好，即：

（11）

在（12）中，代表了模型的先验概率，并且用下式给出:

(12)

用高斯近似估计的参数（从训练中），分析综合（12）是可能的，得到（13）

（13）

其中m表示人工神经网络中隐藏神经元的数目。因为所有模型刚开始都假设为等可能，所以从最大的（也等于最大的）中被选择出来。因此，（13）能被用于在带有深层不同数量的神经元的多层感知器中划分等级并且从中选择。

1. 扩展贝叶斯训练算法：下面的步骤描述了通过贝叶斯推理人工神经网络结构和输入选择。

剩余内容已隐藏，支付完成后下载完整资料

英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[148453]，资料为PDF文档或Word文档，PDF文档可免费转换为Word