英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料

---

目 录

第一部分：介绍.........................................1

第二部分：问题公式化...................................1

一、长期短期记忆网络..............................1

二、 LSSVM的非线性综合学习.......................2

1)最小二乘支持向量机............................2

2)自适应混沌萤火虫算法 .........................3

a)萤火虫基本算法..............................3

b)改进1-惯性重量.............................4

c)改进2-混沌机制..............................4

3) CFA对LSSVM进行优化........................4

三、提出了基于LSTM-LSSVM-CFA的两阶段预测框架....4

第三部分：案例研究结果与分析..........................5

1. 风速数据采集.................................5
2. 算法设置说明.................................6
3. 仿真结果与分析...............................7

1)小数据集结果................................7

2)大数据集结果................................8

第四部分：结论.......................................10

参考文献.............................................11

Abstract..............................................12

基于LSTM-LSSVM-CFA的两阶段短期风速预测

张黎明，王波，马恒瑞，杨政，方必舞，许叶言

2018年第二届IEEE能源互联网与能源系统集成大会(EI2)，北京

摘要:准确预测风速对风电网络的大规模接入至关重要。本文提出了LSTM-LSSVM-CFA两阶段预测方法(lstm -long - short-term memory networks, LSSVM-least squares support vector machine, CFA-chaos firefly algorithm)，这可能是提高短期风速预测精度的一种有效方法。基于LSTMs和LSSVM-CFA的风速序列综合学习是该方法的核心技术。预测部分包括两个主要程序。在第一个阶段，采用一对具有不同隐层和不同神经元处理的LSTMs，保证了风速时间序列隐含信息的充分收集，避免了单个深度神经网络学习泛化能力较弱。第二阶段，将lstms层的预测结果传输到基于lssvm的回归层，利用具有全局搜索能力的CFA对回归层参数进行优化。最后，利用lssvm层给出了最终的预测综合学习结果。基于实际历史风速数据，利用单lstm、LSTM-LSSVM-PSO和LSTM-LSSVM-CFA提前1小时进行短期风速预测。实验结果表明，所提出的LSTM-LSSVM-CFA模型与其他常用的集成学习模型相比，具有更好的性能。

关键词：风速；自回归过程；预测模型；预测算法；优化；逻辑门；支持向量机

第一部分：介绍

近年来，风力发电受到世界各国的高度关注，在所有可再生能源发电中发展速度最快。然而，许多地区电网在风电并网后难以调节峰值负荷。造成这些问题的根本原因是风速的波动性和随机性，导致了[1]输出的时断性和不确定性。因此，准确预测风力发电是非常重要的。

预测风速的模型有很多，一般分为基于物理模型和基于历史数据的[2]模型。基于物理的模型从天气预报中收集数据。基于物理的模型更新信息的频率较低，只能用于中长期风速预测。相比之下，基于历史数据的模型，如人工神经网络、自回归移动平均模型、空间相关方法、高斯过程回归、支持向量机和最小二乘支持向量机[3]-[4][5][6]更受欢迎。此外，为了提高单个模型的预测性能，最近研究了一个组合模型来实现[7]的目标。综合预测模型将多个不同模型的预测结果与相应的权重系数相结合。Song等人提出了一种结合数据预处理技术、流行的预测算法和强大的无负约束优化算法的模型。Wang等人将完全集成经验模态分解、五神经网络和混沌授粉算法相结合，建立了短期风速预测模型。然而，一般的权系数线性组合方法存在一个缺点，即无法找到单个模型之间的非线性关系。

近年来，深度学习在许多研究领域得到了广泛的应用。特别是Hochreiter等人[10]独创的长短时记忆(LSTM)，引起了人们对序列学习领域的研究兴趣。Erick等人利用长短时记忆网络和回波状态网络对风力进行预测。Kong等人提出了一种利用LSTM递归神经网络进行短期负荷预测的深度学习方法。对于时间序列的深度学习预测模型，不同的层数可以提供不同层次的抽象，提高学习能力和预测性能。因此，我们可以智能地结合并行学习模型来提高深度学习的性能。该方法被认为是综合预测。Chen等人利用支持向量机的集成学习回归提出了一种组合预测模型，并通过极值优化算法对其顶层参数进行优化。然而，其集成学习的顶层优化方法不能得到全局最优解。我们知道，优化参数可以更准确地预测风速，更好的全局优化能力可以产生更好的预测精度。因此，我们可以使用更智能的优化算法来提高集成深度学习预测的精度。

在此背景下，我们采用基于LSTMs、LSSVM和CFA的两阶段深度学习综合预测方法LSTM-LSSVM-CFA进行风速时间序列短期预测。在第一个阶段，采用一对具有不同隐层和不同神经元处理的LSTMs，保证了风速时间序列隐含信息的充分收集，避免了单个深度神经网络学习泛化能力较弱。第二阶段，将lstms层的预测结果传输到基于lssvm的回归层，利用具有全局搜索能力的CFA对回归层参数进行优化。最后，利用LSSVM-Iayer给出了风速预测的最终综合学习结果。特别是与传统的优化算法相比，改进后的算法采用自适应惯性权值和混沌搜索机制，具有更好的全局收敛能力。基于内蒙古某风电场实际历史风速数据，利用单lstm、LSTM-LSSVM-PSO和LSTM-LSSVM-CFA提前1小时进行短期风速预测。实验结果表明，所提出的LSTM-LSSVM-CFA模型与其他常用的集成学习模型相比，具有更好的性能。

第二部分：问题公式化

一、长期短期记忆网络

RNN与普通神经网络最大的区别在于，每一个隐层单元之间并不是相互独立的，每一个隐层不仅相互关联，而且还与隐层单元被接受前的时序输入有关。该特性对处理时间序列数据(如风速数据)有很大的帮助。RNN隐层单元展开图如图1(A)所示

图1所示，RNN和lstm的模式

虽然在RNN的计算过程中增加了前一时刻的输入，但随着时间的推移，后一时刻节点对前一时刻节点的感知能力下降，即RNN存在梯度消亡问题。LSTM是一种改进的RNN，用于解决梯度消亡现象。LSTM网络由输入层、输出层和隐藏层组成。与传统的RNN相比，LSTM的隐含层不再是一个普通的神经单元，而是一个具有独特记忆模式的LSTM单元。LSTM的记忆细胞结构如图1(b)[15]所示。每个LSTM单元都有一个内存单元，通过控制输入门、遗忘门和输出门来读取和修改内存单元。LSTM的计算过程如下:

（1）

（2）

(3)

(4)

⊙ ⊙ (5)

⊙ (6)

其中x_i为记忆单元的输入，h_t为记忆单元的输入，f_t、i_t、o_t分别为遗忘门、输入门、输出门的输出，c_t为记忆单元的状态。sigma;是门激活函数,⊙表示阿达玛产品,phi;表示输出的激活函数,W_fx, W_fh, W_ix, W_ih, W_gx, W_gh, W_ox和W_oh代表相应的权重矩阵,b_f, b_i、广播和偏硼酸钡是偏差向量。

二、 LSSVM的非线性综合学习

为了实现更好的风速预测组合预测，本文在LSSVM和CFA组成的LSTMs预测的基础上，发展了非线性综合学习。LSSVM参数如惩罚系数C和内核参数sigma;是决定性的综合学习性能。为了解决这一问题，本文创造性地利用CFA对LSSVM的参数进行了优化。

1. 最小二乘支持向量机

最小二乘支持向量机算法是支持向量机的一种改进算法。非线性映射ϕ()将样本映射到特征空间,在那里的LSSVM回归模型采用以下形式:

(7)

其中，w和b为通过最小化目标函数确定的参数:

(8)

其中C为正则化常数，ei为训练数据误差。回归问题可以转化为以下优化问题:

(9)

问题的拉格朗日函数构造如下:

(10)

alpha;ige;0代表了拉格朗日乘数。根据Karush-Kuhn-Tucker条件，L的一阶导数为:

(11)

然后我们可以得到如下方程:

（12）

通过消除w和ei，将优化问题转化为线性系统：

(13)

alpha;_i和b可以通过解这个线性方程。因此，LSSVM模型为:

(14)

k (x_j, x) =ϕ(x_i)^Tϕ(x)是内核函数。本文选择RBF核函数作为核函数，因为它在处理非线性关系方面具有良好的综合性能。核函数如下所示:

(15)

的公式,sigma;是内核宽度,反映边界封闭的半径。LSSVM的回归模型中,惩罚系数C和参数sigma;是最重要的两个参数影响的准确性预测[18]。在这项研究中,优化参数组合(C,gamma;),改善了萤火虫算法,以获得最佳的预测模型。

1. 自适应混沌萤火虫算法
2. 萤火虫基本算法

萤火虫算法是一种生物群智能随机优化算法，通过模拟萤火虫在觅食和交配产生的光下相互吸引来解决优化问题。

因为一只萤火虫的吸引力是被邻近的萤火虫发出的光的强度成正比,吸引力beta;的变化与距离r可以定义如下:

(16)

在beta;₀ r = 0时的吸引力。

萤火虫i的运动被另一个更亮的萤火虫j所吸引这是由

(17)

Firefly的基本算法简单易行，只需要几个参数就可以实现，但之后的迭代会在接近局部或全局极值的地方重复振荡。

1. 改进1-惯性重量

从惯性权重对粒子群优化的改进中学习，通过线性减小惯性权重对基本算法进行改进，如Eq.18所述。

(18)

其中[数学处理误差]分别为最大权值和最小权值;t、MaxT分别为当前迭代次数和最大迭代次数。该职位是根据Eq.19更新的egin{equation*}x_{i}(t 1)=wx_{i}(t){eta(x_{j}(t)-x_{i}(t)) alphavarepsilon_{i} ag{19} end{equation*}

---

资料编号：[19834]，资料为PDF文档或Word文档，PDF文档可免费转换为Word

1. 改进2-混沌机制
剩余内容已隐藏，支付完成后下载完整资料