英语原文共 12 页，剩余内容已隐藏，支付完成后下载完整资料

卷积LSTM网络：机器学习降水预报方法

Xingjian Shi Zhourong Chen Hao Wang Dit-Yan Yeung

香港科技大学计算机科学与工程系

fxshiab,zchenbb,hwangaz,dyyeungg@cse.ust.hk

Wai-kin Wong Wang-chun Woo

香港天文台

摘要

降水临近预报的目标是相对较短的时间内预测当地区域未来的降雨强度。 以前的研究很少从机器学习角度实践这个关键且具有挑战性的天气预报问题。 在本文中，我们制定了降水临近预报作为一个时空序列预测问题，其中输入和输入预测目标是时空序列。 通过延伸完全连接LSTM（FC-LSTM）在输入和输入中都有卷积结构的转换，我们提出了卷积LSTM（ConvLSTM）和用它来构建降水临近预报问题的端到端可训练模型。实验表明，我们的ConvLSTM网络捕获了时空相关性更好，始终优于FC-LSTM和theart-theart用于降水临近预报的ROVER算法。

1 引言

对流降水的临近预报长期以来一直是天气领域的一个重要预测问题。这项任务的目标是准确，及时地预测本地区域在相对较短的时间内（例如，0-6小时）降雨强度。这是很重要的预报方式，社会级紧急降雨警报，为机场提供天气指导。与长期数值天气预报（NWP）模型无缝集成。由于预测分辨率和所需的时间精度远高于其他传统预测模式，如每周平均温度预测，降水临近预报问题非常具有挑战性，并已成为气象界的一个热门研究课题^[22]。现有的降水临近预报方法大致可分为两类^[22]，即基于NWP的方法和雷达回波外推法的方法对于NWP方法，在临近时间尺度上进行预测需要进行复杂而细致的模拟大气模型中的物理方程。因此，目前最先进的运行降水临近预报系统^[19,6]通常采用更快，更准确的外推法方法。具体而言，一些计算机视觉技术，尤其是基于光流的方法，已经证明有用于精确推断雷达图^[10,6,20]。最近的一个进展沿着这条路径是雷达回波的变分（ROVER）的实时光流。

在现实生活系统中，雷达回波图通常是恒定高度计划位置指示器（CAPPI）图像^[9]。香港天文台（HKO）提出的短程预警算法^[25]局部系统中的强烈暴雨（SWIRLS）^[15]。 ROVER计算光流量使用^[5]中的算法连续雷达图并执行半拉格朗日平流^[4]假设流动场是静止的，以完成预测。虽然成功了但是这些基于光流的方法有局限性，因为流量估计步骤和雷达回波外推步骤是分开的，并且确定模型参数以提供良好的挑战是很难的。可以通过从机器学习角度查看问题来解决这些技术问题。实质上，降水临近预报是一个时空序列预测问题。以过去雷达图作为输入和固定数字的序列（通常更大）未来的雷达图作为输出。但是，这样的学习问题，无论其准确性如何由于时空的高维度，应用程序首先是非常重要的，处理这样的数据也是异常困难的。除非是在必须进行多步预测时预测模型很好地预测数据。不然由于大气的混沌特性，建立雷达回波数据的模型更具挑战性。

深度学习的最新进展，特别是递归神经网络（RNN）和长期短期记忆（LSTM）模型^{[12,11,7,8,23,13,18,21,26]}，提供了一些有用的见解来解决这个问题。根据深度学习方法的基础哲学，如果我们有一个合理的端到端模型和足够的数据来培训它，我们就能更容易解决它。降水临近预报问题满足数据要求，因为它很容易连续收集大量的雷达回波数据。我们需要的是一个合适的模型端到端学习。 ^[23]中提出的开创性LSTM编码器 - 解码器框架提供了一个通过训练暂时连接的序列到序列学习问题的一般框架LSTM，一个用于输入序列，另一个用于输出序列。在[18]中，它表明了基于RNN的语言模型可以通过构建模型来完成下一个视频帧的预测和中间帧的内插，通过量化图像块获得的视觉词。他们提出一种循环卷积神经网络来模拟空间关系，但模型仅预测前一帧和用于状态到状态转换的卷积内核的大小限制为1.他们的工作后来在[21]中进行了跟进，指出了多步预测的重要性。他们构建了LSTM编码器 - 解码器预测器重建输入序列并同时预测未来序列的模型。虽然他们的方法也可以用来解决我们的时空序列预测问题是，他们的模型采用的完全连接的LSTM（FC-LSTM）层未考虑到空间相关性。

在本文中，我们提出了一种新的卷积LSTM（ConvLSTM）网络，用于现在的降水铸造。我们将降水临近预报制定为时空序列预测问题，可以在[23]中提出的一般序列到序列学习框架下解决。为了很好地模拟时空关系，我们将FC-LSTM的思想扩展到ConvLSTM，ConvLSTM在输入到状态和状态到状态转换中都具有卷积结构。通过堆叠多个ConvLSTM层并形成编码预测结构，我们可以构建用于降水临近预报的端到端可训练模型。为了进行评估，我们创建了一个新的真实雷达回波数据集，可以促进进一步研究，尤其是为该问题设计机器学习算法。当在合成的Moving-MNIST数据集^[21]和雷达回波数据集上进行评估时，我们的ConvLSTM模型始终优于FC-LSTM和最先进的操作ROVER算法。

2 准备

2.1 公式化降水预报问题模型

降水临近预报的目标是使用先前观测到的雷达回波序列在当地区域（例如，香港，纽约或东京）预测未来雷达地图的固定长度。 在实际应用中，雷达地图通常每隔6-10分钟从气象雷达中获取，并且在接下来的1-6小时内进行临近预报，即预测前方的6-60帧。从机器学习的角度看这是时空序列问题的预测。假设我们观察到由M* N网格表示的空间区域上的动态系统，该网格由M行和N列组成。 在网格中的每个单元内部，存在随时间变化的P测量。 因此，任何时候的观察可以由张量Xisin;R（P *M* N）表示，其中R表示观察到的特征的域。 如果我们定期记录观察结果，我们将得到一系列张量X ^ 1;X^ 2; ::: ;X^ T。 时空序列预测问题是预测未来最可能的长度-K序列，前面的J观测值包括当前的J观测值：

对于降水临近预报，每个时间序列的观测是2D雷达回波图。 如果我们将地图划分为平铺的非重叠像素块并将像素块内的像素视为其测量值（参见图1），则临近预报问题自然会成为时空序列预测问题。我们注意到我们的时空序列预测问题不同于一步时间序列预测问题，因为我们问题的预测目标是包含空间和时间结构的序列。 尽管长度为K的序列中的自由变量的数量可以达到O（MK NK P K），但实际上我们可以利用可能预测空间的结构来减少维数，从而使问题易于处理。

2.2用于序列建模的长短期记忆模型

2.2用于序列建模的长短期记忆

对于通用序列建模，LSTM作为一种特殊的RNN结构已被证明在以前的各种研究[12,11,17,23]中建立长期依赖性的稳定性和强大性。 LSTM的主要创新是其存储单元ct，它基本上充当状态信息的累加器。通过几个自参数化控制门访问，写入和清除单元。每当有新输入时，如果输入门被激活，它的信息将被累积到单元格。此外，如果忘记门ft打开，则在此过程中可能“遗忘”过去的单元状态ct 1。最新的单元输出ct是否将传播到最终状态ht进一步由输出门ot控制。使用存储器单元和门来控制信息流的一个优点是梯度将被捕获在单元中（也称为恒定误差轮播^[12]）并且可以防止消失太快，这对于vanilla RNN 模型来说是一个关键 ^[12,17,2]。 FC-LSTM可以被视为LSTM的多变量版本，其中输入，单元输出和状态都是1D向量。

可以堆叠多个LSTM并在时间上连接以形成更复杂的结构。 这些模型已被应用于解决许多现实生活中的序列建模问题^[23,26]。

3 模型

我们现在介绍我们的ConvLSTM网络。 虽然FC-LSTM层已被证明对处理时间相关性有很强的作用，但它对空间数据包含太多冗余。 为了解决这个问题，我们提出了FC-LSTM的扩展，它在输入到状态和状态到状态转换中都有卷积结构。 通过堆叠多个ConvLSTM层并形成编码预测结构，我们能够建立一个网络模型，不仅适用于降水临近预报问题，还适用于更一般的时空序列预测问题。

3.1卷积lstm

FC-LSTM在处理时空数据时的主要缺点是它在输入到状态和状态到状态转换中使用完全连接，其中没有空间信息被编码。 为了克服这个问题，我们设计的一个显着特点是所有输入X1; ::: ;; Xt，单元输出C1; ::: ;; Ct，隐藏状态H1; ::: ;;Ht;而it，ft，ot门在;ConvLSTM中是3D张量，其最后两个维度是空间维度（行和列）。 为了更好地了解输入和状态，我们可以将它们想象为站在空间网格上的向量。 ConvLSTM通过其本地邻居的输入和过去状态来确定网格中某个单元的未来状态。 这可以通过在状态到状态和输入到状态转换中使用卷积运算符来轻松实现（参见图2）。 ConvLSTM的关键方程如下面的（3）所示，其中表示卷积运算符，如前所述，表示Hadamard乘积：

如果我们将状态视为移动对象的隐藏表示，具有较大过渡内核的ConvLSTM应该能够捕获更快的运动，而具有较小内核的ConvLSTM可以捕获较慢的运动。 此外，如果我们采用与^[16]类似的视图，由（2）表示的传统FC-LSTM的输入，单元输出和隐藏状态也可以被视为3D张量，最后两个维度为1.在这个意义上 ，FC-LSTM实际上是ConvLSTM的一个特例，所有功能都站在一个单元格上。

为了确保状态具有与输入相同的行数和相同的列数，在应用卷积运算之前需要填充。这里，边界点上隐藏状态的填充可以被视为使用外部世界的状态进行计算。通常，在第一个输入到来之前，我们将LSTM的所有状态初始化为零，这对应于未来的“完全无知”。类似地，如果我们对隐藏状态执行零填充（在本文中使用），我们实际上将外部世界的状态设置为零并且假设没有关于外部的先验知识。通过填充状态，我们可以区别对待边界点，这在许多情况下是有帮助的。例如，假设我们观察的系统是一个被墙围绕的移动球。虽然我们看不到这些墙，但我们可以通过一次又一次地发现球在它们上面弹跳来推断它们的存在，如果边界点具有与内点相同的状态转换动力学，则很难做到。

3.2编码 - 预测结构

与FC-LSTM一样，ConvLSTM也可以作为更复杂结构的构建块。 对于我们的时空序列预测问题，我们使用图3所示的结构，它由两个网络组成，一个编码网络和一个预测网络。 与^[21]中一样，预测网络的初始状态和单元输出是从编码网络的最后状态复制的。 两个网络都是通过堆叠多个ConvLSTM层形成的。 由于我们的预测目标具有与输入相同的维度，我们连接预测网络中的所有状态并将它们馈送到11卷积层以生成最终预测。

我们可以使用与^[23]类似的观点来解释这种结构。 编码LSTM将整个输入序列压缩成隐藏状态张量，预测LSTM展开这个隐藏状态。这种结构也类似于[21]中的LSTM未来预测模型，不同之处在于我们的输入和输出元素都是保留所有空间信息的3D张量。 由于网络具有多个堆叠的ConvLSTM层，因此它具有很强的表征能力，因此适合在复杂动力系统中进行预测，如我们在此研究的降水临近预报问题。

4实验

我们首先在合成的MovingMNIST上比较我们的ConvLSTM网络和FC-LSTM网络数据集，以获得对我们模型行为的一些基本了解。我

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[17650]，资料为PDF文档或Word文档，PDF文档可免费转换为Word