英语原文共 12 页，剩余内容已隐藏，支付完成后下载完整资料

卷积LSTM网络：基于机器学习的降水临近预报/及时预报

Xingjian Shi Zhourong Chen Hao Wang Dit-Yan Yeung

Department of Computer Science and Engineering

Hong Kong University of Science and Technology

xshiab,zchenbb,hwangaz,dyyeung@cse.ust.hk

Wai-kin Wong Wang-chun Woo

Hong Kong Observatory

Hong Kong, China

wkwong,wcwoo@hko.gov.hk

摘要 降水临近预报的目标是预测某个区域在相对较短的时间内的未来降水强度。但是以前的研究中，很少出现从机器学习的角度来研究这个关键且具有挑战性的天气预报问题。在本文中，我们制定降水临近预报作为时空序列预测问题，其中输入和预测目标都是时空序列的。通过扩展完全连接的LSTM（FC-LSTM）使其在从输入到状态和状态到状态的转换都具有卷积结构，我们提出了卷积的LSTM（ConvLSTM）并且用它来建立一个终端到终端的可训练模型来处理降水临近预报问题｡实验表明，我们的ConvLSTM网络捕获时空相关性更好，且一直优于FC-LSTM和最先进的ROVER算法降水临近预报。

1 引言

对流性降水的临近预报一直是气象领域的一个重要预测问题。这项工作的目的是给在降雨强度的精确和及时的预测在一段相对较短的时间（例如，0-6小时）的局部区域。正是采取这种至关重要及时采取行动如发生社会层面应急降雨警报，为产区天气指引机场，并与长期数值天气预报（NWP）模型的无缝集成。由于需要预测的分辨率和时间精度比其他传统的高得多预测像周平均温度预报任务，降水临近预报问题是相当具有挑战性，并已成为在社会气象学的一个热门的研究课题 [22]。

目前临近预报已有的方法大致可以分为两类，即基于数值天气预报方法（NWP）和雷达回波外推的方法。 对于NWP，在临近预报的时间尺度进行预测，需要一个复杂细致的模拟在大气中的模型中的物理方程。 因此，当前最先进的临近降水预报系统[ 19，6]往往采用基于更快，更准确地推断方法。特别是一些计算机视觉技术，尤其是基于光流的方法，已经证明对于制作推断准确的雷达地图是有用的 [10， 6，20]。 最近的一项进展沿着这条道路是变分方法雷达回波的实时光流算法（ROVER）由香港天文台为它短程的强暴雨在本地化系统提出警告（SWIRLS）[ 15 ]。 ROVER计算的光流使用该算法连续雷达地图 [5]，并执行半拉格朗日平流[4]上流场，它被假定为静止以实现预测。然而，这些基于光流的成功是有限的，因为流估计步骤和所述雷达回波步骤被分离，确定模型参数以得到良好的预测性能是具有挑战性的。

这些技术问题可以从机器学习角度得以继续处理。 在本质上，临近预报是一个时空序列预测问题，将过去的雷达图作为输入，顺序和数目固定的未来雷达图的序列（通常比1大）作为输出。然而，这样的学习问题，无论其确切应用中，都是首要的，由于时空的高维序列尤其是当多步预测已被提出，除非时空结构的数据都是由预测模型良好捕获的。 此外，由于大气的混沌性质，为雷达回波数据建立有效的预测模型是更具挑战。

深度学习的最新进展，特别是递归神经网络（RNN）和长短期的新进展内存（LSTM）模型[12， 11 ，7，8，23，13，18，21，26]，提供了有关如何解决这个问题的一些有益启示。 根据该理念的深度学习的基本方法，如果我们有一个合理的终端到终端的模式和足够的数据进行训练它，我们已经接近解决问题。 降水临近预报问题，满足数据要求，因为它很容易连续收集了巨大的雷达回波数据量。 所需要的是一个合适的模型终端到终端的学习。先进的LSTM编码—解码

结构23]提供了一个通过培训序列对序列学习问题的一般框架串接时间LSTMs，一个用于输入序列，另一个用于输出序列。 在[1 8]，它表明在下一个视频帧和中间帧的内插预测可以通过建筑物完成上通过量化图像块所获得的视觉词基于RNN语言模型。 他们提出了一个反复卷积神经网络的空间关系，但该模型建模只有提前预测一帧和卷积内核用于态-态转录规模得被限制为1。他们的工作在后面随访 [2 1]中指出在学习有益的表述多步预测的重要性。 他们建立一个LSTM编码-解码预测模型，其中重建输入序列，并预测未来的序列预测器模型发声。 虽然也可以使用它们的方法来解决我们的时空序列预测问题，完全连接LSTM（FC-LSTM）其模型没有考虑空间层采用相关考虑。

在本文中，我们提出了一种新型的卷积LSTM（ConvLSTM）网络用于临近降水预测。我们提出临近降水预报作为一个时空序列预测问题可在一般顺序对序列学习框架下解决 23] 。 为了模型能很好地模拟时空关系，我们产生了扩展FC-LSTM到ConvLSTM的想法，其中输入到状态和状态到状态转换都具有卷积结构。 通过堆叠多个ConvLSTM层和形成一个编码预测结构，我们可以建立一个

端至端为降水临近预报训练模。 为了进行评估，我们已经创建了一个新的现实生活中的雷达回波数据集以方便尤其是在制定进一步研究学习的问题的算法。 当在合成的移动MNIST数据 [ 21]和雷达回波数据集评估，我们ConvLSTM模式始终优于FC-LSTM和操作先进的ROVER算法。

2准备

2.1降水临近预报问题的提出

降水临近预报的目标是使用先前观察雷达回波序列预测在局部地区（如香港，纽约，东京）未来雷达地图的固定长度。在实际应用中，雷达地图通常是从气象雷达每6-10分钟采取一次，临近降水预报也是对于未来的1-6小时，即提前预测6-60帧。 从机器学习的角度来看，这个问题可以被视为一个时空序列预测问题。

假设我们在空间区域观察一个动力系统，可以看成由一个网格,由行和列组成。网格中的每个单元格内有随着时间的推移而变化的测量量｡因此,观察在任何时候可以表示为一个张量，表示观察特征的领域｡如果我们定期记录观察,我们可得到一个序列的张量｡时空序列预测问题是在给出前个观测量的条件下预测在未来最可能的序列长度,具体表示如下：

（1）

对于降水临近预报,在每一个时间戳的观察量是一个的雷达回波图｡如果我们将地图划分为平铺无重叠的小块，将每一个小块里的像素作为观察量，如图1，那么问题自然成为时空序列预测问题｡

图 1 图转换为张量

我们注意到我们的时空序列预测问题是不同于的时间长度为一步的系列预测问题因为我们问题的预测目标是包含一个时空结构的序列｡尽管自由变量的数量序列上可达到,在实践中我们可以利用的空间结构的可能性来预测降低维数，从而使问题变得易于处理｡

2.2短时记忆序列建模

对于通用的序列建模，LSTM作为一种特殊的RNN，在之前的多种的研究中已经被证明对大范围依赖建模是稳定而强有力的｡LSTM的主要创新是它的存储单元，实际上充当着蓄电池存储状态信息｡存储单元会被几个半参数化的控制门访问、写入、清除。每当有一个新的输入，如果输入门被激活,其信息将积累到存储单元｡同样，如果忘记门正在进行，过去存储单元可以在这一过程中“遗忘”｡最新的存储单元是否会传播到最终状态进一步控制的｡使用存储单元和门的一个优势是可以控制信息流,其梯度将被困在存储单元(也称为常数错误旋转木马) 可阻止消失太快，对于RNN模型这是一个关键问题｡FC-LSTM可能被视为多元LSTM，其输入，存储单元输出和状态都是一维向量｡在本文中，我们参考之前的文章制定了FC-LSTM｡关键方程如下：

多元LSTM可以堆叠且暂时连接形成更复杂的结构｡这样的模型已经被应用于现实生活中的去解决许多类似的序列建模问题｡

3 模型

下面我们具体展现ConvLSTM网络｡尽管FC-LSTM层被证明在处理时间相关问题时是强大的，但它包含太多的空间数据的冗余｡为了解决这个问题，我们提出了一个扩展的FC-LSTM，在输入到状态和状态到状态的转换都具有回旋的结构｡通过叠加多个ConvLSTM层形成一个编码到预测的结构，我们可以建立一个不仅用于短期降水预测问题而且可以用于更一般的时空序列预测问题的网络模型｡

图 2 ConvLSTM的内部结构

3.1 卷积的LSTM

FC-LSTM处理时空数据的主要缺点是在输入到状态和状态到状态的转换使用完全连接这样就没有空间信息的编码｡为了克服这个问题，我们设计的一个特色是将所有ConvLSTM的输入、存储单元输出、隐藏状态和门都作为的的张量，这样最后两个维度就是空间维度(行和列)｡为了得到更好地的输入和状态的图像，我们将它们作为在空间网格上的向量｡通过输入和相邻区域的过去状态，ConvLSTM决定网格中的某些存储单元的未来状态｡这可以很容易地在一个状态到状态和输入到状态的转换中使用卷积操作实现(见上图2)｡ConvLSTM的关键方程如下所示：

（3）

如果我们把这些状态看成是移动对象的隐藏表示，当有一个更小的内核可以捕捉速度较慢的移动时带有更大过渡内核的ConvLSTM应该能够捕捉更快速的移动｡同样，如果我们采取类似的观点，传统FC-LSTM的输入、存储单元输出和隐藏门也可以被视为三维张量带有最新的两个维度｡从这个意义上讲，FC-LSTM 通常可以看作是所有特征集中在一个存储单元上的ConvLSTM的一个特例｡

为确保状态的输入有相同的相同的行数和列数,在应用卷积操作之前需要进行填充｡在这里，边界点隐状态的填充可以被视为使用外部世界的状态进行计算｡通常情况下，在第一个输入之前，我们将所有LSTM的状态初始化为零,即可与未来的未知相对应｡类似地，如果我们在隐状态进行补零(本文使用)，我们实际上是将外部世界的状态设置为零，假设没有之前的外面的知识｡通过填充状态，我们可以区分将边界点的不同，这在很多情况下是有用的｡例如，假设我们正在观察的系统是一个移动被城墙包围的球｡尽管我们无法看到这些墙壁，我们可以通过发现球在他们之间一次又一次反弹推断出它们的存在，但如果边界点和内部点有相同的状态转换动力就很难推断了｡

3.2 编码—预测结构

像FC-LSTM ，ConvLSTM也可以采用更复杂的结构去构建｡对于我们的时空序列预测问题,我们使用如图3所示的结构，该结构包括两个网络，编码网络和预测网络｡像之前的文章,预测网络最初的的状态和存储单元的输出都是复制上次状态的编码网络｡两个网络都由几个叠加的ConvLSTM层形成｡正如我们预测目标有相同的维数作为输入，我们在预测网络中连接所有的转态，将他们放到卷积中去生成最终的预测｡

图3 用于临近降水预报的编码到预测的ConvLSTM网络

我们可以使用类似的观点解释这种结构｡编码LSTM压缩整个输入到一个隐藏的状态序列张量，预测LSTM展开这个隐藏转态并给出最后的预测：

这种结构也类似于之前的LSTM未来预测模型,除了我们的输入和输出元素都是三维张量用以保护所有的空间信息｡既然整个网络有多个堆叠的ConvLSTM层，那么它具有较强的重现力量使其合适在复杂动力系统中作出预测,如我们这里研究的降水临近预报问题｡

4实验

我们首先在合成的移动的MNIST数据集上，比较ConvLSTM网络和FC-LSTM网络，去获得一些我们的行为模式基本的理解。我们用不同层数和不同内核大小来运行我们的模型，也研究一些“外域”的情况 [21 ]。 要验证我们的模型在更具挑战​​性的降水临近预报问题上的有效性，我们建立了一个新的雷达回波数据集，将我们的模型与基于几种常用临近预报指标进行比较。在这两个数据集上的实验导致以下结果：

bull;ConvLSTM比FC-LSTM处理

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[31009]，资料为PDF文档或Word文档，PDF文档可免费转换为Word