ConvolutionalLSTMNetwork: AMachineLearning ApproachforPrecipitationNowcasting论文笔记

学习一下convLSTM的相关论文，这篇论文是第一次提出ConvLSTM的论文，然后ConvLSTM就成了Keras的一个轮子。

通过对原有的全连接LSTM进行改进，提出了一个卷积LSTM。

虽然他们的方法有一定的成效，但是他们用的是FC-LSTM，没有把序列的空间性列入考量。（换言之，ConvLSTM可以对序列的空间性进行考量， 即有对周围感知的能力的时间序列LSTM，激动!)

我们用多层LSTM进行堆叠来进行感知，在实验中，ConvLSTM的能力要强于FC-LSTM（划重点）

介绍了一下全连接的LSTM（即普通LSTM）然后点出LSTM堆叠可以用来解决实际问题（好奇这个堆叠的层数如何来确定）

空间数据冗余！对，就是这个东西！（高兴的拍桌子

代公式。其中输入、细胞状态、隐藏层状态和各个门都是3D的tensor。

作者理解的零初始化，零边界填充的现实意义。类似卷积网络的感受野的定义吧。

整个网络分为了两个部分，是编码网络和预测网络，把编码网路的最后一层直接复制到预测网络中去。

其实这里的公式和LSTM差不多，可以近似理解为约束条件下的隐马尔可夫问题。

实验证明卷积LSTM比全连接LSTM效果更好，能够利用时空间信息，并且使用更少的参数 。

在动态MNIST上进行训练，损失函数用的交叉熵，利用BPTT进行训练。

网络越深越好，但是两层和三层之间的差距不明显。但是有没有卷积层之间的差距很大。

转灰度图，得到100*100，去除噪声，得到训练集，测试集和验证集。

两层LSTM，3*3的filter，64个隐状态得到最好的结果。（可能因为效果实在提升不大，所以作者舍弃了三层的LSTM）

（卧槽，全是干货呀）

所有结果如表2和图5所示。我们可以发现，fc-lstm网络的性能不太适合这项任务，这主要是由于雷达图中的强空间相关性造成的，即云在局部区域的运动高度一致。完全连接的结构有太多的冗余连接，使得优化不太可能捕获这些本地一致性。此外，可以看出convlstm优于基于光流的rover算法，这主要是由于两个原因。首先，convlstm能够很好地处理边界条件。在现实生活中，有许多情况下，边界处突然出现云团，这表明有些云团是从外部来的。如果convlstm网络在训练过程中出现类似的模式，则可以发现编码网络中的这种突然变化，并在预测网络中给出合理的预测。然而，这很难通过基于光学流和半拉格朗日平流的方法实现。另一个原因是，convlstm为此任务进行了端到端的训练，通过网络的非线性和卷积结构可以学习到数据集中的一些复杂时空模式。对于基于光流量的方法，很难找到一种合理的方法来更新未来流量并端到端地培训所有内容。Rover2和ConvlsTM的一些预测结果如图6所示。我们可以发现，convlstm可以更准确地预测未来的降雨等值线，尤其是边界。虽然rover2的预测比convlstm更准确，但它会触发更多的假警报，并且比convlstm的精度一般要低。此外，convlstm的模糊效果可能是由任务的固有不确定性造成的，即，在长期预测中，极不可能给出更清晰的图形和准确的Hewholeradarmap预测。我们通常会建议减少因历史不确定性造成的错误。（百度翻译）