Earthformer(2022.7)

摘要:earthformer是基于一个时空注意力块,称为Cuboid Attention。将数据分解为多个立方体块(cuboid),然后在方块上计算自注意力,有一个全局向量和所有方块连接和汇总。

硬件:这个工作是在一块V100上完成的,开销很小。因为实验是在MNIST上做的,当然也做了降雨和ENSO,但总归不是那种大公司出的可以业务化的大模型。

intro:作者认为(当然有可能是为了圆而圆)CNN和RNN的归纳偏置在复杂的自然系统中是否合适是不清楚的

这里提到目前SOTA降雨预报模型是NOAA用的高分辨率集合预报(HREF),这种基于模拟的系统的缺点是无法利用和整合观测数据。但我看后面实验中并没有对比HREF

不同的立方体分解可以捕捉到不同类型的相关性,通过叠加具有不同超参的方块注意力层,我们可以将之前vision中的各种注意力纳入考虑,也可以得到一些全新的注意力形式。为了让方块之间能够沟通,提出了全局向量。

实验得到的结论:1. axial注意力是高效有效的(axial attention是先前工作) 2. 全局向量总能提供更好的效果,并不增加计算 3. 编解码器中添加hierarchy(分层?)可以提高性能

方法:先分解为方块,他这一步分解不像其他固定patch大小直接分就行,它这里列为单独的一节,认为方块大小、分解策略、滑动距离都是可调节超参。这种灵活性可以用NAS搜,但是是future work了

模型框架看起来像一个Unet的结构,比较适合密集预测任务

自注意力是在局部的方块内计算的(和swin transformer一样,注意,这篇文章的方块分解策略中也有shift这一项,显然是参考了swin的),全局信息引入了一个全局向量G,G参与所有方块注意力的计算。

 

这篇工作有swin,有层级unet结构,有全局向量,在方块内部计算注意力,基本上把目前能想到的最直接的方式都集成到一块了。

 

 

数据:除了MNIST以及变体以外,自然数据在SEVIR(SEVIR: A storm event imagery dataset for deep learning applications in radar and satellite meteorology)和ICAR-ENSO(ICAR是南信大的气象xx研究院)数据集上进行对比。这两个数据都是针对深度学习的

 

posted @ 2023-06-06 13:54  诸葛村夫CC  阅读(484)  评论(0编辑  收藏  举报