FourCastNet
先写自适应傅里叶神经算子(AFNO)
目的:AFNO这篇文章的标题和摘要前几句定调了一个基调,就是说AFNO这个东西提出来,是为了替换transformer里面的多头自注意力,作为一个更高效的token mixer出现
摘要:
AFNO是基于运算符学习的原则性基础,它使我们能够将token mixing作为一个连续的全局卷积,而不依赖于输入分辨率。
导言:
token mixing很重要,已经出现许多替换transformer中tokenmixing的工作,使用傅里叶也不是第一次,但不够自适应
我们将token mixing框定为算子学习,学习无限维空间中连续函数之间的映射。