CycleMLP:一种用于密集预测的mlp架构

CycleMLP由香港大学、商汤科技研究院和上海人工智能实验室共同开发，在2022年ICLR上发布。

MLP-Mixer, ResMLP和gMLP，其架构与图像大小相关，因此在目标检测和分割中是无法使用的。而CycleMLP有两个优点。(1)可以处理各种大小的图像。(2)利用局部窗口实现了计算复杂度与图像大小的线性关系。

Cycle FC

Cycle Fully-Connected Layer (Cycle FC) 和 Channel FC 、Spatial FC比较

• Channel FC:在空间大小为“1”的通道维度上聚合特征。它可以处理各种输入尺度，但不能学习空间上下文。
• Spatial FC (MLP-Mixer, ResMLP， & gMLP):在空间维度上有一个全局感受野。但是它的参数大小是固定的，并且对图像尺度具有二次计算复杂度。
• 论文的Cycle FC:具有与通道FC相同的线性复杂度和比通道FC更大的感受野。
• (d)-(f)为三个不同步长示例:橙色块表示采样位置。F表示输出位置。为了简单起见省略了批处理尺寸，并将特征的宽度设置为1。

在保持计算效率的同时，扩大mlp类模型的接受域，以应对下游密集的预测任务。

完整文章：

https://avoid.overfit.cn/post/9386a243a3714965ac0f40e8362a7f4d