2023年2月13日
20230210 组会学习
摘要： LLFormer 该方法主要是基于 Restormer 的改进，主要改进有以下三点 注意力机制改为了轴向注意力，降低了计算复杂度 FFN 部分由原来的单门控改成了双门控机制，增加了交互 加入了 LayerAttention 模块，建立了不同层之间的交互关系 Shuffle-Mixer 作者通过 Fe 阅读全文
posted @ 2023-02-13 18:11 logt 阅读(94) 评论(0) 推荐(0) 编辑