2024年12月4日
LLM大模型: CV领域常见attention思路变种及其作用(二)
摘要： attention机制的效果非凡，但本身也是有缺陷的：Q*K矩阵的复杂度高达O(n^2)；如果用在CV领域，还涉及到如下问题： 局部性、全局性 稀疏性 多尺度问题 为了更好地把attention机制应用于CV，上述的几个问题是需要解决的！ 1、DilateFormer: Multi-Scale Di 阅读全文
posted @ 2024-12-04 11:45 第七子007 阅读(18) 评论(0) 推荐(0) 编辑