2024年7月9日
DeepViT：字节提出深层ViT的训练策略 | 2021 arxiv
摘要： 作者发现深层ViT出现的注意力崩溃问题，提出了新颖的Re-attention机制来解决，计算量和内存开销都很少，在增加ViT深度时能够保持性能不断提高 来源：晓飞的算法工程笔记 公众号 论文: DeepViT: Towards Deeper Vision Transformer 论文地址：https 阅读全文
posted @ 2024-07-09 13:33 晓飞的算法工程笔记 阅读(128) 评论(0) 推荐(0) 编辑