MAE （Masked Auto-Encoder）论文总结
MAE的网络结构如上图所示，它是一个非对称的Encoder-Decoder架构的模型，非对称性主要体现在两点：
1. Encoder和Decoder都是Transformer结构，但是Decoder在深度和宽度上都比Encoder小很多；
2. Encoder仅将未被掩码的部分作为输入，而Decoder将整个图像的Patch（掩码标志和Encoder编码后的未被掩码patch的图像特征）作为输入。
论文原文：*2111.06377.pdf (arxiv.org)
知乎讲解：CV预训练MAE（Masked AutoEncoder） - 知乎 (zhihu.com)
分类:
Deep Learning
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· Manus爆火，是硬核还是营销？
· 终于写完轮子一部分：tcp代理 了，记录一下
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· 别再用vector＜bool＞了！Google高级工程师：这可能是STL最大的设计失误
· 单元测试从入门到精通
2020-09-27 转：一个关于显卡利用率的问题