【论文阅读】Transformer及其在计算机视觉领域上的应用

Transformer

Transformer最早在NLP领域出现。

1. Multi-head attention & Feed forward network

ViT

后被引入到计算机视觉领域。最开始是ViT。