ViT暂时不会替代CNN

概述#

将 Transformer 应用到视觉领域，就形成了 ViT（Vision Transformer）。

与卷积神经网络 CNN 不同，ViT 将图像切分为块并转换为向量，像是处理文本一样处理图像。这让 ViT 拥有了超越 CNN 的全局信息捕捉能力。当训练集数量足够时，ViT 表现优于 CNN。

以下数据来源于 OpenAI 的 CLIP 模型研究。可以看到 CNN 在 ViT 面前毫无招架之力。

Dataset	ImageNet ResNet101	CLIP ViT-L
ImageNet	76.2%	76.2%
ImageNet V2	64.3%	70.1%
ImageNet Rendition	37.7%	88.9%
ObjectNet	32.6%	72.3%
ImageNet Sketch	25.2%	60.2%
ImageNet Adversarial	2.7%	77.1%

ObjectNet 验证模型对姿势和背景的识别能力；ImageNet Rendition 和 ImageNet Sketch 验证模型识别物体更抽象描绘的能力。

ViT 更是促进了多模态模型的发展。ViT 可以轻松与其他 Transformer 模型融合，诞生出像是拥有视觉阅读能力的语言模型。

只不过……

归纳偏置#

ViT 需要更多的训练数据才能达到较好效果，归纳偏置则是罪魁祸首。

归纳偏置（inductive biases），指的是模型在预测其未遇到过的输入结果时，所做的假设。例如 CNN，假设了数据的特征具有局部性和平移不变性，因此 CNN 更喜欢发掘图片的局部特征，并且图片的平移变换几乎不影响 CNN 性能。在现实生活中，我们已经可以看到 CNN 这样的假设是多么的合适在视觉领域大放异彩。

ViT 则缺少 CNN 这样的归纳偏置。图像被切分为块后会被摊平，ViT 需要多得多的学习才能获知子图在空间上的关系。

太慢了#

Transformer 从来不是什么轻量化模型的代名词。ViT 不仅有归纳偏置的缺陷，还不得不担上运算资源消耗更高的缺点。

ViT 训练成本更高，也绝对不能像 YOLO 一般轻量且实时。

ViT 的未来#

目前看来，CNN 仍然有着自己不可复制的优势。ViT 还不能替代 CNN。

拥有更高能力上限的 ViT 似乎站在了未来。准度更高、泛化更强，且比 CNN 更适合作为多模态模型的桥梁。

我可能会拿预训练的 ViT 模型进行有趣的实验，但若要从头训练还是 CNN 吧。

参考来源#

• “CLIP: Connecting text and images”，https://openai.com/index/clip/
• “Why Vision Tranformers?”，https://www.reddit.com/r/MachineLearning/comments/16y1rxz/d_why_vision_tranformers/
• Fahim Rustamy, PhD，“Vision Transformers vs. Convolutional Neural Networks”，https://medium.com/@faheemrustamy/vision-transformers-vs-convolutional-neural-networks-5fe8f9e18efc