使用Cleanlab、PCA和Procrustes可视化ViT微调

与传统的卷积神经网络不同，vit使用最初设计用于自然语言处理任务的Transformers 架构来处理图像。微调这些模型以获得最佳性能可能是一个复杂的过程。

下面是使用动画演示了在微调过程中嵌入的变化。这是通过对嵌入执行主成分分析(PCA)来实现的。这些嵌入是从处于不同微调阶段的模型及其相应的检查点生成的。

在本文中，我们将介绍如何创建这样一个动画，主要包括:微调、创建嵌入、异常值检测、PCA、Procrustes、创建动画。

 

 

 

https://avoid.overfit.cn/post/96c2cedd55204af687ea63cfee149dd0