摘要：
将Transformer引入图像领域之作，学习一下。 网络结构： VIT结构有几个关键的地方： 1. 图像分块：输入图像被划分为固定大小的非重叠小块（patches），每个小块被展平并线性嵌入到一个固定维度的向量中。这里是将32x32的图像划分成4x4的小块，总共会有16个小块，每个小块有64维向量 阅读全文
摘要：
模型蒸馏是指通过训练一个小而简单的模型来复制和学习一个大模型的知识和性能。这种方法通常用于减少模型的计算资源需求，加速推理过程或者使模型适用于资源受限的设备上。 步骤如下： 1. 准备教师模型和学生模型： 教师模型：一个复杂的模型，这里用的是resnet。 学生模型：简化的卷积神经网络，较少的参数和 阅读全文