摘要：
后训练量化（PTQ）在视觉Transformer（ViTs）领域引起了广泛关注，因为它在模型压缩方面表现出了高效率。然而，现有的方法通常忽视了量化权重和激活之间复杂的相互依赖关系，导致了相当大的量化误差。论文提出了一种名为ERQ的两步PTQ方法，精心设计用于顺序降低激活和权重量化带来的量化误差。ER 阅读全文
摘要：
Transformer在计算机视觉任务中表现出了令人鼓舞的性能，包括图像超分辨率（SR）。然而，流行的基于Transformer的SR方法通常采用具有二次计算复杂度的窗口自注意力机制，导致固定的小窗口，限制了感受野的范围。论文提出了一种将基于Transformer的SR网络转换为分层Transfor 阅读全文
摘要：
近年来，人们尝试增加卷积神经网络（CNN）的卷积核大小，以模拟视觉Transformer（ViTs）自注意力模块的全局感受野。然而，这种方法很快就遇到了上限，并在实现全局感受野之前就达到了饱和。论文证明通过利用小波变换（WT），实际上可以获得非常大的感受野，而不会出现过参数化的情况。例如，对于一个 阅读全文
摘要：
本研究解决了领域-类别增量学习问题，这是一个现实但富有挑战性的持续学习场景，其中领域分布和目标类别在不同任务中变化。为应对这些多样化的任务，引入了预训练的视觉-语言模型（VLMs），因为它们具有很强的泛化能力。然而，这也引发了一个新问题：在适应新任务时，预训练VLMs中编码的知识可能会受到干扰，从而 阅读全文
摘要：
全景图像捕捉360°的视场（FoV），包含了对场景理解至关重要的全向空间信息。然而，获取足够的训练用密集标注全景图不仅成本高昂，而且在封闭词汇设置下训练模型时也受到应用限制。为了解决这个问题，论文定义了一个新任务，称为开放全景分割（Open Panoramic Segmentation，OPS）。在 阅读全文
摘要：
不包含乘法的运算符，如移位和加法，因其与硬件的兼容性而日益受到重视。然而，采用这些运算符的神经网络（NNs）通常表现出比具有相同结构的传统NNs更低的准确性。ShiftAddAug利用成本较高的乘法来增强高效但功能较弱的无乘法运算符，从而在没有任何推理开销的情况下提高性能。将一个ShiftAdd小型 阅读全文
摘要：
数据集蒸馏旨在从大型数据集中合成每类（IPC）少量图像，以在最小性能损失的情况下近似完整数据集训练。尽管在非常小的IPC范围内有效，但随着IPC增加，许多蒸馏方法变得不太有效甚至性能不如随机样本选择。论文对各种IPC范围下的最先进的基于轨迹匹配的蒸馏方法进行了研究，发现这些方法在增加IPC的情况下很 阅读全文
摘要：
跨模态转移旨在利用大型预训练模型来完成可能不属于预训练数据模态的任务。现有的研究在将经典微调扩展到跨模态场景方面取得了一定的成功，但仍然缺乏对模态差距对转移的影响的理解。在这项工作中，进行了一系列关于转移过程中源表示质量的实验，揭示了更大的模态差距与较少知识重用之间的联系，这意味着转移效果不佳。然后 阅读全文
摘要：
指代表达理解（REC）旨在在图像中定位由自由形式自然语言描述指定的目标对象。尽管最先进的方法取得了令人印象深刻的性能，但它们对图像进行了密集感知，包含与语言查询无关的多余视觉区域，导致额外的计算开销。这启发论文探讨一个问题：能否消除与语言无关的多余视觉区域，以提高模型的效率？现有的相关方法主要侧重于 阅读全文
摘要：
Few-shot目标检测（FSOD）旨在在有限标注实例的情况下检测新颖对象，在近年取得了显著进展。然而，现有方法仍然存在偏见表示问题，特别是在极低标注情况下的新颖类别。在微调过程中，一种新颖类别可能会利用来自相似基础类别的知识来构建自己的特征分布，导致分类混淆和性能下降。为了解决这些挑战，论文提出了 阅读全文