10 2024 档案
摘要：来源：晓飞的算法工程笔记 公众号，转载请注明出处 论文: Straightforward Layer-wise Pruning for More Efficient Visual Adaptation 论文地址：https://arxiv.org/abs/2407.14330 论文代码：https:
阅读全文
摘要：来源：晓飞的算法工程笔记 公众号，转载请注明出处 论文: Training-Free Model Merging for Multi-target Domain Adaptation 论文地址：https://arxiv.org/abs/2407.13771 论文代码：https://air-dis
阅读全文
摘要：来源：晓飞的算法工程笔记 公众号，转载请注明出处 论文: ClearCLIP: Decomposing CLIP Representations for Dense Vision-Language Inference 论文地址：https://arxiv.org/abs/2407.12442 论文代
阅读全文
摘要：传统的目标检测模型通常受到其训练数据和定义的类别逻辑的限制。随着语言-视觉模型的近期兴起，出现了不受这些固定类别限制的新方法。尽管这些开放词汇检测模型具有灵活性，但与传统的固定类别模型相比，仍然在准确性上存在不足。同时，更加准确的数据特定模型在需要扩展类别或合并不同数据集进行训练时面临挑战。后者通常
阅读全文
摘要：视觉变换器（ViT）已成为众多工业级视觉解决方案的事实标准选择。但由于每一层都计算自注意力，这导致其推理成本对许多场景而言是不可接受的，因为自注意力在标记数量上具有平方的计算复杂度。另一方面，图像中的空间信息和视频中的时空信息通常是稀疏和冗余的。 LookupViT旨在利用这种信息稀疏性来降低ViT
阅读全文
摘要：良好的权重初始化可以有效降低深度神经网络（DNN）模型的训练成本。如何初始化参数的选择是一个具有挑战性的任务，可能需要手动调整，这可能既耗时又容易出错。为了解决这些限制，论文迈出了建立权重生成器以合成神经网络初始化权重的创新一步。采用图像到图像的转换任务，使用生成对抗网络（GAN）作为示例，因为这方
阅读全文
摘要：全景场景图生成（PSG）的目标是对对象进行分割并识别它们之间的关系，从而实现对图像的结构化理解。以往的方法主要集中于预测预定义的对象和关系类别，因此限制了它们在开放世界场景中的应用。随着大型多模态模型（LMMs）的快速发展，开放集对象检测和分割已经取得了重大进展，但PSG中的开放集关系预测仍然未被探
阅读全文
摘要：现有的方法通过利用视觉-语言模型（VLMs）（如CLIP）强大的开放词汇识别能力来增强开放词汇目标检测，然而出现了两个主要挑战：（1）概念表示不足，CLIP文本空间中的类别名称缺乏文本和视觉知识。（2）对基础类别的过拟合倾向，在从VLMs到检测器的转移过程中，开放词汇知识偏向于基础类别。 为了解决这
阅读全文
摘要：近期在大规模基础模型上的进展引发了对训练高效大型视觉模型的广泛关注。一个普遍的共识是必须聚合大量高质量的带注释数据。然而，鉴于计算机视觉中密集任务（如目标检测和分割）标注的固有挑战，实际的策略是结合并利用所有可用的数据进行训练。 论文提出了Plain-Det，提供了灵活性以适应新的数据集，具有跨多样
阅读全文
摘要：尽管文本到图像的扩散模型已被证明在图像合成方面达到了最先进的结果，但它们尚未证明在下游应用中的有效性。先前的研究提出了在有限的真实数据访问下为图像分类器训练生成数据的方法。然而，这些方法在生成内部分布图像或描绘细粒度特征方面存在困难，从而阻碍了在合成数据集上训练的分类模型的泛化能力。论文提出了Dat
阅读全文
摘要：非线性激活函数对深度神经网络的成功至关重要，选择合适的激活函数可以显著影响其性能。大多数网络使用固定的激活函数（例如，ReLU、GELU等），这种选择可能限制了它们的表达能力。此外，不同的层可能从不同的激活函数中受益。因此，基于可训练激活函数的兴趣日益增加。 论文提出了一种基于有效微分同胚变换（称为
阅读全文
摘要：后训练量化（PTQ）在视觉Transformer（ViTs）领域引起了广泛关注，因为它在模型压缩方面表现出了高效率。然而，现有的方法通常忽视了量化权重和激活之间复杂的相互依赖关系，导致了相当大的量化误差。论文提出了一种名为ERQ的两步PTQ方法，精心设计用于顺序降低激活和权重量化带来的量化误差。ER
阅读全文
摘要：Transformer在计算机视觉任务中表现出了令人鼓舞的性能，包括图像超分辨率（SR）。然而，流行的基于Transformer的SR方法通常采用具有二次计算复杂度的窗口自注意力机制，导致固定的小窗口，限制了感受野的范围。论文提出了一种将基于Transformer的SR网络转换为分层Transfor
阅读全文
摘要：近年来，人们尝试增加卷积神经网络（CNN）的卷积核大小，以模拟视觉Transformer（ViTs）自注意力模块的全局感受野。然而，这种方法很快就遇到了上限，并在实现全局感受野之前就达到了饱和。论文证明通过利用小波变换（WT），实际上可以获得非常大的感受野，而不会出现过参数化的情况。例如，对于一个
阅读全文
摘要：本研究解决了领域-类别增量学习问题，这是一个现实但富有挑战性的持续学习场景，其中领域分布和目标类别在不同任务中变化。为应对这些多样化的任务，引入了预训练的视觉-语言模型（VLMs），因为它们具有很强的泛化能力。然而，这也引发了一个新问题：在适应新任务时，预训练VLMs中编码的知识可能会受到干扰，从而
阅读全文
摘要：全景图像捕捉360°的视场（FoV），包含了对场景理解至关重要的全向空间信息。然而，获取足够的训练用密集标注全景图不仅成本高昂，而且在封闭词汇设置下训练模型时也受到应用限制。为了解决这个问题，论文定义了一个新任务，称为开放全景分割（Open Panoramic Segmentation，OPS）。在
阅读全文