摘要:
摘要 作者提出了一种不依赖梯度的类激活图生成方法Score-CAM,其通过前向传播获取每一个激活图的权重。实验证明Score-CAM能在解释决策过程方面实现更好的视觉性能和公平性。 方法 不同于之前的方法,作者将置信度增量纳入重要性的计算。置信度增量定义如下: $c_i=f(X_b◦H_i)-f(X 阅读全文
摘要:
terminal输入: defaults write com.apple.dock desktop-picture-show-debug-text -bool True;killall Dock 壁纸路径就会显示在桌面了: 如果记下路径后将上面命令的布尔值改成False就可以恢复原状: defaul 阅读全文
摘要:
摘要 文章提出了一种利用CLIP模型进行弱监督语义分割的新方法,称为CLIP-ES,它能够在不需要额外训练的情况下,仅使用图像级标签就能生成高质量的分割掩码。它通过对CLIP进行特殊设计来改进WSSS的三个阶段: 1)将softmax函数引入GradCAM,并利用CLIP的zero-shot能力抑制 阅读全文
摘要:
Prompt ensembling是指将多个不同的提示(prompts)应用于同一个模型,从而提高模型的性能和鲁棒性。提示是一种用于指导模型生成预测的文本片段,通常是问题或任务描述。在Prompt ensembling中,不同的提示被组合在一起,以产生一个更强大和全面的模型。 Prompt ense 阅读全文
摘要:
CLIP-TD: CLIP Targeted Distillation for Vision-Language Tasks论文阅读笔记 摘要 这是一篇关于利用CLIP模型来提升视觉语言任务性能的论文。CLIP模型是一个可以从大量图片和文字数据中学习通用视觉语言表示的模型,它有很强的零样本和少样本学习 阅读全文
摘要:
查看cuda版本(10.1): ```bash nvcc -V ``` 创建python3.7虚拟环境: ```bash conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=10.1 -c pyt 阅读全文
摘要:
摘要 现有的方法将零样本语义分割(Zero-shot semantic segmentation,ZS3)视为逐像素的zs分类,并且使用仅用文本预训练的模型来完成已知类到未知类的知识迁移,而文本图像预训练模型对于视觉任务有更大的潜力。同时,人类通常进行的是区域级的语义标注,因此,作者提出了一种新的范 阅读全文
摘要:
MaskFormer代码理解 模型主体 代码全部放在/mask_former下面。进入到这个路径,首先发现有一个mask_former_model.py,打开可以发现这就是论文提出的MaskFormer主类所在的文件。先看forward函数的前面五行: def forward(self, batch 阅读全文
摘要:
摘要 文章的贡献是借助MaskFormer设计了CoMFormer,从而完成对全景分割的连续学习,提出了基于mask的伪标签以对抗遗忘。 方法 基于MaskFormer,作者将分割视为对mask的分类。输出的形式等都与MaskFormer相同,模型结构也与MaskFormer基本一致。对于每一个st 阅读全文
摘要:
作者的解读:https://www.zhihu.com/search?type=content&q=MaskFormer 摘要 现有的语义分割方法将分割视为逐像素的分类,本文提出了MaskFormer,把分割转化为预测一系列的mask以及为这些mask预测一个global类别,这样可以很方便地将语义 阅读全文