Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks论文阅读笔记
摘要
作者提出了一种不依赖梯度的类激活图生成方法Score-CAM，其通过前向传播获取每一个激活图的权重。实验证明Score-CAM能在解释决策过程方面实现更好的视觉性能和公平性。
方法
不同于之前的方法，作者将置信度增量纳入重要性的计算。置信度增量定义如下：
\(c_i=f(X_b◦H_i)-f(X_b)\)，其中\(X_b\)是长度为n的向量，\(H_i\)和\(X_b\)大小相同且除了第i个位置为1其他位置的值都为0，最终得到的\(c_i\)就是第i个位置的贡献。更进一步，通道维度的置信度增量定义如下：
\(C(A_l^k)=f(X◦H_l^k)-f(X_b), H_l^k=s(Up(A_l^k))\)
其中l为网络中的某个卷积层，k代表第k个通道，s为归一化函数。注意这里的\(X_b\)是baseline（作者使用的是全黑图像，因此在代码中可以忽略）。
方法的整体流程是，对于类别c，首先得到最后一层输出的n个特征图，之后遍历这些特征图，将其插值到原图大小，归一化后与输入图像做点乘，送入网络计算属于c的概率，将这个概率作为权重与当前的特征图相乘，最后求和就得到了最终的CAM。
实验
相比于Grad-CAM，Score-CAM可以定位多个目标，且能捕捉到更加重要的特征。
