CAM目标检测 类激活热力图

https://zhuanlan.zhihu.com/p/371296750

https://zhuanlan.zhihu.com/p/420954745

 

 

CAM目标检测

https://zhuanlan.zhihu.com/p/564056982

首先CAM是什么？
CAM全称Class Activation Mapping，既类别激活映射图，也被称为类热力图、显著性图等。我们可以简单的理解为是图像中信息对于预测结果的贡献排名，分数越高（颜色越热）的地方表示在输入图片中这块区域对网络的响应越高、贡献越大，也就是吸引网络注意力的地方！
如何生成CAM
CNN的操作可以看做是滤波器对图片进行特征提取，我们可以大胆直接的得出结论，被一层层卷积核提取后，基本就是卷积核判断是重要的信息，其值越大，特征越明显，得到卷积的关注度就越高。
一个深层的卷积神经网络，通过层层卷积操作，提取出语义信息和空间信息，我们一直都很希望可以打破深度神经网络的黑盒，可以溯源特征提取的过程，甚至可以知道特征所代表的语义内容， 通常每一层的特征图还会有很多的层，我们一般用channel表示，这些不同层（通道）特征图，我们可以认为理解为存放着卷积提取到不同的特征。随着卷积的逐层深入，该特征已经失去了原有的空间信息和特征信息，被进一步的集成压缩为具有高度抽象性的特征图。这些特征图所代表的语义信息我们不得而知，但是这些特征图的重要性我们却可以通过计算得出。所以我们的CAM主要作用就是根据不同通道的贡献情况，融合出一张CAM图，那么我们就可以更直观的了解到在图像中那些部分是在CNN中是高响应的重要信息，哪些信息是无关紧要的无聊信息。
CAM获取的步骤如下：
step1：选择可视化的特征层，例如尺寸为 16∗16∗1024 的特征图
step2：获取该特征的每个channel的权重，即长度为1024的向量；
step3：通过线性融合的方式，把不同channel的权重赋回原特征图中，在依次的将各个通道的特征图线性相加
获取尺寸为16*16的新特征图；
step4：对该新特征图进行归一化，并通过插值的方式还原到原图尺寸；

 

 

REF