使用LIME解释CNN

我们已经介绍过很多解析机器学习模型的方法，例如如pdp、LIME和SHAP，但是这些方法都是用在表格数据的，他们能不能用在神经网络模型呢？今天我们来LIME解释CNN。

图像与表格数据集有很大不同(显然)。如果你还记得，在之前我们讨论过的任何解释方法中，我们都是根据特征重要性，度量或可视化来解释模型的。比如特征“A”在预测中比特征“B”有更大的影响力。但在图像中没有任何可以命名的特定特征，那么怎么进行解释呢?

一般情况下我们都是用突出显示图像中模型预测的重要区域的方法观察可解释性，这就要求了解如何调整LIME方法来合并图像，我们先简单了解一下LIME是怎么工作的。

LIME在处理表格数据时为训练数据集生成摘要统计：

• 使用汇总统计生成一个新的人造数据集
• 从原始数据集中随机提取样本
• 根据与随机样本的接近程度为生成人造数据集中的样本分配权重
• 用这些加权样本训练一个白盒模型
• 解释白盒模型

就图像而言，上述方法的主要障碍是如何生成随机样本，因为在这种情况下汇总统计将没有任何用处

完整文章

https://avoid.overfit.cn/post/8b647e2966aa4aea9da61a81b5f4f3de