一、原理
Exact and Consistent Interpretation for Piecewise Linear Neural Networks: A Closed Form Solution
KDD2018的这篇文章，指出对于采用分段线性激活函数如Relu、最后接softmax的深度学习网络，都等效于分段线性分类器。对于一个特定的输入样本，它对应的隐藏层神经元的激活与否都是固定的，在这样的隐藏层状态下，输出与出入的关系就是线性分类器的关系，这里的W被称作样本对应的决策特征。
有一些样本，对应的隐藏分激活状态是相同的，这些样本就适用于同一个线性分类器。
一组隐藏层的激活状态，在文中被称作一组“配置”，就是每一个隐藏层神经元是否激活，本质上是由一组线性不等式决定的，文中证明，这些不等式划定的区域，都是凸包。类似下图，每个凸包所在的区域适用相同的线性分类器。
二、可视化实例
样本的决策特征，我们观察它的维度，可以看到对于每个分类类别，都有一个决策特征，它的维度和原图是一样的，也是一张图。决策特征与原图是点乘的关系。所以决策特征上越亮的位置，表示原图中对应的位置处，触发了该类别的特征。
如何，图1是一双靴子，图2是靴子类别在该样本上的决策特征，脚踝部分触发了靴子的类别特征，从而以0.16概率被认为是靴子。图3是包包类别在该样本上的决策特征，左上角位置触发了包包的特征，因为包包往往左上角是有东西的，而靴子左上角是没有东西的。
可视化的决策特征，可以帮助分析bad-case，从而帮助我们理解对特定样本，模型为什么做出了这样的决策。从而可以比如通过加入训练样本、修改算法等方式来提高效果。比如对于靴子的例子，可以通过加入更多宽上沿的靴子来解决这个问题。在医疗上，或许可以用来分析比如错分类的细胞，或者错分类的组织小块。
