Learning and Evaluating Graph Neural Network Explanations based on Counterfactual and Factual Reasoning

Tan J., Geng S., Fu Z., Ge Y., Xu S., Li Y. and Zhang Y. Learning and evaluating graph neural network explanations based on counterfactual and factual reasoning. In ACM Web Conference (WWW), 2022.

利用 Counterfactual and Factual Reasoning 进行模型解释, 其中的 PS (Probability of Necessity), PN (Probability of Sufficiency) 还挺有意思.

符号说明

  • Gk={Vk,Ek}, 图;
  • Ak{0,1}|Vk×Vk|, 邻接矩阵;
  • XkR|Vk|×d, 结点特征;
  • y^k=argmaxcCPΦ(c|Ak,Xk), 对图 Gk 的预测, Φ 指代一个 GNN.

评价指标

  • 我们的目标是:

    1. Factual reasoning: 找到一个子图 (AkMk,XkFk) 满足:

    argmaxcCPΦ(c|AkMk,XkFk)=y^k,

    即 mask Mk,Fk 保持预测不变, 这说明找的子图是抓住主要信息的;

    1. Counterfactual reasoning: 找到一个子图使得

    argmaxcCPΦ(c|AkAkMk,XkXkFk)y^k,

    即去掉了 (Mk,Fk) 所代表的子图后, 预测改变了, 说明这个子图是很重要的 (至少对于预测而言是如此).

  • 那么如何来评估用于找到的 Mk,Fk 的算法质量呢 (假设 C(M,F) 足够好) ?

    1. Simple:

      C(M,F)=M0+F0

      该指标越小说明找到的子图越'小', 越精炼;

    2. PS (Probability of Sufficiency):

      PS=GkGpsk|G|,

      其中

      psk={1 if y^k=y^k0 else ,y^k=argmaxcCPΦ(c|AkMk,XkFk).

      显然 PS 越大, 说明该算法找到的子图都具有充分的信息;

    3. PN (Probability of Necessity):

      PN=GkGpnk|G|,

      其中

      psk={1 if y^ky^k0 else ,y^k=argmaxcCPΦ(c|AkAkMk,XkXkFk).

      显然 PN 越大, 说明该算法找到的子图都是必要的, 因为缺少这些子图无法得到一致的预测;

    4. 可以类似 F1 score 将二者合一:

      FNS=2PSPNPS+PN.

注: 上面的 graph-level 的定义可以推广到 node-level, 作者为每个结点赋予 L-hop sub-graph, 然后在这些子图上进行讨论.

代码

[official]

posted @   馒头and花卷  阅读(114)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
点击右上角即可分享
微信分享提示