论文解读《On the Prediction Instability of Graph Neural Networks》

论文信息

论文标题：On the Prediction Instability of Graph Neural Networks
论文作者：Max Klabunde, Florian Lemmerich
论文来源：2022, arXiv
论文地址：download 
论文代码：download 

1 Introduction

　　训练模型的不稳定性，即单个节点预测对随机因素的依赖性，会影响机器学习系统的再现性、可靠性和信任度。

　　直观地说，如果我们用相同的超参数和相同的数据拟合任何机器学习模型两次，我们预计最终会得到相同的拟合模型两次。然而，最近的研究发现，由于随机因素，如随机初始化或 GPU 上并行操作的未确定顺序，不同的训练运行可能导致对重要部分（测试）实例的显著不同的预测，例如[2,17,21]。这种预测不稳定性（也称为预测差异或预测流失）是不可取的，原因有几个，包括再现性、系统可靠性和对用户体验的潜在影响。

　　为了量化预测的不稳定性，我们现在定义了几个捕获模型输出中的差异或分歧的度量。

　　我们遵循 Madani 等人[10] 的定义，并对预测分歧的定义如下：

　　　　$d=\mathbb{E}_{x, f_{1}, f_{2}} \mathbb{1}\left\{\arg \max f_{1}(x) \neq \arg \max f_{2}(x)\right\}\quad\quad\quad(1)$

　　其中，$f_{i} \in F$ 是模型族 $F$ 的实例化，$\mathbb{1}\{\cdot\}$ 是指示函数。在实践中，通过训练一些模型，然后对两个分歧进行平均，可以很容易地计算出分歧。这种措施也被称为流失率（churn）[1,2,6,12]和抖动（jitter）[9]。

　　例如，当两个模型 $f_1$ 和 $f_2$ 的准确率为 95% 时，最小不一致等于零，当预测相同时就会发生这种情况。当90%的预测相同时，而在5%的数据中，$f_2$ 的预测是正确的，而 $f_1$ 是正确的。

　　一般来说，它持有[2]：

　　　　$\left|\operatorname{Err}_{f_{1}}-\operatorname{Err}_{f_{2}}\right| \leq d_{f_{1}, f_{2}} \leq \min \left(1, \operatorname{Err}_{f_{1}}+\operatorname{Err}_{f_{2}}\right) \quad\quad\quad(2)$

　　其中，$Err$ 为一个模型的错误率，$d_{f_{1}, f_{2}}$ 为 $f_{1}$ 和 $f_{2}$ 之间的经验分歧。虽然两个具有高错误率的模型不一定有很大的分歧，但我们后来表明，分歧和错误率实际上是高度相关的，这一发现迄今为止还没有得到太多的关注。

　　如前面所定义的，绝对分歧（Absolute disagreement）是一种非常直观和直接的分歧衡量标准。然而，为了更好地理解不一致和错误率之间的关系，我们定义了最小-最大归一化不一致（min-max normalized disagreement），它给出了相对于其最小和最大可能值的不一致：

　　　　$d_{\text {norm }}=\mathbb{E}_{f_{1}, f_{2}}\left[\frac{d_{f_{1}, f_{2}}-\min d_{f_{1}, f_{2}}}{\max d_{f_{1}, f_{2}}-\min d_{f_{1}, f_{2}}}\right]  \quad\quad\quad(3)$

　　上述措施的一个自然扩展是对特定的预测子组的计算进行条件，例如，正确或不正确的预测。作为MilaniFard等人的[12]，我们将其分别定义为真实分歧 $d_{\text {True }}$ 和错误分歧 $d_{\text {False}}$：

　　　　$d_{\text {True }}=\mathbb{E}_{(x, y), f_{1}, f_{2}} \mathbb{1}\left\{\arg \max f_{1}(x) \neq \arg \max f_{2}(x) \mid \arg \max f_{1}(x)=y\right\} .$

　　$d_{\text {False}}$ 的定义类似。

　　错误的不一致表明了预测的稳定性，而与模型的性能无关，因为在另一次运行中，错误预测的节点的预测总是不同的。由于模型超参数如宽度可能共同影响性能和不一致，因此错误的不一致和标准化的不一致对于分离模型性能和稳定性尤为重要。

　　以上所有的措施都适用于模型的硬预测。为了测量输出分布之间的差异，我们使用简单的平均绝对误差，其中 $C$ 是类的数量：

 　　　　$d_{M A E}=\mathbb{E}_{x, f_{1}, f_{2}}\left[\frac{1}{C}\left\|f_{1}(x)-f_{2}(x)\right\|_{1}\right] \quad\quad\quad(5)$

　　剩下的参考原文。