GNN学习 Node Classification

GNN学习 Node Classification

任务：已知图中一部分节点的标签，如何将分配标签到其它节点上

Node Classification

给一部分节点的标签，预测没有标签的节点的标签，这是一个半监督节点分类任务

message passing

相似的节点中存在链接

集体分类(collective classification)：一起给网络中的所有节点分配标签

有三种实现技术

• Relational classification
• Iterative classification
• Belief classification

Correlations Exists in Networks

相似的行为在网络中会互相关联

Correlation:相近的节点有相同的分类

导致关联性的主要以来类型

• 同质性(homophily)：个体特征影响社交连接
• 影响(influence)社交连接影响个体特征

Homophily

相似节点会倾向于交流和关联

例子：同领域的研究者更容易建立联系

Influence

社交链接会影响个人行为

例子：用户将喜欢的音乐推荐给朋友

Classification with Network Data

相似的节点会在网络中更加靠近，或者直接相连

Guilt-by-association：如果我与具有X的标签相连，那么我很可能也具有标签X

预测节点v的标签要

• v的特征
• v邻居的标签
• v邻居的特征

Collective Classification

是一个概率框架

根据马尔科夫假设：节点v的标签$Y_v$取决于其邻居$N_v$的标签，也就是$P(Y_v)=P(Y_v\mid N_v)$

Collective Classification有三个步骤：

• 分配节点初始标签(Local Classifier)
• 捕获关系(Relational Classifier)
• 传播关系(Collective Inference)

Local Classifier

• 基于节点的属性预测标签
• 标准分类任务
• 不使用网络结构信息

Relational Classifier

• 基于邻居节点的标签和特征来预测节点标签
• 使用了网络结构信息

Collective Inference

• 在每个节点上迭代的应用relational classifier
• 迭代至邻居间标签不一致最小化
• 网络结构影响最终预测结果

Relational Classification and Iterative Classification

Relational classifiers

基本思想：节点v的类概率$Y_v$是其邻居类概率的加权平均值

对应有标签节点，就初始化为其真实标签

对于无标签节点。就初始化为0.5

以随机顺序更新所有无标签节点，直至收敛或达到最大迭代次数

对于每个节点v和标签c，我们采用公式

$P(Y_v=c)=\frac{1}{ {\textstyle \sum_{(v,u)\in E}}} {\textstyle \sum_{(v,u)\in E}}A_{v,u}P(Y_u=c)$

来对其进行更新

其中$A_{v,u}$是边v到u的权重

$P(Y_v=c)$表示节点v有标签c的概率

当然，对于最开始已经有标签的节点就不进行更新，只更新最开始没有标签，需要我们去预测的节点

当有节点连续两次迭代不发生变化，我们认为这个节点已经收敛了，之后我们就不再更新这个节点的值了

缺点：

• 可能不会收敛
• 无法利用节点的特征信息

Iterative classification

主要思想：基于节点特征$f_v$已经邻居节点的特征$z_v$来进行分类

方法：训练两个分类器

• $\phi_1(f_v)$基于节点的特征向量$f_v$来对标签进行预测
• $\phi_2(f_v,z_v)$基于节点的特征向量$f_v$和邻居节点的标签summary $z_v$来进行预测

Computing the Summary $Z_v$

$Z_v$是一个向量，它可以是

• 邻居标签的直方图
• 邻居标签中出现次数最多的标签
• 邻居标签的类数

Iterative classifier的结构

阶段1：基于节点特征建立分类器

• 在训练集上训练上面提到的两个分类器

阶段2：迭代至收敛

• 在测试集上，利用$\phi_1$先来预测标签，然后$\phi_2$利用前面预测的标签计算出$Z_v$并且预测最终的标签
• 对每个节点v重复下面的步骤
• • 基于所有与v相连的节点的标签$Y_u$来计算$z_v$
  • 基于$\phi_2$计算出的$z_v$来更新$Y_v$
• 迭代至收敛或达到最大迭代次数
• 最后模型不一定能够收敛

Loopy belief propogation

belief propogation是一种动态规划的方法，用于回答图中的概率问题

邻居节点之间迭代的传递信息

当达成共识时，计算最终的置信度

Loopy BP Algorithm

从i传递给j的信息取决于：

• i从邻居接受到的信息
• 每个邻居给i对其状态的置信度的信息

一些数学符号：

• Label-Label potential matrix $\psi$ ：表示节点和它邻居之间的依赖，如果j的邻居节点i属于类$Y_i$，那么$\psi(Y_i,Y_j)$与j属于类$Y_j$的概率成比例
• Prior belif $\phi$：$\phi(Y_i)$与节点i属于类$Y_i$的概率成比例
• $m_{i\rightarrow j}(Y_j)$是i对j属于类$Y_j$的信息或者说是估计
• $\mathcal{L}$是所有类或者说是标签的集合

具体算法如下：

$m_{i\rightarrow j}(Y_j)= {\textstyle \sum_{Y_i\in \mathcal{L}}\psi (Y_i,Y_j)\phi _i(Y_i)\prod_{k\in N_i\setminus j}m_{k\rightarrow i}(Y_i)}$

示意图如下：

收敛后

$b_i(Y_i)$是节点i属于类$Y_i$的置信度

$b_i(Y_i)=\phi _i(Y_i) {\textstyle \prod_{j\in N_i}m_{j\rightarrow i}(Y_i)}$

不过以上都是无环的情况

当存在有环的情况时，不同子图传递的信息直接就不再独立了

并且因为有环，会存在信息增强的问题