Inductive Matrix Completion Based on Graph Neural Networks

目录

• 概
• 符号说明
• IGMC
  • Enclosing subgraph
  • Node labeling
  • Graph-level GNN
  • Optimization
• 代码

Zhang M. and Chen Y. Inductive matrix completion based on graph neural networks. In International Conference on Learning Representations (ICLR)

概

本文介绍了一种 Inductive 的矩阵补的方式, 作者主要用在推荐上.

注: 现在的图网络大体分为 transductive: 即要求测试的结点也在训练集中; inductive: 不要求测试的结点也在训练集中. 在推荐的场景中, 后者可以看成是解决冷启动问题的尝试.

符号说明

• $G = \langle U, V, E\rangle$, 二部图, 包含 user $u \in U$, item $i \in V$, 二者之间的边 $E$.
• $\mathbf{R} \in \mathcal{R}^{|U| \times |V|}$, rating matrix, 其中 $\mathcal{R}$ 表示 ratings 的种类, 比如 MovieLens 中有 $\mathcal{R} = \{1, 2, 3, 4, 5\}$.

IGMC

• IGMC 的主要流程是:
  1. 抽取基于 $(u, v)$ 的 1-hop enclosing subgraph;
  2. $1$-hop 结点编号;
  3. 喂入 graph-level 的 GNN 中进行编码;
  4. 利用分类器进行分类 (like/dislike).

Enclosing subgraph

• IMGC 的 link prediciton 是居于图的拓扑结构的, 也因此能够避免 ID 以及其它信息的需求.
• 作者采用如下算法抽取围绕 $(u, v)$ 的 h-hop enclosing subgraph (本文采用 $h=1$):
  

Node labeling

• 在喂入 graph-level 的 GNN 之前, 我们需要为采样出来的结点进行排序, 使得后续的 GNN 能够区分:

  1. user, item;
  2. 结点离目标结点 $(u, v)$ 之间的相对距离.

• 为此, 作者采取如下方式排序:

  1. 令 $u$ 的 label 为 0, $v$ 的 label 为 1;
  2. 假设结点 $n$ 为 user 且为 $i^{th}$-hop, 则其 label 为 $2i$;
  3. 假设结点 $n$ 为 item 且为 $i^{th}$-hop, 则其 label 为 $2i + 1$.

Graph-level GNN

• 接下来作者采用 R-GCN (relational graph convolutonal operator) 来提取特征, 其中的 message passing layer 为 (各层之间通过 Tanh 激活函数连接):

  $$\mathbf{x}_i^{l + 1} = \mathbf{W}_0^l \mathbf{x}_i^l + \sum_{r \in \mathcal{R}} \sum_{j \in \mathcal{N}_r(i)} \frac{1}{|\mathcal{N}_r(i)|} \mathbf{W}_r^l \mathbf{x}_j^l.$$

  注意, 我们对不同的 $r \in \mathcal{R}$ 采用不同的权重矩阵 $\mathbf{W}_r$.

• 最后, 将各层的特征凭借起来得到新的特征表示:

  $$\mathbf{h}_i = \text{concat}(\mathbf{x}_i^1, \mathbf{x}_i^2, \ldots, \mathbf{x}_i^L),$$

  然后

  $$\mathbf{g} = \text{concat}(\mathbf{h}_u, \mathbf{h}_v).$$

• 最后, 通过下列分类器获得预测概率:

  $$\hat{r} = \mathbf{w}^T \text{ReLU}(\mathbf{Wg}).$$

Optimization

• 利用如下的 MSE 损失进行优化:

  $$\mathcal{L} = \frac{1}{|\{(u, v)| \mathbf{\Omega}_{u, v} = 1\}|} \sum_{(u, v): \mathbf{\Omega}_{u, v} = 1} (R_{u, v} - \hat{R}_{u, v})^2.$$

• 但是, 作者提出, R-GCN 为每个 $r \in \mathcal{R}$ 设置不同的权重矩阵 $W_r$. 但是直观上来说, $r=4, 5$ 往往表示喜欢, $r=1$ 往往表示不喜欢, 这种独立的做法不利于这种关系的学习. 故作者额外添加了如下的约束:

  $$\mathcal{L}_{\text{ARR}} = \sum_{i = 1, 2,\ldots, |\mathcal{R}| - 1} \|\mathbf{W}_{r_i+1} - \mathbf{W}_{r_i}\|_F^2.$$

• 最后的损失为:

  $$\mathcal{L}_{final} = \mathcal{L} + \lambda \mathcal{L}_{\text{ARR}}.$$

代码

official