LGMRec Local and Global Graph Learning for Multimodal Recommendation

目录

• 概
• 符号说明
• Motivation
• LGMRec
  • Local Graph Embedding
  • Global Graph Embedding
  • Fusion
• 代码

Guo Z., Li J., Li G., Wang C., Shi S. and Ruan B. LGMRec: Local and global graph learning for multimodal recommendation. AAAI, 2024.

概

本文采用分解的方法进行对 ID 和 模态信息进行独立处理, 再加上利用超图对模态信息进行 global 的处理.

符号说明

• $\mathcal{U} = \{u\}$, users;
• $\mathcal{I} = \{i\}$, items;
• $\mathbf{e}_u \in \mathbb{R}^d$, user ID embeddings;
• $\mathbf{e}_i \in \mathbb{R}^d$, item ID embeddings;
• $\mathbf{E}^{id} \in \mathbb{R}^{(|\mathcal{U}| + |\mathcal{I}|) \times d}$, ID embeddings;
• $\mathbf{R} \in \mathbb{R}^{|\mathcal{U}| \times |\mathcal{I}|}$, interaction matrix;
• $m \in \mathcal{M} = \{v, t\}$, 模态;
• $\mathbf{e}_i^m \in \mathbb{R}^{d_m}$, item $i$ 对应模态 embedding;
• $\tilde{\mathbf{e}}_i^m = \mathbf{W}_m \mathbf{e}_i^m \in \mathbb{R}^d$, 经过模态映射后的
• $\mathbf{A}$, 邻接矩阵;
• $\tilde{\mathbf{A}}$, normalized 邻接矩阵

Motivation

• 过往的方法, 往往模态 embeddings 和 ID embeddings 共享一个 user embeddings, 但是作者发现这种情况会导致在训练的时候, 二者对于 user embeddings 的更新的贡献可能是截然相反的:

• 如上图所示, 在训练的开始, 这种情况更外明显.

• 此外, 作者认为, 模态信息的很重要的一个点是能够反映用户对于 color, style, shape 等属性信息的偏好, 所以应该特别显式建模出这一点.

LGMRec

Local Graph Embedding

• 首先对于 ID, 采用 LightGCN 进行信息传播:

  $$\mathbf{E}_{lge}^{id} = \frac{1}{L + 1} \sum_{l=0}^L \mathbf{A}^l \mathbf{E}^{id}.$$

• 其次对于模态, 首先我们初始化 user 的 embeddings 为

  $$\tilde{\mathbf{e}}_u^m = \frac{1}{|\mathcal{N}_u|} \sum_{i \in \mathcal{N}_u} \tilde{\mathbf{e}}_i^m.$$

• 接着

  $$\tilde{\mathbf{E}}_{lge}^m = \tilde{A}^K \tilde{\mathbf{E}}^{m}.$$

Global Graph Embedding

• 作者首先引入 $\mathbf{V}^m \in \mathbb{R}^{|\mathcal{I}| \times A}, \mathbf{H}^m \in \mathbb{R}^{|\mathcal{U}| \times A}$ 去学习 item, user 的属性偏好,

  $$\mathbf{H}_i^m = \mathbf{E}_i^m {\mathbf{V}^m}^T, \quad \mathbf{H}_u^m = \mathbf{E}_u^m {\mathbf{H}^m}^T.$$

  其中 $\mathbf{A}_u \in \mathbb{R}^{|\mathcal{U}| \times \mathcal{I}|}$ 是 user-related adjacency matrix (是不是 $\mathbf{R}$ 的行归一化?).

• 这样一来, 每个 item, user 都映射到了一个属性 $a$, 为了确保每个 item 都尽可能映射到一个属性上, 作者额外通过 Gumbel-Softmax 来强化.

• 接下来, item 的 embeddings 更新方式如下:

  $$\mathbf{E}_{i}^{m, h + 1} = \text{Drop}(\tilde{\mathbf{H}}_i^m) \text{Drop}(\tilde{\mathbf{H}_i^m}^{T}) \mathbf{E}_i^{m, h}.$$

  Drop 表示 dropout.
  需要注意的是, 这里 $\mathbf{E}_i^{m, 0} = \mathbf{E}_{i, lge}^{id}$. 对于 user, 更新方式是类似的.

• 最后,

  $$\mathbf{E}_{ghe} = \sum_{m \in \mathcal{M}} \mathbf{E}^{m, H}, \quad \mathbf{E}^{m, H} = [\mathbf{E}_u^{m, H}, \mathbf{E}_{i}^{m, H}].$$

• 为了保证不同模态学到的兴趣是一致的, 作者引入对比损失:

  $$\mathcal{L}_{\text{HCL}}^u = \sum_{u \in \mathcal{U}} -\log \frac{ \exp(s(\mathbf{E}_u^{v, H}, \mathbf{E}_u^{t, H}) / \tau) }{ \sum_{u' \in \mathcal{U}} \exp(s(\mathbf{E}_u^{v, H}, \mathbf{E}_{u'}^{t, H})/ \tau) },$$

  $s(\cdot, \cdot)$ 表示 cosine 相似度.
  对于 item 的 $\mathcal{L}_{\text{HCL}}^i$ 是类似定义的.

Fusion

• 最后的 embeddings 为

  $$\mathbf{E}^* = \mathbf{E}_{lge}^{id} + \sum_{m \in \mathcal{M}} \text{Norm}(\mathbf{E}_{lge}^m) + \alpha \text{Norm} (\mathbf{E}_{ghe}).$$

• score 通过内积完成, 损失采用的是 BPR 损失加上上面说的对比损失.

代码

[official]