Hypergraph Contrastive Collaborative Filtering 总结

Hypergraph Contrastive Collaborative Filtering

摘要

​ 协同过滤（CF）已经成为将用户和物品映射到潜在表示空间的基本范式，通过用户-物品交互数据中的相关模式进行建模。在各种协同过滤技术中，基于图神经网络（GNN）的推荐系统（例如，PinSage 和 LightGCN）提供了最先进的性能。然而，现有的解决方案尚未很好地解决两个关键挑战：

• 在更深的基于图的协同过滤架构中，过度平滑效应可能导致用户表示不可区分，从而降低推荐结果的质量。
• 监督信号（即用户-物品交互）通常稀缺且分布不均，这限制了协同过滤范式的表示能力。

为了解决这些挑战，我们提出了一个新的自监督推荐框架——超图对比协同过滤（HCCF），通过超图增强的跨视角对比学习架构，联合捕捉局部和全局协同关系。具体而言，设计的超图结构学习增强了基于图神经网络的协同过滤范式的区分能力，从而全面捕捉用户之间复杂的高阶依赖关系。此外，我们的 HCCF 模型有效地将超图结构编码与自监督学习相结合，以基于超图增强的自我区分能力强化推荐系统的表示质量。

在三个基准数据集上的广泛实验表明，HCCF模型相较于各种最先进的推荐方法具有明显的优势，并且在处理稀疏用户交互数据时表现出较强的鲁棒性。

1.背景与动机：

​ 个性化推荐系统已广泛应用于帮助用户发现感兴趣的项目，从而缓解网络上的信息过载问题，应用场景包括在线零售平台（如亚马逊、阿里巴巴）、社交网络应用（如Facebook、微信）和在线视频网站（如YouTube、抖音）。在各种技术中，协同过滤（CF）已成为推荐系统的基础架构，基于观察到的用户-项目交互，将用户和项目投影到低维潜在表示空间。

​ 随着图神经网络（GNN）在图表示任务中取得前所未有的成功，一些最新的研究深入探索了图神经网络，通过用户-项目交互边传播嵌入，捕捉子图中邻近节点之间的协同过滤信号，从而进一步提高用户表示的质量。尽管基于图的协同过滤模型在推荐应用中提供了先进的性能，但仍有两个关键的问题没用充分探索：

• 过度平滑协同效应：图神经协同过滤架构在更深的嵌入传播层下，可能导致用户向量不可区分，限制了高阶协同关系的表示质量。通过用户之间的交互子图在连接的用户/项目之间过度混合信息，可能会包含有害的噪声，从而无法很好地表示独特的用户偏好。
• 监督交互数据稀缺和噪声：交互数据稀缺问题在各种实际推荐场景中普遍存在，因为大多数用户仅与有限数量的项目进行零星交互。由于数据稀疏现象和交互分布的不均衡，绝大多数基于协同过滤的推荐系统在长尾项目上表现不佳。此外，大多数基于GNN的推荐方法设计了消息传递机制，其中嵌入传播仅在原始图的邻居之间进行。然而，这种显式的用户-物品关系（例如点击或浏览）往往会给构建的交互图带来噪声信息（例如，用户的误点击行为）。

考虑到上述限制和挑战，这篇文章采用了一种基于超图对比学习的框架，通过自增强来建模基于图的协同关系，提出了一种新的推荐模型HCCF。特别地，利用超图学习架构通过低秩结构补充图协同过滤范式的编码，增强全局协同效应。还将显式交互图和学习到的隐式超图结构视为两种对比视图，设计了基于双图对比学习增强架构。

2.预备知识：

2.1.协同过滤学习范式

​ 设$\mathcal{U}=\left\{u_1, \ldots, u_i, \ldots, u_I\right\}(|\mathcal{U}|=I)$和$\mathcal{V}=\left\{v_1, \ldots, v_i, \ldots, v_J\right\}(|\mathcal{V}|=J)$分别表示用户和物品的集合。交互矩阵$\mathcal{A}\in\mathbb{R}^{I \times J}$表示与其消费物品之间的隐式关系。矩阵$A$中的每个元素$\mathcal{A}_{i, j}$如果用户$\mathbf{u}_i$曾经采纳过物品$\mathbf{v}_j$，则设置为1，否则为0。协同过滤任务的目标是预测未观察到的用户-物品交互，并基于编码的相应表示进行预测。

2.2.基于图的推荐系统

​ 为了捕捉高阶协同信号，一种重要的方向是基于多跳交互拓扑结构的图方法，探索用户-物品关系。例如，NGCF和 PinSage已经证明了用户和物品之间的高阶连接性对协同过滤的重要性。为了进一步改善图卷积框架中的信息传递过程，LightGCN提出通过识别传播过程中的特征变换不必要性，减少训练难度，并使用基于求和的池化操作进行邻域聚合。

2.3.用于推荐的超图学习

​ 受到超图在建模复杂高阶依赖关系方面的泛化能力的启发 ，一些新近开发的推荐系统通过构建超图结构和统一的节点-超边连接来捕捉交互模式。 HCCF 框架设计了一个可学习的超图结构编码器，它不仅提高了协同过滤表示范式的区分能力，还保留了推荐系统中用户和物品之间的个性化全局协同关系。所提出的超图依赖结构学习方法通过解决图的过平滑问题，自动提取相互依赖关系，从而增强了用户和物品表示的区分能力。

2.4.对比表示学习

​ 对比学习已成为一个有效的自监督框架，用于捕捉不同视角下的特征表示一致性。它在多个领域取得了有希望的表现，例如视觉数据表示、语言数据理解、图表示学习和推荐系统。这些对比学习方法寻求通过数据或任务特定的增强与辅助信号进行探索。为了应对推荐任务中监督标签不足的挑战，HCCF提出了一个新的自监督推荐框架，通过超图学习方案补充协同效应的编码，明确地建模局部和全局的相互依赖关系。

3.方法论

​ HCCF具体的方法就是先利用基于图的消息传递模块作为局部编码器，捕捉用户与物品之间的局部协同相似性，作为局部编码。然后，通过一种超图神经网络，将超图可学习矩阵$H$去捕捉全局协同依赖，作为全局关系编码。其次，引入了超图增强的对比学习架构，将局部与全局的协同关系编码结合至特征嵌入中。最后，使用超图对比学习架构，通过互补的自蒸馏视图（局部和全局的协同关系）来增强学习效果。其整体框架如图1所示。

图1：HCCF整体架构的示意图。

3.1.局部协同关系编码

​ 根据常见的协同过滤范式，首先分别利用$\mathbf{e}_i^{(u)} \in \mathbb{R}^d$ 和$\mathbf{e}_j^{(v)} \in \mathbb{R}^d$来表示每个用户$\mathbf{u}_i$和物品$\mathbf{v}_j$的特征嵌入。用$\mathbf{E}^{(u)} \in \mathbb{R}^{I \times d}$和$\mathbf{E}^{(v)} \in \mathbb{R}^{J \times d}$分别表示用户和物品的矩阵特征嵌入。采用图卷积消息传递方式，局部传输层为$\mathbf{z}_i^{(u)}=\sigma\left(\overline{\mathcal{A}}_{i, *} \cdot \mathbf{E}^{(v)}\right), \quad \mathbf{z}_j^{(v)}=\sigma\left(\overline{\mathcal{A}}_{*, j} \cdot \mathbf{E}^{(u)}\right)$。其中$\overline{\mathcal{A}}_{i, j} \in\mathbb{R}^{I \times J}$ 为归一化的邻接矩阵，计算公式：$\overline{\mathcal{A}} =D_u^{-1 / 2}\cdot A \cdot D_v^{-1 / 2}$ and $\overline{\mathcal{A}}_{i, j}=\frac{\mathcal{A}_{i, j}}{\sqrt{\left|\mathcal{N}_i\right| \cdot\left|\mathcal{N}_j\right|}}$。

通过集成多个传输层，就可以聚合局部邻域信息生成上下文的嵌入，并且加上残差连接用来缓解过平滑问题，公式如下：

$$\mathbf{e}_{i, l}^{(u)}=\mathbf{z}_{i, l}^{(u)}+\mathbf{e}_{i, l-1}^{(u)}, \quad \mathbf{e}_{j, l}^{(v)}=\mathbf{z}_{j, l}^{(v)}+\mathbf{e}_{j, l-1}^{(v)}$$

3.2.超图全局依赖关系学习

​ 为了将用户/物品之间的全局协同关系加入协同过滤范式中，HCCF采用了一个全局依赖编码器。主要流程是将超图结构分解为两个参数矩阵，再聚合全局邻域信息去生成嵌入，同时也加入残差用来缓解过平滑。其流程图如图2所示。

图2：基于超图结构学习构建的超图增强对比架构示意图。

3.2.1.超图消息传递范式

​ 利用超边作为中介枢纽，首先，消息传递由节点传递到超边再由超边传递到节点的方式，进行全局信息传递。具体而言，就是将用户和物品的超图依赖矩阵定义为$\mathcal{H}^{(u)} \in \mathbb{R}^{I \times H} \text { and } \mathcal{H}^{(v)} \in \mathbb{R}^{J \times H}$ ,其中H表示超边的数量，超图消息传递的过程为：$\Gamma_{l}^{(u)}=\sigma\left(\mathcal{H}^{(u)} \Lambda^{(u)}\right)=\sigma\left(\mathcal{H}^{(u)} \cdot \mathcal{H}^{(u) \top} \cdot \mathbf{E}_{l-1}^{(u)}\right)$ 。其中，$\Lambda^{(u)} \in \mathbb{R}^{H \times d}$

表示用户的超边嵌入，$\Gamma_{l}^{(u)}$ 表示为第$l$层传播下用户的超图嵌入，物品的超图嵌入$\Gamma_{l}^{(u)}$也采用类似方法生成。

3.2.2.参数化超图结构学习

​ 由于数据稀缺现象和不均衡的交互分布，且有些用户-物品关系往往回将噪声信息引入构建的交互图中。因此，为了自适应地学习用户和物品之间基于超图的依赖结构，本篇论文提出了将超图依赖矩阵$\mathcal{H}^{(u)}and\mathcal{H}^{(v)}$参数化，并基于协同过滤（CF）架构一起进行学习，可以帮助模型在没有显式标签的情况下，自动学习到用户和物品之间的潜在关联，从而提高推荐的准确性。然而，学习稠密的超图邻接矩阵会很大地增加模型参数的规模，并且计算成本很高。为了应对这个挑战，将超图结构$\mathcal{H}^{(u)}and\mathcal{H}^{(v)}$通过潜在空间的矩阵分解，以实现模型的效率：$\mathcal{H}^{(u)}=\mathbf{E}^{(u)} \cdot \mathbf{W}^{(u)}, \quad \mathcal{H}^{(v)}=\mathbf{E}^{(v)} \cdot \mathbf{W}^{(v)}$ ，$\mathbf{E}^{(u)}$ and $\mathbf{W}^{(u)}$都是学习矩阵，通过这种方式，可以很大程度地减小计算成本。

3.2.3. 层次化映射

​ 为了进一步增强超图神经网络架构，通过高层超边特征交互来提升性能，就是通过堆叠多层次超边来增强HCCF，使其包含多个神经网络层。具体公式为：

$\bar{\Lambda}=\psi^c(\Lambda), \psi(\mathbf{X})=\sigma(\mathbf{V X})+\mathbf{X}, \Lambda=\mathcal{H}^{\top} \mathbf{E}$

$\Gamma_l=\sigma(\mathcal{H} \cdot \bar{\Lambda})=\sigma\left(\mathcal{H} \cdot \psi^c\left(\mathcal{H}^{\top} \cdot \mathbf{E}\right)\right)$。

3.3.多阶聚合与预测

​ 将局部依赖编码和全局协同关系相结合，提取用户与物品的协同关系。局部和全局视角的嵌入，能够同时捕捉低阶和高阶的协同关系，这样不仅可以推荐用户当前喜欢的物品，还可以推荐潜在的但相关的物品。方法为：$\mathbf{e}_{i, l}^{(u)}=\mathbf{z}_{i, l}^{(u)}+\Gamma_{i, l}^{(u)}+\mathbf{e}_{i, l-1}^{(u)}, \mathbf{e}_{j, l}^{(v)}=\mathbf{z}_{j, l}^{(v)}+\Gamma_{j, l}^{(v)}+\mathbf{e}_{j, l-1}^{(v)}$ 。然后，通过用户$\mathcal{u}_{i}$与$\mathcal{v}_{j}$之间内积求得偏好得分，具体公式为：

$$\boldsymbol{\Psi}_i^{(u)}=\sum_{l=0}^L \mathbf{E}_{i, l}^{(u)}, \boldsymbol{\Psi}_j^{(v)}=\sum_{l=0}^L \mathbf{E}_{j, l}^{(v)}, \operatorname{Pr}_{i, j}=\boldsymbol{\Psi}_i^{(u) \top} \boldsymbol{\Psi}_j^{(v)}$$

​ 然后，将用户有交互的物品作为正样本，未交互的物品作为负样本。定义成对边际损失（用于训练模型区分正样本和负样本的交互偏好得分）：

$$\mathcal{L}_r=\sum_{i=0}^I \sum_{s=1}^S \max \left(0,1-\operatorname{Pr}_{i, p_s}+\operatorname{Pr}_{i, n_s}\right)$$

3.4.超图增强的对比学习

​ 在超图神经网络架构下，通过跨视角协同监督来增强HCCF，用户表示可以通过稀疏的监督信号进行增强。基于用户-物品交互图的局部协同关系编码和基于用户/物品的全局超图结构学习这两个不同视角进行对比学习，这样可以增加用户和物品的自我区分能力。通过对比学习，局部全局视角的嵌入被共同优化，加强了嵌入的自我区分能力。并且作为一个自监督学习方法，提高了鲁棒性，克服稀疏性问题。正负样本的对比有效地避免过拟合。跨视角协同监督对比损失如下：

$$\mathcal{L}_s^{(u)}=\sum_{i=0}^I \sum_{l=0}^L-\log \frac{\exp \left(s\left(\mathbf{z}_{i, l}^{(u)}, \Gamma_{i, l}^{(u)}\right) / \tau\right)}{\sum_{i^{\prime}=0}^I \exp \left(s\left(\mathbf{z}_{i, l}^{(u)}, \Gamma_{i^{\prime}, l}^{(u)}\right) / \tau\right)}$$

​ 为了进一步缓解跨视角对比学习过程中可能出现的过拟合问题，使用了图增强方法（边丢弃），作用于用户-物品交互图和学习到的超图结构。$\overline{\mathcal{A}}:=\mathbf{M}_{G} \circ \overline{\mathcal{A}} ; \quad \mathcal{H}:=\mathbf{M}_{H} \circ \mathcal{H}$ 。为此，最终的损失函数将边际损失与自监督损失结合起来，成一个统一的目标损失函数，用来训练与学习。

$$\mathcal{L}=\mathcal{L}_{r}+\lambda_{1} \cdot\left(\mathcal{L}_{s}^{(u)}+\mathcal{L}_{s}^{(v)}\right)+\lambda_{2} \cdot\|\Theta\|_{\mathrm{F}}^{2}$$

4.部分实验结果

​ 整体性能验证：如表1中所示的实验结果，我们的 HCCF 在不同数据集上，在所有评估指标上都 consistently 超越了所有基准方法。这个观察验证了我们 HCCF 方法的优越性，其原因可以归结为：

• 通过揭示潜在的全局协同效应，HCCF 不仅能够建模用户之间的整体依赖关系，还能够保留个体用户的交互模式，并具有更好的区分能力。
• 受益于我们的超图对比学习框架，HCCF 实现了稀疏交互的有效自数据增强，利用跨视角（从局部到全局）的监督信号。

​ 超图结构学习的优越性：此外，超图推荐方法（如 DHCF 和 HyRec）超越了大多数基于 GNN 的协同过滤模型（如 PinSage、NGCF、ST-GCN），这表明在超图架构下建模高阶协同效应的有效性。我们的 HCCF 相比于竞争性的超图推荐系统的显著提升，进一步表明我们设计的可学习超图神经结构架构在以下方面表现良好：

• 自适应地完成全局协同依赖关系的建模，涵盖用户和物品之间的依赖；

• 缓解了基于 GNN 的协同过滤模型中相邻节点嵌入的过平滑效应。

  具体而言，用户偏好的表示通过局部连接的用户/物品和全局依赖的用户共同细化。

表1：在 Yelp、MovieLens 和 Amazon 数据集上，基于 Recall 和 NDCG 的性能比较。

5.总结

​ HCCF是一个具有超图学习模板和跨视角的超图对比编码方案。超图对比协同过滤框架通过在联合嵌入空间中同时刻画局部和全局协同关系，学习更好的用户表示。大量实验验证了 HCCF 相较于竞争基准方法的优越性。