Pre-Training Graph Neural Networks for Cold-Start Users and Items Representation阅读笔记

动机

本文是2021年WSDM上的一篇论文。在之前的工作中，图神经网络推荐没有明确优化冷启动问题，冷启动用户或物品因为交互不多，生成的embedding并不准确，同时还会随着图传播给邻居节点。针对以上问题，本文作者提出了一种基于预训练的图神经网络方法，可以有效缓解图神经网络推荐中的冷启动问题。

冷启动用户\(u_2\)会传播到\(u_1\)，影响\(u_1\)的表示。

方法

本文提出的方法框架如下。在开始，我们有一个

The Basic Pre-training GNN Model

我们每次从邻居中选取K个，以模仿冷启动场景
对于第l次卷积，我们有

最后一层卷积比较特殊，因为我们希望从邻居获取该节点的表示，因此有

这一步的损失函数也不是常见的bpr或者mse，因为我们希望生成的embedding和原embedding相似，而不是评分或者偏好相似

Meta Aggregator

我们使用元聚合器来解决冷启动邻居问题。元聚合器根据节点的一阶邻居为每个节点学习一个额外的embedding。这里使用self-attention

第l层的卷积为

The Adaptive Neighbor Sampler

这一部分是自适应采样。我们使用\(a^l_t \in \{0,1\}\)表示第t个l阶邻居是否被采样，我们通过策略函数表示\(a^l_t\)

通过奖励函数来表示采样是否合理

目标为

这部分伪代码为

整体的训练流程为

实验结果

在冷启动场景下，本文提出的方法在几个常见的GNN上都有明显效果。

在整体推荐中，效果也有一定的提升

总结

本文提出了一种基于预训练的图神经网络推荐冷启动方法，作者提出了一个代理任务重构冷启动物品/用户的embedding以提高其效果，另外提出了元聚合器和自适应采样策略，提高了图卷积能力。