论文分析|利用图神经网络挖掘群组信息进行个性化推荐

Exploiting Group Information for Personalized Recommendation with Graph Neural Networks论文分析初步

论文分析

推荐系统的关键问题是如何对用户偏好进行建模。已有工作大多利用用户历史数据学习用户偏好，但面临数据稀疏问题。在线社交网络的流行促进了在线讨论组的增加，同一组中的用户往往具有相似的兴趣和偏好。因此，有必要整合群组信息进行个性化推荐。现有的群组信息增强推荐系统主要依赖于与群组相关的项目信息，表达能力不足，难以捕捉群组用户与目标用户之间复杂的偏好依赖关系。本文利用图神经网络来解决这一问题。具体来说，将用户与项目之间的关系、群体的项目偏好以及用户参与的群体分别构建为二部图，通过图神经网络端到端学习用户对项目的偏好。

3模型

3.1预备工作

在本节中，我们首先对GGRM（本文提出的一种群体偏好增强的图神经推荐模型，group preference- enhanced graph neural recommendation model, GGRM)解决的问题进行形式化的介绍。根据第一部分的分析，用户的个人偏好不仅受到自己的历史行为的影响，还受到参与群体的偏好的影响。因此，GGRM在为用户生成推荐列表时，不仅对用户的个人偏好进行了建模，还对用户参与的群体偏好进行了聚合。形式上，有用户u∈U，产品i∈I，群体c∈C, GGRM对它们进行建模来预测用户对产品的偏好。文中使用的数学符号及其描述列于表2。

第五行：用户-产品、群体-产品、用户-群体二部图
第六行：用户-产品、群体-产品和用户-群体的邻接矩阵
第七行：用户、项目和组的潜在特征矩阵（使用SVD或者用户项目评分矩阵中的稀疏性导致缺失值的比例较高时使用其他方法计算[1]）
第八行：用户u、项目i和组c的潜在特征向量
第九行：潜在特征的维度
第十行：图神经网络的深度

二部图邻接矩阵的特征值呈现出以上的正负成对出现的现象
图G是_二部图_当且仅当其_邻接矩阵_A(G)的任一个奇阶主子阵是奇异阵

为了更好地刻画用户、产品和群体之间的关系，首先构建用户-产品二部图GUI、组-产品二部图GCI、用户-群体二部图GUC，如图1所示。
用户-产品二部图GUI包含了用户和产品之间的所有关系，AUI是GUI的邻接矩阵
组-产品二部图GCI包含了用户和产品之间的所有关系，ACI是GCI的邻接矩阵
用户-组二部图GUC包含了用户和产品之间的所有关系，AUC是GUC的邻接矩阵

3.2 GGRM

之前的研究证明，图神经网络可以更好地挖掘二部图的结构和内容。据此，我们利用图神经网络同时建模用户的个人偏好和群体偏好，为用户提供更准确的推荐列表。本章提出了GGRM。模型结构如图2所示。在图2中，深蓝色的圆代表用户，黄色的笑脸代表产品，绿色的六边形代表群体，方框代表隐藏的三个特征表示向量。GGRM大致可以分为三个部分:嵌入层将用户、产品和群组映射为低维稠密向量表示;图神经网络通过学习二部图中的高层连接，聚合用户、产品和群体的特征;而预测层则聚合用户的个人偏好和群体偏好，并输出用户对产品的偏好评分。GGRM的核心是图神经网络部分。

如图2所示，从上到下总共有三个二部图作为模型的输入。它们分别是组-积二部图、用户-群二部图和用户-产品图。这三种图分别通过图神经网络模型学习用户、产品和群体的表示。接下来，本节从模型的输入开始，详细介绍了GGRM的建模过程。

3.2.1嵌入层

与LightGCN模型一样，GGRM嵌入层的作用是将用户、产品和组映射到低维稠密向量表示中。以用户为例。GGRM的输入是用户的索引。如果是独热编码（是利用0和1表示一些参数，使用N位状态寄存器来对N个状态进行编码
自然状态码为：000,001,010,011,100,101
独热编码为：000001,000010,000100,001000,010000,100000），则会生成高维、极稀疏的向量。这是在增加模型计算复杂度的同时遇到维数灾难的问题。
与矩阵分解模型类似，嵌入层也使用低维稠密向量来表示用户，[2]
不仅大大降低了模型的计算复杂度，而且学习到的用户表示向量还可以计算用户之间的相似度。这也意味着，嵌入层已经学习到了一定程度的关系特征。在GGRM中，\(P^{U}∈R^{M×K}\), \(P^{I}∈R^{N×K}\), \(P^{C}∈R^{T×K}\)分别表示用户、产品和组的嵌入矩阵(矩阵的参数随着模型的学习而更新)。利用用户指数，可以得到user0潜在特征因子向量\(e^{0}_{u}∈R^{K}\)。同样，通过乘积和组指数，\(e^{0}_{i}∈R^{K}\), \(e^{0}_{c}∈R^{K}\)是乘积和组的潜在因子向量，可以分别得到，其中K表示潜在因子向量的维数。

3.2.2用户-产品二部图建模。

消费者喜欢的产品直接反映了他们的偏好。从直观上看，喜欢同一款产品的两个消费者所有者有一定的相似性。因此，如果两个用户的历史消费数据中存在着大部分相同的产品，那么这两个用户的偏好也是相似的。同样，同一用户的两种不同产品，也应该具有相同的特征。这两种交互之间的历史关系，可以通过挖掘用户-产品二部关系来建模。图卷积网络在图结构数据上取得了显著的成果。同样，基于图卷积神经网络的LightGCN模型利用图卷积网络对用户和产品之间的关系进行建模，在目前的个人推荐任务中取得了最好的结果。GGRM基于LightGCN模型对用户-产品二部图进行建模。图神经网络的建模是一个消息传播和聚合的过程。在GGRM中，用户和产品之间的关系和特征的卷积运算定义如下:

\(N^{i}_{u}\)表示用户u交互的项目i集合,二部图中用户的邻居
\(N^{u}_{i}\)表示与项目i交互的用户u集合，二部图中项目的邻居
d层卷积，可以聚合目标顶点的邻居特征。
经过d层卷积运算，可以获得不同层次的用户和产品的特征。同时，随着层数的增加，高层特征会更加平滑，不利于推荐任务的完成。因此，为了融合不同的特征，用户-产品二部图的建模输入就是融合用户(产品)的不同特征。最终用户和产品输出的公式如下:

3.2.3组-产品二部图建模。

与用户相似，不同的群体也有群体偏好。比如，憨豆先生的粉丝群主要讨论的是憨豆先生的电影，而喜剧电影群讨论的内容既包括憨豆先生的喜剧电影，也包括其他喜剧演员的电影。这些不同的群体，由于组织原则的不同，一般都有特色偏好。偏好相似的群体也有相似之处。比如上文提到的憨豆先生的粉丝群和喜剧电影群，就有一定的相似之处。为了保持GGRM结构的统一性，在建模群积二部图时也使用了图卷积网络，对群积和产品的关系和特征进行卷积运算的定义如下:

与用户-产品二部图建模类似，组-产品二部图建模组和产品获得不同层次的特征。为了整合不同层次的特征，组_-产品_二部图的输出是

3.2.4用户-群体二部图建模

消费者在互联网上不是独立存在的;他们会主动或被动地参与到互联网社区中。同样，一个用户可能会参与到不同的群体中。这些群体都在一定程度上明确反映了用户的兴趣偏好。参与同一个群组的不同用户都有兴趣标签，标记为这个组，对于建模用户表示非常有用。当GGRM使用集体参与的群组对用户建模，也使用图卷积网络作用于用户-群组二部图时，对用户和群组关系和特征的卷积运算定义如下:

此处的是经验上的，实践证明有更好的效果。
在用户-群体二部图上，不同层次的特征也被聚合为用户-群体二部图的输出:

3.2.5预测层

GGRM通过图卷积网络对用户历史数据建模，构建用户潜在向量和产品潜在向量，通过群-产品二部图构建群体潜在向量和产品潜在向量。参与群组聚合了用户参与群组的偏好。在最终的预测中，GGRM聚合了个体用户的偏好和用户参与的群体偏好，共同预测用户对产品的偏好。预测公式定义如下:

其中\(\hat{y}_{ui}\)代表预测用户对产品i的偏好评分的GGRM，代表两个向量的拼接操作。
⊕是异或

3.2.6模式学习

在隐式反馈问题中，唯一存在的数据就是用户喜欢的产品数据。用户没有观察到的产品，不一定是用户不喜欢的产品，可能是用户还没有浏览过的产品。基于此，GGRM选择比较学习排序的方法来构建GGRM的损失函数。实际上参考了Bundle Graph Convolutional Network (BGCN)[3]其基本思想是，现有用户对产品的偏好大于未观测到的产品。损失函数的数学定义如下:

式中L为模型的整体损失函数值，λ为模型参数正则化的强度，Θ为网格参数。需要注意的是，GGRM的参数仅是用户、产品、群组的嵌入矩阵参数;即与矩阵分解相比，只需要多学习一个组矩阵向量参数。因此，GGRM的计算复杂度基本等同于矩阵分解。在实际的模型训练时，采用Adam优化方法更新学习模型的参数。与其他梯度下降法相比，Adam法具有内存占用小、计算效率高的优点，非常适合于大规模数据环境。

Adam算法（AdaptiveMomentEstimation Algorithm）

可以看作动量法和RMSprop算法的结合，不但使用动量作为参数更新方向，而且可以自适应调整学习率[4][5]．

3.3模型分析

为了展示GGRM的有效性和唯一性，讨论了GGRM与两项相关工作(LightGCN和Bundle Graph Convolutional Network (BGCN))的关系。LightGCN模型是一种基于图神经网络的软个性化推荐模型。然而，LightGCN模型只利用了用户-产品交互数据，没有结合其他辅助信息。在LightGCN模型的基础上，我们提出了一种融合群体偏好的GGRM，考虑了用户所在群体偏好的影响。BGCN是一种专门为bundle推荐任务设计的图神经网络模型。虽然BGCN和GGRM都是融合群体信息的图神经网络模型，但这两个模型解决的问题并不相同。GGRM旨在更好地刻画用户所处群体偏好的个性化偏好的影响。此外，在模型设计中，GGRM的输入是三个实体(用户、群体和产品)之间的三个二部图，而BGCN模型的输入是融合了这三个实体的异构图。
然后，讨论GGRM的矩阵形式及其复杂度;在GGRM的训练过程中，总共有两部分需要计算资源。第一部分是模型参数的更新。GGRM的参数总数只与用户数量、产品数量、群组数量有关。GGRM的总参数数为(M + N + T) × K，其中K为嵌入向量的大小。另一个消耗计算资源的部分是图神经网络的计算过程，我们以矩阵的形式给出了这个过程的实现。以用户群体二部图为例，首先将其转化为如下形式:

图神经网络中的计算过程如下：

对角矩阵每个元素开根号后的倒数

参考文献

[1]Koren, Yehuda, Robert Bell, and Chris Volinsky. "Matrix factorization techniques for recommender systems." Computer 42.8 (2009): 30-37.
[2]版权声明：本文为CSDN博主「小白的学习之旅」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Miraitowa/article/details/109273019
[3]Chang, Jianxin, et al. "Bundle Recommendation with Graph Convolutional Networks." (2020).
[4]https://www.bilibili.com/video/BV1Sg41197kL?spm_id_from=333.1007.top_right_bar_window_history.content.click&vd_source=d35605bdac9773a29001c1de76942e18
[5]ADAM A METHOD FOR STOCHASTIC OPTIMIZATION