RLMRec论文阅读笔记
Representation Learning with Large Language Models for Recommendation论文阅读笔记
Abstract
现存的问题：
这些基于图的推荐器严重依赖于基于 ID 的数据，可能会忽略与用户和项目相关的有价值的文本信息，导致学习到的表征信息量较少。此外，利用隐式反馈数据会带来潜在的噪音和偏差，给用户偏好学习的有效性带来挑战。
虽然将大型语言模型（LLM）集成到传统的基于 ID 的推荐器中已经引起了人们的关注，但要在实际的推荐器系统中有效实施，还需要解决诸如可扩展性问题、纯文本依赖的局限性以及提示输入限制等挑战。
提出方法：
我们提出了一个与模型无关的框架 RLMRec，旨在利用 LLM 的表征学习功能来增强现有的推荐器。它提出了一种将表征学习与 LLMs 相结合的推荐范式，以捕捉用户行为和偏好的复杂语义方面。RLMRec 融合了辅助文本信号，利用 LLMs 进行用户/项目剖析，并通过跨视图对齐将 LLMs 的语义空间与协作关系信号对齐。这项工作进一步证明了通过互信息最大化纳入文本信号的理论基础，从而提高了表征的质量。
Introduction
近期的推荐算法局限性在于主要依赖于基于 ID 的信息，可能会忽略其他有价值的数据，如与用户和项目相关的丰富文本信息。缺乏这些附加信息会导致所学表征的信息量减少。
在这些基于图的推荐器中，有很大一部分数据是隐式反馈，这可能会引入来自假阴性或偏差（如误点击或人气偏差）的噪声。因此，这些基于 GNN 模型的学习表示在很大程度上依赖于数据的固有质量。这种对数据质量的严重依赖带来了潜在的挑战，因为它可能导致有害的表示，从而阻碍推荐系统的有效性，尤其是在数据包含噪声的情况下。
当前正在积极探索 LLM 如何利用其处理文本内容的能力，将推荐系统的功能扩展到原始数据之外。该领域当前研究的一个主要重点是通过提示设计使推荐方法与语言模型的特点相一致。InstructRec 等方法以指令-问题-回答的形式构建推荐任务，使 LLM 能够同时实现推荐目标和回答复杂设计的问题。然而，这些方法在效率和精确度方面仍然落后于现有的推荐器。这可归因于这种方法的固有缺陷，包括以下几个关键方面：
实际推荐中的可伸缩性问题
在个性化用户行为建模中使用大型语言模型（LLM）需要大量的计算资源。随着用户行为数据规模的扩大，计算需求和相关推理时间成本也在增加
仅限于文本的依赖所引起的限制
由于幻觉问题，LLM 有可能生成文本答案，其中可能包括对不存在的项目的推荐。这对确保所生成建议的准确性和可靠性提出了挑战。此外，提示输入的容量有限，受限于标记的最大数量（例如 LLaMA 的标记数量为 2048 个），妨碍了对具有全局用户依赖性的综合协作信号进行有效建模。
本文经过实验发现盲目使用 LLMs 来改进推荐中的重新排序过程存在局限性。这些局限性可归因于三个因素：i) LLM 的幻觉问题，即推荐候选集中没有的项目；ii) 由于标记的限制，缺乏全面的全局基于文本的协作关系输入；iii) 此外，值得注意的是，使用 LLM 完成重新排序过程需要几个小时，这对处理真实世界推荐场景中的大规模数据构成了挑战。
鉴于上述局限性，我们的目标是利用 LLM 的强大功能无缝地增强现有的推荐系统。为此，我们提出了一个称为 RLMRec（Representation Learning with Large Language Models for Recommendation）的模型无关框架。RLMRec 的核心理念是利用表征学习作为基于 ID 的推荐器和 LLM 之间的桥梁。我们的新推荐范式旨在保持现有推荐器的准确性和效率，同时利用大型语言模型强大的文本理解能力来理解用户行为和偏好的复杂语义方面。
首先，我们通过模拟将辅助文本信号纳入表征学习的好处来奠定理论基础。这包括将文本信号转化为有意义的表征，并为在一般推荐模型中实现互信息最大化奠定理论基础。此外，我们还开发了一种由 LLMs 支持的用户/项目剖析范例，通过从 LLMs 的全球知识空间中纳入全面的语义理解来增强表征的表现力。
此外，我们还建议通过跨视图对齐框架来对齐 LLM 的语义空间和协作关系信号的表示空间。这种对齐是通过跨视角互信息最大化方案实现的，它使我们能够找到一个共同的语义子空间，在这个空间中，文本嵌入和协作关系嵌入分别从对比建模和生成建模中得到很好的对齐。
本文的主要贡献如下：
- 这项工作旨在探索如何利用 LLM，并将其语义空间与协作关系建模相结合，以更好地进行表征学习，从而提高现有推荐系统的推荐性能。
- 我们提出了一个与模型无关的表征学习框架，称为 RLMRec，它以我们的理论发现为指导。该框架利用对比或生成建模技术来提高所学表征的质量。
- 我们建立了一个理论基础，以证明结合文本信号增强表征学习的有效性。通过利用互信息最大化，我们展示了文本信号如何提高表征质量
Method
本文的整体框架如下：
RLMRec的理论基础
协同过滤
这里说本文提出了一个隐藏的先验概率z，在学习表示的时候会涉及这个先验信念和噪声
文本增强的用户偏好学习
这里是引入文本信息作为辅助线索，生成能有效捕捉用户偏好语义方面的表示 s。s 和 e 都能捕捉到与用户-物品交互相关的共享信息。这种共享信息至关重要，因为它表明推荐中包含了有益的方面，与先前的信念 z 保持一致。
协作侧表示 e 和文本侧表示 s 都包含由 z 生成的有益于推荐的信息，我们的目标是通过最大化条件概率来学习 e 的最优值
\(\mathbf{e}^*=\arg\max_{\mathbf{e}}\mathbb{E}_{p(\mathbf{e},\mathbf{s})}[p(\mathbf{z},\mathbf{s}|\mathbf{e})].\)
条件概率最大化背后的基本直觉是确保推荐模型的可学习表征 e 包含更纯粹的信息，这些信息来自先验信念 z 以及与语义表征 s 共享的信息。
然后文章给出了一个结论并且证明，证明中的数学知识较多，这里就不详细解释了，感兴趣可以看原文，这里只把结论列一下
结论1：最大化上面公式中的后验概率相当于最大化cf侧关系表示e和llm侧语义表示之间的互信息\(I(\mathbf{e},\mathbf{s})\)
结论2：通过引入密度比\(f(s,\mathbf{e})\propto p(s|\mathbf{e})/p(\mathbf{s})\)来保留互信息。互信息的最大化可以重新表述为最大化下面的下限：\(\mathbb{E}\log[\frac{f(s_i,e_i)}{\sum_{s_j\in\mathcal{S}}f(s_j,e_i)}].\)
到目前为止，我们已经从理论的角度得出了如何通过引入外部知识来抑制表征中的噪声效应。
然而，这种方法也提出了两个挑战： i)挑战1：如何获得对用户和项目的有效描述，以捕获他们的交互偏好。ii)挑战2：如何有效地建模密度比𝑓（s，e），以最大限度地提高e和s之间的互信息。在下面的部分中，我们将讨论解决这两个挑战的潜在解决方案。
用户/物品档案范式
在前面的推导中，我们强调了获取用户和项目的文本描述（称为档案）的重要性。这些档案在减轻推荐系统学习到的表征中的噪音影响方面起着至关重要的作用，并能让我们从语义上理解用户和项目的交互偏好。理想情况下，用户和项目档案应具备以下特征：
- 用户档案：应有效概括用户偏好的特定物品类型，从而全面体现用户的个性化品味和偏好。
- 物品档案：它应阐明物品可能吸引的特定用户类型，清晰地展示物品的特点和品质，以符合这些用户的偏好和兴趣。
在某些情况下，原始数据可能包括与用户和项目相关的文本属性。例如，在 Yelp 数据集中，用户对访问过的企业提供评论，而企业则具有位置和类别等属性。然而，此类文本数据往往包含无关的噪音，从而导致常见的困境：
- 属性缺失
- 有噪声的文本数据
幸运的是，大型语言模型（LLMs）的最新进展释放了其非凡的文本处理能力，使其能够处理广泛的 NLP 任务，包括文本去噪和摘要。这一关键发展为从数据集中固有的嘈杂文本特征中生成用户和项目概况提供了新的可能性。利用 LLM 的巨大潜力，我们提出了一种利用协作信息生成简介的范例。考虑到与用户属性相比，数据集通常包含更高比例的项目属性文本描述，我们的方法从项目到用户的角度出发，概述如下。
通过推理生成配置文件
在 LLM 中加入过程推理可以有效减轻幻觉，提高生成结果的质量。在这些研究成果的基础上，我们精心设计了系统提示 S𝑢/𝑣，作为提供给 LLM 的输入的一部分。目的是通过精确指定输入-输出内容和所需的输出格式，明确界定其在为用户𝑢 生成用户配置文件或为条目𝑣 生成条目配置文件方面的功能。重要的是，我们明确强调将推理过程作为生成输出的一个组成部分。通过将该系统提示与用户/项目配置文件生成提示 Q𝑢 和 Q𝑣 结合起来，我们可以利用 LLM 生成准确的配置文件。具体过程概述如下：
\(\mathcal{P}_u=LLMs(S_u,Q_u),\quad\mathcal{P}_v=LLMs(S_v,Q_v)\)
物品提示构造
我们将一个项目𝑣∈V的文本信息分为四种类型：标题𝛼、原始描述𝛽、数据集特定的属性\(\gamma=\gamma_1,...,\gamma_{|\gamma|}\)和来自用户的𝑛个评论的集合r。基于这些类别，我们可以正式概述生成项目配置文件的输入提示Q𝑣的排列如下：
\(Q_v = f_v(\mathbf{x}) \quad \text{w.r.t.} \quad \mathbf{x} = \begin{cases} [\alpha,\beta], & \text{if } \beta \text{ exists}, \\ [\alpha,\boldsymbol{\gamma},\hat{\mathbf{r}} \subset \mathbf{r}], & \text{otherwise}. \end{cases}\)
在我们的方法中，我们使用一个特定于每个项的函数𝑓𝑣（·），它将各种文本特性组合成一个字符串。如果缺少原始描述𝛽，我们随机抽取评论ˆr的一个子集，并将它们与输入的属性相结合。通过合并项目描述或用户评论，我们的提示为大型语言模型提供了精确的信息，以确保生成的项目配置文件准确地反映了吸引人的特征。
用户提示构造
为了生成用户𝑢的配置文件，我们利用协作信息，假设我们事先已经生成了项目配置文件。具体来说，我们将与用户𝑢交互的项目视为I𝑢，并统一抽样项目的一个子集\(\hat{I}_u\subset I_u\)。对于\(\hat{I}_u\)中的每个项目𝑣，我们将它的文本属性连接为\(\mathbf{c}_v=[\alpha,\mathcal{P}_v,r_u^v]\)。其中，\(r_u^v\)表示由用户𝑢提供的评论。用户配置文件生成的输入提示符Q𝑢可以定义如下：
\(Q_u=f_u(\{\mathbf{c}_v|v\in\hat{I}_u\}).\)
函数 𝑓𝑢 (-) 的作用与 𝑓𝑣 (-) 类似，都是将文本内容组织成一个连贯的字符串。每个文本属性 c𝑣 都包含用户评论，这些评论真实地反映了用户的真实意见。这种用户提示的构建方式为了解用户的真实偏好提供了宝贵的信息。
互信息最大化的密度比建模
在本节中，我们将概述密度比的建模过程，用 𝑓 (s𝑖 , e𝑖) 表示，目标是最大化互信息𝐼(s𝑖 , e𝑖)。首先，需要注意的是，我们之前已经生成了用户/物品档案 P𝑢/𝑣，展示了他们的交互偏好。因此，根据这些档案对语义表示进行如下编码是合乎逻辑的：
\(\mathbf{s}_u=\mathcal{T}(\mathcal{P}_u),\quad\mathbf{s}_v=\mathcal{T}(\mathcal{P}_v).\)
在这里，\(\mathcal{T}(\cdot)\)指的是一种被称为文本嵌入模型的尖端技术，该技术已被证明可以有效地将不同的文本输入转换为固定长度的向量，从而保留其固有的意义和上下文信息。
密度比 𝑓（s𝑖 ，e𝑖）可以解释为一个正实值分数测量函数，它捕捉了 s𝑖 和 e𝑖 之间的相似性。对密度比进行更精确的建模，可对 CF 侧理性表征与 LLMs 增强语义表征之间的一致性产生积极影响，有助于减轻表征学习中噪声信号的影响。
在这种情况下，我们提出了两类非常适合实现这种对齐的建模方法。第一种方法是对比建模，这种方法已得到广泛验证，可有效地双向对齐不同视图，如通过拉和推对。第二种方法是掩码重构生成建模，它被广泛用作一种自监督机制，用于从数据本身重构部分掩码输入。通过使用 CF 侧表征来重构语义表征，我们可以有效地将这两种形式的信息统一起来。
对比式对齐
我们将𝑓（s𝑖，e𝑖）的具体实现表示为对比性对齐。
\(f(\mathbf{s}_i,\mathbf{e}_i)=\exp(sim(\sigma_\downarrow(\mathbf{s}_i),\mathbf{e}_i)).\)
其中，𝜎↓表示将语义表征s𝑖映射到e𝑖
在对比对齐中，我们将 e𝑖 和 s𝑖 视为正向样本对。在学习过程中，这些样本对会相互拉近，以对齐它们的表征。在具体实施中，我们的目标是在一批样本中拉近正样本对的距离，同时将其余样本视为负样本。
生成式对齐
掩码自动编码器（MAE）被认为是生成式自我监督学习的典范，我们从最近的掩码自动编码器研究中汲取灵感，在 MAE 中为密度比提出了一种额外的建模方法。
\(f(\mathbf{s}_i,\mathbf{e}_i)=exp(sim(\mathbf{s}_i,\sigma_\uparrow(\hat{\mathbf{e}_u})))\quad w.r.t.\quad\hat{\mathbf{e}_i}=\mathcal{R}(\{\mathbf{x}\}\setminus\mathbf{x}_i).\)
x\x𝑖表示应用掩蔽的第𝑖个样本的初始嵌入。生成过程采用单向重构方法，重点是为被掩蔽的样本重建语义表征。具体来说，掩码操作包括用指定的掩码标记（即[𝑀𝐴𝑆𝐾]）替换初始嵌入，并对用户/项目的随机子集进行掩码和随后的重建。这使我们能够探索语义特征空间内的重构能力
通过我们的对比和生成对齐方法，我们有效地将 LLM 知识与理解用户偏好的领域对齐。这是通过将基于 ID 的协作关系信号与基于文本的行为语义相结合来实现的。我们将这两种建模方法分别命名为 RLMRec-Con 和 RLMRec-Gen。
模型无关的学习
到目前为止，我们一直专注于优化 CF 端关系表示 e 和 LLM 端语义表示 s。因此，我们的方法与模型无关，可以无缝增强现有的协同过滤推荐器。假设推荐器 R 的优化目标用 LR 表示，那么我们的总体优化函数 L 可以表述如下：
最小化整体优化函数L对应于最大化前面提到的互信息。
总结
最后整理一下，这篇文章写的有一点难懂，后续可能要再仔细看看。
开始介绍了许多许多的数学知识，也没有看明白，不过最后提出了一个结论，在有文本辅助信息表示的情况下获得最佳的用户/物品表示相当于使得CF的表示与LLM生成的表示之间的互信息最大化。这部分是比较难理解的部分，需要多读几遍。
然后就是介绍LLM如何生成表示，首先使用LLM来构造物品和用户的画像。然后通过这些画像来生成用户和物品的表示。
最后需要进行密度比建模，这里把密度比建模转化为计算一下CF表示和LLM生成表示的相似度。这里感觉很怪，从互信息可以很容易联想到表示之间的相似度，不知道为啥引入一个密度比。
之后提出了两种建模密度比的方法，一种是对比式，一种是生成式，对比式是将LLM的语义表示映射到CF的表示上，然后进行相似度的计算，另一种生成式式在CF的表示上应用MAE，然后进行相似度的计算。感觉凑的有点牵强，不知道对比是体现在哪。
然后看图是比较清晰的，整篇文章最核心的思想其实就是进行CF域和文本域的互信息的最大化，后面的操作都是为这个思路服务的。
