Prompt4NR论文阅读笔记

Prompt Learning for News Recommendation论文阅读笔记

Abstract

​ 最近的一些新闻推荐（NR）方法引入了预训练语言模型（PLM），通过精心设计的推荐专用神经网络和目标函数，遵循虚构的预训练和微调范式来编码新闻表征。由于任务目标与 PLM 的任务目标不一致，我们认为他们的建模范式没有很好地利用预训练过程中蕴含的丰富语义信息和语言知识。

​ 近年来，被称为提示学习的预训练、提示和预测范式在自然语言处理领域取得了许多成功。在本文中，我们首次尝试了这种新范式，以开发一个新闻推荐提示学习（Prompt4NR）框架，该框架将预测用户是否会点击候选新闻的任务转换为一个阻塞式的mask预测任务。具体来说，我们设计了一系列的提示模板，包括离散的、连续的和混合模板，并构造了它们相应的答案空间来检查所提出的Prompt4NR框架。此外，我们使用提示集成来集成来自多个提示模板的预测。

Introduction

​ 神经新闻推荐，预训练和微调的语言模型推荐以及本文提出的Prompt4NR之间的区别：

​ 在现有的许多神经模型中，大多采用静态词嵌入（如 Word2Vec和 Glove）作为模型训练的初始化，主要侧重于挖掘 NR 数据集中的域内信息，却忽略了现实世界大规模语料库中丰富的语义和语言信息。

​ 最近的一些方法更进一步，引入了预训练语言模型（PLM）来学习新闻表征。我们总结了这些方法的共同点，即使用虚构的预训练和微调范式来调整下游 NR 任务。在这一范例中，PLM 仅用作新闻编码器，而另一个神经网络则用于编码用户。使用特定于 NR 的目标函数来训练整个模型。虽然这些方法显示出了很好的性能改进前景，但由于下游 NR 目标与 PLM 训练目标不一致，它们并没有很好地利用大规模 PLM 中丰富的百科全书式知识。

​ 最近，一种名为 "提示学习"（prompt learning）的新型预训练、提示和预测范式在自然语言处理（NLP）领域的许多应用中取得了显著成功。这种新范式的基本原理是通过设计与任务相关的提示模板和答案词空间，将下游任务重新表述为 PLM 训练任务。鉴于其巨大的潜力，我们也有兴趣研究提示学习范式在 NR 领域的适用性和有效性。据我们所知，本文首次尝试并提出了新闻推荐提示学习（Prompt4NR）框架。

​ 图1(c)说明了我们的Prompt4NR框架的设计理念，其中我们建议将一个NR任务转换为一个封闭的mask预测任务。特别是，给定一个用户的历史点击记录𝐻𝑢={𝐷1，𝐷2，...，𝐷𝐿}和候选新闻𝐷𝑐，我们首先将𝐻𝑢转换为一个句子，表示为，以便从历史中编码用户的兴趣。我们还将𝐷𝑐转换为一个句子，表示为候选新闻的。然后我们设计了一个提示模板𝑇（，），用[MASK]标记将两个句子连接到另一个句子中。在传递一个屏蔽语言模型（MLM）后，设计一个与模板对应的答案空间来预测[MASK]，然后将其转换为一个排名分数，以确定是否应该向用户推荐这个候选新闻。

​ 在本文中，我们就 Prompt4NR 的核心设计问题如何影响推荐性能进行了一系列研究。其中包括

(1) Template： 什么样的模板更适合整合 NR 领域的新闻数据和用户行为？

(2) Verbalizer： 如何将推荐标签映射到答案词以进行[MASK]预测？

(3) Ensemble： 能否整合不同模板的优势以提高性能？

​ 对于Template，我们从NR任务中和之间最感兴趣的四个方面（包括语义相关性、用户情感、用户行为和推荐效用）出发，设计了三种模板，包括离散模板、连续模板和混合模板。

​ 对于verbalizer，我们根据模板构建一个二元答案空间，其中包含两个意义相反的答案词，对应于用户是否点击候选新闻的真实标签。

​ 对于ensemble，我们使用多提示集合对来自不同模板的预测进行决策融合。

Method

​ Prompt4NR的框架如下：

​ 我们首先提出NR的定义，然后介绍我们的Prompt4NR框架。然后，我们解释了训练策略和多提示集成。

​ 图 2 展示了我们的 Prompt4NR 框架，它包含三个主要模块：

​ (1) NR 数据格式转换；

​ (2) 提示模板；

​ (3) 答案预测和verbalizer。

NR数据格式转换

​ 给定点击历史记录𝐻𝑢和候选新闻𝐷𝑐，我们将它们转换成自然语言句子，以适应后续的提示学习范式，分别记为 和 。对于 ，我们将用户历史记录𝐻𝑢中的新闻标题连接起来，在每个标题的开头添加一个虚拟标记 [NCLS]，以分割每条被点击的新闻。对于 ，我们采用候选新闻的标题𝐷𝑐。我们将其正式表示为:

$<USER>\leftarrow[NCLS]Title_1...[NCLS]Title_L\\<CANDIDATE>\leftarrow Title_c$

Prompt模板

​ 作为Prompt4NR的核心组件，提示模板$T(\cdot)$包装输入数据（，），将NR任务转换为一个封闭风格的任务来预测[MASK]：

$x_{prompt}=T(\text{<USER>,<CANDIDATE>,[MASK])}$

​ 作为首个在 NR 任务中利用提示学习的工作，我们有兴趣了解什么样的提示模板最有利于提高推荐性能。为此，我们从如何捕捉用户和候选新闻之间匹配信号的不同角度出发，设计了三种模板，包括离散模板、连续模板和混合模板。表 1 总结了我们设计的提示模板。接下来我们将介绍这些模板背后的设计思路。

离散模板

​ 离散模板是即时学习中最常见的模板工程类型，通过人类可解释的自然语言形成输入数据，这需要一些先验的经验知识。我们从四种不同的考虑因素中设计了四个离散的模板，其中每个模板都对应于一种方法来测量用户的兴趣和候选新闻之间的匹配信号。也就是说，我们探索哪种风格的[MASK]阻塞作为相似性度量适合于NR任务。

• 语义相关性：这是为了检查相关的新闻内容是否是用户阅读新闻的核心动机。换句话说，用户是否对某些特定的主题和内容有一种持久的兴趣。为此，我们将NR任务转换为和之间的相关性，答案词被选择为“相关”和“不相关”
• 用户情绪：这是为了研究用户对新闻的情感反应是否是影响最大的因素。换句话说，用户选择阅读一则新闻，是因为这则新闻能够满足用户的大部分情感需求。我们用 "有趣 "和 "无聊 "这两个情感词汇作为答案，来估算用户对的情感反应。
• 用户操作：这是为了研究一个MLM是否可以直接作为一个点击预测器。换句话说，利益引导行动，而行动反映了兴趣。在告诉MLM和后，我们让MLM直接预测用户是否会点击新闻，答案是“是”和“否”
• 推荐的实用性：这是为了探索一个MLM本身是否能够对推荐一个候选新闻的潜在优点和缺点做出判断，即做出这样的建议的效用。为此，我们用一个利用率问题提示MLM，答案是“好”和“坏”作为推荐实用程序预测。

​ 上述模板虽然在模板句子和答案词上似乎只有一些差异，但我们希望通过预定义的自然句子和预选的答案词来利用大型百科全书式 PLM 中蕴含的语义和语言学知识。

​ 一方面，我们注意到这是提示学习范式的核心理念，即从 PLM 词汇中预测答案词的概率，就好像在大型语料库中插入特定任务的输入句子来训练 PLM 一样。

​ 另一方面，这种人工设计的模板虽然具有精心设计的自然句子，但显然不能穷尽所有可能的情况。因此，我们可以使用一些虚拟标记在模板（即连续模板）中多搜索一些案例。

连续模板

​ 表 1 列出了我们设计的四个连续模板，每个模板对应一个离散模板。我们在 、 和 [MASK] 前面添加了一些虚拟的可学习标记，分别表示为 [𝑃1]... [𝑃𝑛1]、[𝑄1]...[𝑄𝑛2]和[𝑀1]...[𝑀𝑛3]，其中𝑛1、𝑛2、𝑛3 是虚拟token的数量。至于答案词和标记位置的设置，我们参考以前的离散模板。虽然连续模板为模型提供了更大的自由度，但这些虚拟令牌的嵌入是随机初始化的，可能会带来一些模糊性，导致 PLM 知识利用不足。我们进一步设计了一种混合模板，试图将离散模板和连续模板的优点结合起来。

混合模板

​ 在混合模板中，我们保留了和前面的虚拟标记[𝑃𝑖]和[𝑄𝑗]，目的是自动搜索合适的格式将这些信息呈现给PLM。我们用自然语言代替这些虚拟标记[𝑀𝑘]，并使用[MASK] 标记进行答案预测。如表 1 所示，我们仍然设计了四个有代表性的自然句子，每个句子都与我们的设计考虑因素之一相对应。因此，混合模板由连续模板、[SEP] 标记和自然句子组成。与连续模板相比，我们认为这种混合模板既能利用连续模板中的虚拟标记提供更多选择，又能利用离散模板中的自然句子指引答案方向。

回答预测器和Verbalizer

​ 给定点击历史记录𝐻𝑢 和候选新闻𝐷𝑐，它们对应一个真实标签𝑦∈{0, 1}，反映用户是否点击了候选新闻（𝑦 = 1）或没有点击（𝑦 = 0）。我们设计了一个verbalizer $𝑣(\cdot)$，将标签映射到 PLM 词汇表 W 中的两个答案词，具体如下：

$v(y)=\begin{cases}w_{pos},&y=1,\\w_{neg},&y=0,\end{cases}$

​ 其中，$W_{a}=\{w_{pos},w_{neg}\}\subset\mathcal{W}$为回答词空间，根据所使用的提示模板可以有所不同。NR任务被转换为一个封闭式的任务，由预先训练的MLM $M$（例如BERT）来预测回答单词成为[MASK]的概率：

$P(y|H_u,D_c)=P_M\left([MASK]=v(y)|x_{prompt}\right)$

​ $P_\mathcal{M}\left([MASK]=v(y=1)|x_{prompt}\right)$可视为是否推荐当前候选新闻的信心值。我们用它作为排名得分来形成推荐列表。我们注意到，本文考虑的是两个 PLM 词汇的简单答案空间构造。我们将在今后的工作中研究包含更多词汇甚至虚拟答案的更复杂的答案空间构造。

训练

​ 与通过预训练和微调范式训练其他特定任务的神经模型相比，我们的 Prompt4NR 模型只需调整 PLM 的参数。我们采用交叉熵损失函数来训练我们的模型：

$\mathcal{L}=-\frac1N\sum_{i=1}^N\left[y_i\log P_i+(1-y_i)\log(1-P_i)\right],$

多提示的集成

​ 不同的模板可能具有不同的优势，因为它们各自侧重于特定的设计考虑因素，从而导致对 PLM 中语言和语义知识的不同利用。多提示组合融合了单个提示的预测结果，从而提高了最终决策的成功率。由于我们事先不知道哪个模板更好，因此我们只需将每个提示中肯定答案词的概率相加作为最终排名得分：

$\hat{y}=\sum_{e\in\mathcal{E}}P_e,$

​ 在本文中，我们考虑了两种多提示集合。一种是融合同一类型模板的预测，其中 E = {相关性、情感、行动、效用}。也就是说，离散组合是将四个离散模板的预测融合在一起。另一种是融合不同类型模板的预测，称为交叉类型集合。