TempRec论文阅读笔记

Is News Recommendation a Sequential Recommendation Task?论文阅读笔记

Abstract

现存的问题：

​ 新闻推荐通常被建模为顺序推荐任务，假定历史点击新闻存在丰富的短期依赖关系。然而，用户通常对新闻信息的时间多样性有很强的偏好，可能不会倾向于连续点击相似的新闻，这与电子商务推荐等许多顺序推荐场景有很大不同。

提出方法：

​ 在本文中，我们研究了新闻推荐是否可以被视为一个标准的顺序推荐问题。通过在两个真实世界数据集上进行大量实验，我们发现将新闻推荐作为传统的顺序推荐问题建模并不理想。为了解决这个问题，我们进一步提出了一种时间多样性感知的顺序新闻推荐方法，它可以推广与最近点击的新闻不同的候选新闻，以帮助更准确地预测未来的点击量。实验表明，我们的方法可以增强各种新闻推荐方法的能力。

Introduction

​ 现有顺序新闻推荐方法的一个核心假设是，历史行为存在丰富的短期依赖关系，未来行为也可能与最近的过去行为相关。虽然这一假设被广泛应用于电子商务推荐 和电影推荐等许多顺序推荐场景，但我们发现，由于用户偏好新闻信息的时间多样性（即新颖性），这一假设在新闻推荐场景中可能并不成立。新闻推荐中独特的时间多样性偏好特征挑战了顺序推荐方法的基本假设，从而提出了传统顺序推荐方法是否适用于新闻推荐的问题。

​ 本文研究了新闻推荐是否适合建模为顺序推荐任务。通过在两个新闻推荐数据集上的大量实验，我们发现现有新闻推荐方法所使用的许多主流序列建模技术都不是最优的，这表明将新闻推荐建模为传统的序列推荐问题是次优的。为了解决这个问题，我们提出了一种时间多样性感知的新闻推荐方法，命名为 TempRec，它鼓励推荐与最近点击的新闻不同的候选新闻。更具体地说，我们使用共享的顺序无关变换器从所有历史新闻点击中学习全局兴趣嵌入，并从最近的几次点击中学习最近的兴趣嵌入。点击得分由候选新闻与全局兴趣嵌入之间的正相关性以及候选新闻与近期兴趣嵌入之间的负相关性的可学习加权求和计算得出。实验结果表明，TempRec 可以改进许多现有的新闻推荐方法。

​

序列新闻推荐

​ 经典的序列新闻推荐的框架如下：

关于顺序推荐模型的实验

数据集和实验设置

​ 使用了MIND和APP数据集，使用Glove来初始化词嵌入，以及其他的一些实验设置见原始论文

性能对比

​ 比较了三种模型，一种是GRU4Rec，采用了GRU网络进行建模，一种是SASRec，使用自关注网络进行建模，一种是BERT4Rec，使用Transformer进行建模。实验结果见原始论文。

​ 经过实验发现在BERT4Rec中，加入位置嵌入没有带来明显的性能提升。这表明，在新闻推荐中，位置信息对于了解用户兴趣可能并不十分重要。其次，在新闻推荐中，因果自我关注不如双向自我关注。这表明，在用户建模时，最好在点击新闻序列中同时建模过去和未来信息。第三，我们发现使用逆序列不会导致显著的性能差异）。由于递归模型通常更关注最新的步骤，这意味着在新闻推荐中，最近的新闻点击在预测未来点击方面并不比较早的点击更有参考价值，这可能是由于用户的时间多样性偏好和稳定的长期兴趣的影响。此外，非常有趣的是，随机洗牌点击序列甚至可以略微提高某些顺序敏感模型的性能。这可能是因为模型能从洗牌序列中更好地捕捉到用户的整体兴趣。这些结果表明，新闻推荐可能不适合用传统的顺序推荐方法来处理，因为传统的顺序推荐方法严重依赖于行为的短期顺序依赖性。

时间多样性感知的序列新闻推荐

​ 根据前一节的实验结果和分析，使用顺序模型处理点击新闻序列进行新闻推荐并不是最佳选择。为了应对这一挑战，我们提出了一种新颖的时间多样性感知新闻推荐方法，名为 TempRec，它可以考虑新闻推荐的时间多样性特性，从而做出更准确的推荐结果，TempRec的框架如下：

​ TempRec 中有两个并行Transformer。其中一个用于处理整个点击新闻序列，目的是捕捉全球用户的兴趣。另一个用于处理最近的K个新闻点击，目的是捕捉最近的用户兴趣。我们将它们学习到的隐藏新闻表示序列分别表示为\(\mathbf{H}=[\mathbf{h}_1,\mathbf{h}_2,...,\mathbf{h}_N]\)和\(\mathbf{H'}=[\mathbf{h}_{N-K+1}^{\prime},...,\mathbf{h}_{N}^{\prime}]\)，然后，我们使用两个注意力网络在两个序列中选择重要的新闻点击，从 H 中学习全局兴趣嵌入 u𝑔，并从 H ′ 中学习近期兴趣嵌入 u𝑟。由于未来点击的新闻可能与最近点击的新闻不同，我们提出了一种时间多样性感知的点击预测方法，以帮助更准确地预测新闻点击。更具体地说，我们根据候选新闻嵌入和全局兴趣嵌入之间的相关性计算全局相关性得分 \(\hat{y_g}=u_g\cdot r^c\)它指示候选新闻是否符合用户的总体兴趣。此外，我们通过\(\hat{y}_r = \mathbf{u}_r\cdot\mathbf{r}^c\)计算最近相关性得分\(\hat{y}_r\)，该得分表示候选新闻与最近点击行为之间的相关性。统一点击得分\(\hat{y}\)是两个得分的线性组合，其公式如下：

\(\hat{y}=\hat{y}_g-\max(w,0)\hat{y}_r,\)

​ 这样，该模型就能鼓励推荐与最近点击的新闻不同的新闻，从而更好地满足用户对新闻信息时间多样性的需求。

总结

​ 整体来看这篇文章讲的还是很清晰的，这里就贴一下原文的conclusion

​ 在本文中，我们研究了一个有趣而重要的问题，即新闻推荐是否适合建模为顺序推荐。通过在两个真实世界数据集上的广泛实验，我们发现许多主流序列模型在新闻推荐中都不是最优的，因为用户对推荐结果的时间多样性有强烈的潜在偏好，导致新闻推荐不满足序列推荐的基本假设。为了解决这一难题，我们提出了一种时间多样性感知的顺序新闻推荐方法，名为 TempRec，它可以考虑用户新闻点击行为的时间多样性特性，从而做出更好的推荐。在两个数据集上的实验结果验证了 TempRec 的有效性和通用性。