PNMTA: A Pretrained Network Modulation and Task Adaptation Approach for User Cold-Start Recommendation阅读笔记
动机
本文是2022年WWW上的一篇论文。最近很多工作将用户冷启动问题视为一个小镜头问题，并通过MAML方法寻求解决方案。但是MAML通常是为所有冷启动用户学习到一个初始化表示，而用户的偏好分布是不同的，这就导致该初始化表示很难适用于每个用户。针对以上问题，本文提出了PNMTA，该方法主要是加入了编码调制器和预测器调制器，使得编码器和预测器可以自适应处理冷启动用户。
下面一张图可以形象地说明本文与普通MAML方法的不同。
方法
PNMTA框架如下图。
组件
编码器
将用户和物品的属性embedding连接起来。
对于一个任务的表示
预测器
调制器
对于编码器的调制，有
其中
对于解码器（通常是MLP），对于第l层网络有
优化
预训练
在预训练阶段，通过编码器得到一个(用户，物品)的embedding向量，再通过预测器获取预测评分。
然后计算均方误差损失函数
之后进行梯度下降更新编码器和预测器参数
预训练的伪代码如下。
元训练
在元自适应阶段，固定编码器的参数，其余组件的参数进行初始化。对于每个任务，将数据划分为查询集和支持集
。
之后类似于预训练，将用户物品对输入进编码器，再将得到的结果输入预测器，预测器参数进行更新。
之后在查询集上进行相同的步骤计算损失，更新参数。这里预测器的参数的更新是一个二阶梯度。
元训练的伪代码如下。
实验结果
作者在两个数据集上做了实验，本文提出的模型取得最佳效果。
结果
本文重点在于两个调制器，其实这种调制器的方法在之前论文中也看到过相同的思想，例如MAMO，CMML。因为MAML方法是生成一个较好的初始表示，所有冷启动用户都用这个值进行优化，但是用户的偏好分布是不同的，这个值并不能让所有用户都能在很少的更新后适应推荐系统，利用调制器可以为每个用户生成更好的初始值。这种利用调制器的思想是值得借鉴的。
