Towards Universal Sequence Representation Learning for Recommender Systems

目录

• 概
• 符号说明
• UniSRec
  • 统一的文本表示
  • 统一的序列表示
  • Parameter-Efficient Fine-tuning
• 代码

Hou Y., Mu S., Zhao W. X., Li Y., Ding B. and Wen J. Towards Universal Sequence Representation Learning for Recommender Systems. KDD, 2022.

概

本文提出了一个用 text 替代 ID 的序列模型.

符号说明

• $[w_1, \ldots, w_c]$, item text;
• $\tau$, temperature;
• $B$, batch size.

UniSRec

统一的文本表示

• 首先, 我们用预训练模型 (e.g., BERT) 来得到 item 的一个统一表示:

  $$x_i = \text{BERT}([\text{CLS}]; w_1, \ldots, w_c),$$

  其中 $[\text{CLS}]$ 是一个特殊的 token, 最后 $x_i$ 就是取的 $[\text{CLS}]$ 位置的 emedding.

• 接下来, 进行 Parametric whitening, 这被证明能够提高 embedding 的质量, 不同之处在于, 作者这里采用可学习的 ($\bm{b}, \bm{W}_1$):

  $$\tilde{\bm{x}}_i = (\bm{x}_i - \bm{b}) \cdot \bm{W}_1.$$

• Domain Fusion and Adaptation. 为了是的 UniSRec 能够拓展到不同的 domain 上, 作者利用 MoE 进行 fusion:

  $$\bm{v}_i = \sum_{k=1}^G g_k \cdot \tilde{\bm{x}}_i^{(k)}, \\ \bm{g} = \text{Softmax}(\bm{x}_i + \bm{W}_2 + \bm{\delta}), \\ \bm{\delta} = \text{Norm}( \text{Softplus}( \bm{x}_i \cdot \bm{W}_3 ) ).$$

统一的序列表示

• 通过 transformer 进行序列建模 $\bm{s}$.

• 训练的时候, 假设一个 batch 有 $\{\langle \bm{s}_1, \bm{v}_1 \rangle, \ldots \langle \bm{s}_B, \bm{v}_{B} \rangle\}$, 设计如下的 sequence-item 对比损失:

  $$\ell_{S-I} = -\sum_{j=1}^B \log \frac{ \exp(\bm{s}_j \cdot \bm{v}_j / \tau) }{ \sum_{j'=1}^B \exp(\bm{s}_j \cdot \bm{v}_{j'} / \tau) }.$$

• 此外, 还有一个 sequence-sequence 的对比损失, 旨在区分来自不同 domain 的序列:

  $$\ell_{S-S} = -\sum_{j=1}^B \log \frac{ \exp( \bm{s}_j \cdot \bm{\tilde{s}}_j / \tau) }{ \sum_{j'=1}^B \exp( \bm{s}_j \cdot \bm{s}_{j'} / \tau) },$$

  其中 $\tilde{\bm{s}}_j$ 是通过 Item/Word drop 后得到的另一个 view.

• 于是预训练的损失为:

  $$\mathcal{L}_{PT} = \ell_{S-I} + \lambda \ell_{S-S}.$$

Parameter-Efficient Fine-tuning

• 想要扩展到一个新的 domain 很简单, 只需要微调 MoE adaptor 就可以了.

代码

[official-code]