Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations

目录

• 概
• GRs (Generative Recommenders)
  • 任务形式
  • 模型设计
• 代码

Zhai J., Liao L., Liu X., Wang Y., Li R., Cao X., Gao L., Gong Z., Gu F., He M., Lu Y. and Shi Y. Actions speak louder than words: Trillion-parameter sequential transducers for generative recommendations

概

本文介绍了一种推荐大模型的框架的训练方法.

GRs (Generative Recommenders)

任务形式

• 如上图所示, DRs 这里把 E/F, G, H 分别进行 merge and sequentialize, 这里 (E, F) 表示哪些用户的交互行为, merge 后得到的是 $(\Phi, a, t)$: (Context, action, timestamp), 二 G, H 则是一些 "not related to user-content engagements".

• 对于 ranking, 作者设计的任务是:

  $$P(a_{i}| \Phi_{i}, a_{i-1}, \ldots, a_0, \Phi_0),$$

  即通过过往的信息预测下一个 action.

• 对于 retrieval, 作者设计的任务是仅对那些 $a_i$ 为 positive 的情况进行:

  $$P(\Phi_{i}| a_{i-1}, \Phi_{i-1}, \ldots, a_0, \Phi_0).$$

  negative 的 action 不进行预测.

模型设计

• 作者为了兼顾效率, 特别改进了模型框架:

• 注意到, 其中的每个模块变成了:

o

• 虽然形式上和 attention 还是比较像的, 但是注意到:
  1. $Q(X) K(X)^T$ 并没有经过 softmax 处理, 作者认为这样除了效率外, 还能够保证不同的参与度能够有所区分;
  2. $U(X)$, 门控机制的引入 (作者用来模拟 MoE).

• 可以发现, softmax 这个点的影响很大.

• 此外, 还有数据集的切分, 优化器的选择等等.

虽然最后的效果并没有特别夸张, 但是这些尝试是值得肯定的.

代码

[official]