Divide and Conquer: Towards Better Embedding-based Retrieval for Recommender Systems From a Multi-task Perspective

Zhang Y., Dong X., Ding W., Li B., Jiang P. and Gai K. Divide and Conquer: Towards better embedding-based retrieval for recommender systems from a multi-task perspective. In International World Wide Web Conference (WWW), 2023.

获得了表示之后, 最常见的做法是通过 ANN (Approximate Nearest Neighbor) 方法来找到最相似的一组表示用于推荐. 这种方式导致训练的低效和推理的不可控, 本文将 items 按照语义进行划分, 得到不同的 clusters, 然后每一类进行匹配.

符号说明

  • U, user;
  • I, item;
  • eu,ei, embeddings;

本文方法

  • 一般来说, 我们根据 user, item 的历史交互和特征得到特征表示, 比如 SASRec:

    eu=f(xu)=Transformer([s1u,s22,,snu]),

    这里 siu 表示用户历史交互的 item 的 embeddings.

  • 对于 eu, 我们通常计算它和其它的 items 的内积然后筛选出得分最高的一批作为候选的推荐. 然而这种在全部 items 上训练和筛选的方式存在一下问题:

    1. 训练的时候, 我们通常需要采样负样本, 然后由于 items 过多, 采样出和 positive 相关的负样本是困难的;
    2. 推断的时候, 采用 ANN 的近似方式难以获得具有多样性的推荐结果, 整体的推荐是不可控的.
  • 于是本文希望首先根据语义 (Word2Vec + K-means) 进行聚类得到:

    I={C1,C2,,CK}.

    然后采用如下损失进行学习:

    L=k=1KuUi+IuCk[log(σ(rui+))+EiCkIu[log(1σ(rui))]].

    这里 rui 表示 user, item 的内积.

  • 显然:

    1. 同一个类内语义相似, 故而正样本和负样本的之间联系更加紧密;
    2. 此类方法可以增加多样性: 我们可以每个类选择中选择部分推荐 items, 然后综合起来. (每个类选择多少可以根据用户的特征学习).
  • 此外, 为了适应不同的类, 作者采用类似 Prompt 的方式对模型进行改进:

    eu=f(xu)=Transformer([s1utk,s22tk,,snu]tk),

    这里 tk 是第 k 个类的 embedding, 表示哈达玛积.

posted @   馒头and花卷  阅读(144)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
历史上的今天:
2021-03-28 Improving Variational Auto-Encoders using Householder Flow
点击右上角即可分享
微信分享提示