xd_xumaomao

摘要： 背景 这里是阿里继SIM之后提出的长序列建模方法，虽然SIM能够处理上万甚至几十万的序列长度，但是也面临几方面的问题： 目标不一致：GSU建立索引使用的item embedding不是SIM模型生成的，可能是预训练的，也有可能是直接拿item的类别建立的索引，比如是拿家电、女装、生鲜这样的类别 更新 阅读全文

摘要： 背景 论文指出，SASRec 和 基于RNN的序列推荐模型存在以下几个限制： 只利用了单向的信息进行建模，单向结构限制了用户行为序列中隐藏表示的能力 假定存在一个严格有序的序列，但这并非总是可行的 为了解决这些局限性，论文提出了一种名为 BERT4Rec 的序列推荐模型，该模型采用深度双向自注意力机 阅读全文

摘要： 背景 这里阿里2019 kdd提出的长序列建模论文，在阿里电商场景下，其中90%特征都是序列特征，且建模的序列长度为1000时比序列长度为100时auc能带来0.6%的提升。但是长序列建模受到了存储和延迟的双重制约 论证主要有两点贡献： 从服务系统的角度来看，论文通过设计一个名为 UIC（用户兴趣中 阅读全文

摘要： 背景 DIN这种序列建模方式由于时间复杂度的问题（O（nd）），序列长度最多只能到几百，如何能建模更长的用户行为序列呢？ 作者通过观察发现，用户的行为序列由多个session组成，session是根据时间划分出来的用户行为（比如说可以根据用户浏览时间划分session，若用户30分钟没有浏览记录时， 阅读全文

摘要： 背景 DIN的成功在于采用了attention的方式根据不同的候选，动态的把注意力集中在和候选相关的行为中，但是DIN没有考虑用户行为之间的相关性，以及行为的先后顺序，物品行为的先后顺序常常表示了用户的兴趣的变化趋势。DIEN 通过引入GRU结构来捕捉用户行为之间的相关性以及用户兴趣的进化趋势。 方 阅读全文

摘要： 这篇论文和DIN最大区别就是把target-attention部分替换成了transformer encoder结构，相对于DIN的优点是DIN只考虑了target-item和序列litem之间的相似性，而transformer对序列内部的关系进行了建模 整体的模型结构如下图所示： 阅读全文

摘要： 背景 用户是否点击一个物品可能受长期兴趣和短期行为的影响，用户的长期兴趣一般比较稳定，短期兴趣会不断变化。现有的工作中对长期兴趣和短期兴趣的建模师混合在一起的，这片论文提出了一种对长期兴趣和短期兴趣分开建模的方法。 方法 用户兴趣建模 U：用户属性，包含了用户ID和行为序列 Ul：用户的长期兴趣表示 阅读全文

摘要： 背景 这是阿里2019年发表的一篇用于召回阶段的序列建模论文，这篇论文主要解决了两个问题： 1. 用户可能有多个兴趣（这篇论文的多个兴趣是指用户是否购买一个商品可能会受颜色、品牌、店铺等多个因素影响），如何建模多个兴趣 2. 用户的兴趣可以分为短期兴趣（当前session），长期兴趣，如何同时建模长 阅读全文

摘要： 训练：对label分桶 serving：落在每个桶的概率*桶均值 阅读全文

摘要： 背景 现在大部分召回模型都是把用户表示为一个embedding，但一个embedding很难捕获用户多方面的兴趣，MIND是阿里提出的用于召回阶段的多兴趣建模论文，这篇论文把用户表示成了多个兴趣向量 方法 MIND的模型结构如上图所示，主要包含3个layer： Embedding & Pooling 阅读全文