摘要：
背景 为了解决推荐中的物品冷启动问题，在召回阶段中往往会增加一路使用内容多模态表征的i2i召回，这路召回由于只使用了纯内容的特征，和老物品便可以公平比较，不会产生因为新物品后验行为少而导致无法被召回的问题。在现有的多模态i2i召回方法在文本侧一般都是用一个BERT经过预训练后生成embedding然 阅读全文
摘要：
背景 目前主流的推荐模型都是ID-based，这种ID-based的模型依赖user合item的交互信息，无法利用item和user的多模态信息，对冷启动不友好。 随着近年来LLM的突破性进展, 业界也在不断探索LLM在推荐系统中的应用, 这里大概可以分成三类: 信息增强: 利用LLM为推荐系统提供 阅读全文
摘要：
Transformer不是编解码器都有的吗？为什么会发展出仅 解/编 码器模型？三者之间有什么不同？ 为什么现在的LLM都是Decoder only的架构？ 阅读全文
摘要：
LLM常见归一化方法 LayerNorm 在早期的研究中，批次归一化(Batch Normalization, BN)是一种广泛采用的归一化方法。然而，该方法难以处理可变长度的序列数据和小 批次数据。因此，相关研究提出了层归一化这一技术 ，针对数据进行逐层归一化。具体而言，层归一化会计算每一层中所有 阅读全文
摘要：
def inbatch_softmax_loss(user_pred_vector, item_pred_vector, item_id, labels): labels = tf.linalg.diag(tf.reshape(tf.ones_like(labels),[-1])) diff = t 阅读全文
摘要：
论文链接：HoME: Hierarchy of Multi-Gate Experts for Multi-Task Learning at Kuaishou 背景 论文指出现在的MMOE/PLE模型存在以下几个问题： 1. 专家崩溃：专家的输出分布存在显着差异，并且一些专家使用 ReLU 的零激活率 阅读全文
摘要：
模型结构：左边多个encoder结构堆叠 + 右边多个decoder结构堆叠 + Linear + softmax计算预估概率 encoder输入：词embedding和position embedding求和，shape是（batch，suqence len， input_dim） encoder 阅读全文
摘要：
#include <iostream> #include <vector> class DynamicArray { private: std::vector<int> arr; public: // 默认构造函数 DynamicArray() {} // 析构函数 ~DynamicArray() 阅读全文
摘要：
广告行业中那些趣事系列24：从理论到实践解决文本分类中的样本不均衡问题 阅读全文
摘要：
RecSys'24 | 腾讯广告NISE:使用非点击样本做CVR预估 阅读全文