随笔分类 - 推荐系统
摘要:1. 离线评估 (1)介绍 离线评估是最常用、最基本的。顾名思义就是:我们将模型部署于线上环境之前,在离线环境下进行的评估。由于不用部署到生产环境,“离线评估”没有线上部署的工程风险,也不会浪费宝贵的线上流量资源,而且具有测试时间短,可多组并行,以及能够利用丰富的线下计算资源等诸多优点。 (2)评估
阅读全文
摘要:参考资料 《深度学习推荐系统实战》 -- 极客时间,王喆
阅读全文
摘要:特征组合和特征交叉问题非常常见,特征的种类非常多,特征交叉的复杂程度也要大得多。解决这类问题的关键,就是模型对于特征组合和特征交叉的学习能力,因为它决定了模型对于未知特征组合样本的预测能力,而这对于复杂的推荐问题来说,是决定其推荐效果的关键点之一。 那特征交叉与深度学习模型的拟合能力有什么关系呢?以
阅读全文
摘要:1. 深度学习模型拟合能力更强 特征交叉方式中,点积等方式过于简单,在样本数据比较复杂的情况下,容易欠拟合。而深度学习可以大大提高模型的拟合能力,比如在 NeuralCF(神经网络协同过滤)模型中,点积层被替换为多层神经网络,理论上多层神经网络具备拟合任意函数的能力,所以我们通过增加神经网络层的方式
阅读全文
摘要:1. 协同过滤(CF) 1. 里程碑 2003年,Amazon发表论文《Amazon.com recommendations: item-to-item collaborative filtering》,不仅让Amazon的推荐系统广为人知,更让协同过滤成为今后很长时间的研究热点和业界主流的推荐模型
阅读全文
摘要:基础架构、特征工程、线上服务融会贯通 一张脑图比较大,加载比较慢。 参考资料 《深度学习推荐系统实战》 -- 极客时间,王喆
阅读全文
摘要:1. 高并发线上服务 1. 工业级推荐服务器功能 需要跟离线训练好的模型打交道,把离线模型进行上线,在线进行模型服务(Model Serving), 需要跟数据库打交道,把候选物品和离线处理好的特征载入到服务器 召回层、排序层、业务逻辑(结果多样性、流行度) AB 测试 2. 高并发推荐服务整体架构
阅读全文
摘要:1. Embedding是什么 Embedding 就是用一个数值向量“表示”一个对象(Object)的方法 解读1:左边例子,从 king 到 queen 的向量和从 man 到 woman 的向量,无论从方向还是尺度来说它们都非常接近。 解读2:右边例子也很典型,从 walking 到 walk
阅读全文
摘要:1. 特征与工程 (1)特征就是对具体行为的抽象,但是抽象过程会造成信息的损失 ① 因为具体的推荐行为和场景中包含大量原始的场景、图片和状态信息,保存所有信息的存储空间过大,我们根本无法实现。 ② 因为具体的推荐场景中包含大量冗余的、无用的信息,把它们都考虑进来甚至会损害模型的泛化能力。 (2)特征
阅读全文
摘要:1. 深度学习推荐系统基础概念 2. 从0到1搭建深度学习推荐系统 -- 开源项目Sparrow RecSys实操(以Mac为例) (1)安装Scala 2.11(务必是2.11大版本,否则与开源项目设置的版本号不匹配,会有执行失败的问题) brew update brew install scal
阅读全文
摘要:1. Facebook的深度学习推荐系统 2014年,Facebook发表了广告推荐系统论文GBDT+LR。严格意义上讲,这并不属于深度学习的范畴,但在当时,这种方式进行特征的自动组合和筛选,开启了特征工程模型化、自动化的新阶段。并且其在2014年就采用的在线学习、在线数据整合、负样本降采样等技术至
阅读全文
摘要:物品冷启动评价指标 物品冷启动目标 精准推荐:新物品的推荐效果往往比较差 激励发布:新物品得到较多流量后,更容易激励作者。 挖掘高潜:从新物品中挖掘高质量物品。 评价指标 作者指标:发布渗透量、人均发布量等 用户指标:新笔记的交互率、大盘指标(比如日活、月活、时长) 内容指标:新物品中的高热笔记占比
阅读全文
摘要:重排是精排的后处理操作。 物品多样性 相似度度量 基于物品属性标签 基于物品向量表征 (1)双塔模型的物品塔,但是因为头部效应问题导致学不好物品向量表征 (2)基于图文内容学习 CLIP - 基于图文内容的物品向量表征 原理 对于图片-文本二元组数据进行对比学习,预测图文是否匹配。优点是:无需人工标
阅读全文
摘要:简单平均 lastN特征 把用户最近n次交互的物品Embedding向量取平均,作为一个用户特征使用。 适用于召回双塔模型、粗排三塔模型、精排模型。 DIN 原理 本质:用加权平均代替平均,也就是注意力机制。 注意力机制不适用于召回双塔和粗排三塔。因为需要用到候选物品,而用户塔看不到候选物品。 缺点
阅读全文
摘要:精排 - 多目标模型 简单的多目标模型 模型结构 损失函数和训练 问题 数据集通常是类别及不平衡的,比如总共1000次曝光,其中只有100次点击,10次收藏,收藏次数对于曝光来说相差极大。 解决方案:通常使用负样本降采样的方法。 预估校准:负样本降采样之后,就改变了各个目标的实际分布,所以模型的预估
阅读全文
摘要:ItemCF召回 ItemCF原理 用图表示为: 物品相似度计算方法 \[sim(i_1, i_2) = \frac{|V|}{\sqrt{|W_1| ·
阅读全文