合集-深入学习推荐系统
摘要:1. 深度学习推荐系统基础概念 2. 从0到1搭建深度学习推荐系统 -- 开源项目Sparrow RecSys实操(以Mac为例) (1)安装Scala 2.11(务必是2.11大版本,否则与开源项目设置的版本号不匹配,会有执行失败的问题) brew update brew install scal
阅读全文
摘要:1. 特征与工程 (1)特征就是对具体行为的抽象,但是抽象过程会造成信息的损失 ① 因为具体的推荐行为和场景中包含大量原始的场景、图片和状态信息,保存所有信息的存储空间过大,我们根本无法实现。 ② 因为具体的推荐场景中包含大量冗余的、无用的信息,把它们都考虑进来甚至会损害模型的泛化能力。 (2)特征
阅读全文
摘要:1. Embedding是什么 Embedding 就是用一个数值向量“表示”一个对象(Object)的方法 解读1:左边例子,从 king 到 queen 的向量和从 man 到 woman 的向量,无论从方向还是尺度来说它们都非常接近。 解读2:右边例子也很典型,从 walking 到 walk
阅读全文
摘要:1. 高并发线上服务 1. 工业级推荐服务器功能 需要跟离线训练好的模型打交道,把离线模型进行上线,在线进行模型服务(Model Serving), 需要跟数据库打交道,把候选物品和离线处理好的特征载入到服务器 召回层、排序层、业务逻辑(结果多样性、流行度) AB 测试 2. 高并发推荐服务整体架构
阅读全文
摘要:基础架构、特征工程、线上服务融会贯通 一张脑图比较大,加载比较慢。 参考资料 《深度学习推荐系统实战》 -- 极客时间,王喆
阅读全文
摘要:1. 协同过滤(CF) 1. 里程碑 2003年,Amazon发表论文《Amazon.com recommendations: item-to-item collaborative filtering》,不仅让Amazon的推荐系统广为人知,更让协同过滤成为今后很长时间的研究热点和业界主流的推荐模型
阅读全文
摘要:1. 深度学习模型拟合能力更强 特征交叉方式中,点积等方式过于简单,在样本数据比较复杂的情况下,容易欠拟合。而深度学习可以大大提高模型的拟合能力,比如在 NeuralCF(神经网络协同过滤)模型中,点积层被替换为多层神经网络,理论上多层神经网络具备拟合任意函数的能力,所以我们通过增加神经网络层的方式
阅读全文
摘要:特征组合和特征交叉问题非常常见,特征的种类非常多,特征交叉的复杂程度也要大得多。解决这类问题的关键,就是模型对于特征组合和特征交叉的学习能力,因为它决定了模型对于未知特征组合样本的预测能力,而这对于复杂的推荐问题来说,是决定其推荐效果的关键点之一。 那特征交叉与深度学习模型的拟合能力有什么关系呢?以
阅读全文
摘要:参考资料 《深度学习推荐系统实战》 -- 极客时间,王喆
阅读全文
摘要:1. 离线评估 (1)介绍 离线评估是最常用、最基本的。顾名思义就是:我们将模型部署于线上环境之前,在离线环境下进行的评估。由于不用部署到生产环境,“离线评估”没有线上部署的工程风险,也不会浪费宝贵的线上流量资源,而且具有测试时间短,可多组并行,以及能够利用丰富的线下计算资源等诸多优点。 (2)评估
阅读全文