工业级推荐系统 思维导图

工业级推荐系统 思维导图

基础架构

深度学习推荐系统的经典技术架构

 

Netflix 的推荐系统的经典架构图

Sparrow RecSys

Sparrow Recsys的推荐系统架构

 

分为三个模块：数据、模型和前端。都用业界推荐系统的主流技术，数据用 Spark，Flink 进行样本和特征的处理，模型用 TensorFlow 训练深度神经网络、Wide&Deep、PNN 等模型

Sparrow Recsys中的技术点

 

深度学习基础

 

特征工程

推荐系统有哪些可供利用的特征

可被划分到“用户行为”“用户关系”“属性标签”“内容数据”“场景信息”这五个类别，而且挑选特征的方法也遵循着“保留有用信息，摒弃冗余信息”的原则

如何利用Spark解决特征处理问题

 

用 Embedding 方法进行相似物品推荐

Embedding 就是用一个数值向量“表示”一个对象的方法。Word2vec 是生成对“词”的向量表达的模型。在训练完成后，模型输入向量矩阵的行向量，就是我们要提取的词向量。Item2vec是 Word2vec 在任意序列数据上的推广

如何利用图结构数据生成Graph Embedding

 

如何使用Spark生成Item2vec和Graph Embedding

 

线上服务

如何在线上提供高并发的推荐服务

推荐系统技术架构图

 

如何用Redis解决推荐系统特征的存储问题

SparrowRecsys的存储方案

 

如何快速又准确地筛选掉不相关物品

召回层的功能特点和实现方法

如何在常数时间内搜索Embedding最近邻

 

怎样把你的离线模型部署到线上

 

推荐模型

最经典的推荐模型，协同过滤

 

深度学习推荐模型发展的整体脉络