ctr模型演变

 CTR任务的特点:

大量离散特征
大量高维度稀疏特征
特征工程:特征组合对于效果非常关键

 

传统ctr预估方法:

基础版:线性模型LR

 

改进版:加入特征组合

FM模型: 训练特征向量,提高模型泛化能力

 

 GBDT模型:输出多维特征

LR+GBDT

 GBDT+FM模型

集成GBDT和FM各自的优势
• GBDT发现最有效的组合特征Feature Set
• 将Feature Set引入FM模型中

 

深度学习:

图片处理: CNN

自然语言处理: 双向RNN+attention

 

深度学习CTR模型要解决的几个关键问题
CTR任务特点:大量离散特征的表示问题

CTR任务特点:如何快速处理大量高维度稀疏特征?(OneHot 2 Dense)
特征工程:如何从手工到自动?(深度学习的优势)

特征工程:如何捕获和表达两两组合特征?(FM机制神经网络化)

特征工程:如何捕获和表达多组组合特征?(利用Deep网络)

特征:

连续特征

离散特征

离散特征如何让DNN可以处理

解决思路:从OneHot到Dense Vector

 

 

 

 

引入低阶特征

高阶特征与低阶特征融合