论文笔记-DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

针对交叉（高阶）特征学习提出的DeepFM是一个end-to-end模型，不需要像wide&deep那样在wide端人工构造特征。

 

网络结构：

sparse features的构造：类别型特征one-hot，连续型特征数值表示，或者分段离散后one-hot

 

FM与NN分别输出预测y后，对两个结果进行sigmoid

 

FM部分：

paper指出在数据稀疏的情况下，FM仍能有效地学出二阶特征，最后FM的预测为：

 

deep部分：

papar指出这个网络结构两个特别的点：

1）虽然input的field vector长度不一，但是它们embedding出来的长度是固定的

2）FM的latent vector V向量作为原始特征到embedding vector的权重矩阵，放在网络里学习，如下图。

（个人理解，也就是说在网络的一二层，学出来的weight就是FM的latent vector，然后在FM component中使用，计算y_fromFM）

 

deepFM中FM与deep部分共享一份embedding数据，有两点好处：

1）能够从原始特征同时学习低阶和高阶特征

2）不需要像W&D做特征工程

 

paper之后比较了该模型与W&D在内的好几个模型，因为还没有读它们的原始论文，暂不记了。