《AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks》特征交叉论文阅读

背景

这是一篇利用多头attention机制来做特征交叉的论文

 

模型结构

AutoInt的模型结构如上图所示，搞模型包含 Embedding Layer、Interacting Layer、Output Layer三个部分，其中Embedding Layer和Output Layer和普通模型没什么区别，主要介绍一下Interacting Layer

Interacting Layer是改名实现特征交叉的部分，其实现特征交叉的过程可以分为以下几步：

1. 计算特征之间的相关性

2. 根据相关系数，计算特征交叉

3. 拼接多个头的特征交叉结果

4. 为了保留原始特征，用一个残差结构拼接原始特征和交叉后的特征

 

最终在输出层，拼接所有交叉后的特征过sigmoid函数：