使用卷积操作实现因子分解机

本文将介绍如何使用卷积操作实现因子分解机器。卷积网络因其局部性和权值共享的归纳偏差而在计算机视觉领域获得了广泛的成功和应用。卷积网络可以用来捕获形状的堆叠分类特征(B, num_cat, embedding_size)和形状的堆叠特征(B, num_features, embedding_size)之间的特征交互。

作为分解机的卷积网络

下图显示了卷积网络如何创建交互特征

上图有5个已经进行嵌入的分类特征(batch_size, num_categorical=5, embedding_size)。假设我们有一个大小为(高度=3，宽度为1)的卷积过滤器。当我们在num_categorical维度(输入维度=1)上应用卷积(高度=3，宽度=1)的过滤器时，使用红框的示例(当我们在dim=1上卷积时)，可以看到我们有效地计算了3个特征之间的卷积(因为过滤器的高度为3)。单个卷积的每个输出是3个分类特征之间的相互作用。当我们在num_categorical上滑动卷积时，可以有效地捕获任何滚动三元组特征之间的交互，其中3个不同特征窗口之间的每个交互都在卷积的输出中被捕获。

因为过滤器的宽度为1，所以正在计算三个特征在嵌入维度上独立的滚动窗口交互，如红色、蓝色、紫色和绿色框所示。卷积层的输出高度是产生的可能交互特征的总数，本例是3。卷积层输出的宽度将是原始嵌入大小，因为卷积滤波器的宽度为1。

由于嵌入大小是相同的，我们可以有效地将卷积网络的这种使用视为分解机，其中以滚动窗口的方式捕获特征之间的交互。

 

https://avoid.overfit.cn/post/9e333ddb2e814bafacf4d33b1474a499