Warm Up Cold-start Advertisements: Improving CTR Predictions via Learning to Learn ID Embeddings阅读笔记

动机

本文是2019年SIGIR上的一篇论文。在计算广告中CTR预估是最核心的问题之一，最近基于embedding的技术(用一个低维向量表示id)改善了CTR预估的准确性，但是如果遇到新的广告，这种方法的效果就会很差。针对以上问题，作者提出了MetaEmbedding模型，它通过元学习，为新广告学习embedding生成器，使得新广告在仅有少量标签的情况下可以快速适应广告系统。

方法

对于普通的模型，我们通过以下方法预估广告点击率，

其中\(\phi_{[i]}\)是广告id的embedding，\(u_{[i]}\)是广告的一些属性，\(v\)是其他的一些与广告无关的信息，比如用户特征等等。这就对应上图中的warm-start阶段。
但是对于一个新的广告\(i^*\)来说，它没有参加过训练，这就意味着\(\phi_{[i^*]}\)没有优化过，是完全随机的，这会导致较差的预测结果。
因此，作者提出了一个针对新广告的embedding生成器，它使用广告的属性作为输入，输出的就是新广告的id的embedding

新广告的预测结果为

下面是训练生成器的步骤，使用的训练数据都是老广告。对于每个老广告，从中采用两个与它相关的数据集，分别为\(D^a_{[i]}和D^b_{[i]}\)

Cold-start phase

在这个阶段，我们使用\(g_{meta}(·,·)\)预测

损失函数为

Warm-up phase

在此阶段，我们首先更新\(\phi_{[i]}\)

然后，计算预测

最终这部分的损失为

整体损失为

生成器结构如下，可以通过一些池化层和全连接层构成。

模型整体流程如下

实验结果

作者将MetaEmbedding用到当前主流的一些CTR预估模型上，对于冷启动问题都有较为明显的效果。

总结

本文作者针对计算广告中的新广告冷启动问题，提出了一个基于元学习的生成器为新广告生成一个较为合适的embedding，使得新广告在不经过训练就可以获取一个不错的预估结果，同时仅经过少量训练就可以获得更好的预估结果从而快速适应广告系统。