用元学习方法解决广告中的冷启动问题《Warm Up Cold-start Advertisements: Improving CTR Predictions via Learning to Learn ID Embeddings》

背景

在广告模型中，广告id特征是一个非常重要的特征，但是广告id的学习需要充分的样本，而在广告系统中每天都有大量新投的广告，对于从未见过的广告，通常会给这个广告id对应的embedding一个随机值或者是0

这篇论文借鉴了元学习的思想，用泛化特征来学习新广告id对应的dembedding

 

模型结构

上图a就是我们现在常用的模型结构，对每个id学习一个embedding。上图b这篇论文提出的模型结构，利用广告相关的泛化特征训练一个Meta Embedding生成器来生成id类embedding

 

Meta Embedding Generator

Meta Embedding Generator的结构如下图所示，输入广告相关的泛化特征，输出广告id embedding

 在训练Meta Embedding Generator时借鉴了元学习的思路，把每个广告id的学习都看成一个单独的任务，这些不同任务共享主模型的参数（训练Meta Embedding Generator时固定主模型参数）

 

参考资料

https://zhuanlan.zhihu.com/p/432088211