广告冷启动建模
背景
在广告系统中存在大量冷启动广告，冷启动广告由于数据比较少模型很估准，下面总结冷启动广告建模的常用思路
建模方法
1. 采用泛化特征
冷启动的广告由于样本比较少，id类的特征得不到充分学习，一般都是一个随机值或0，会导致模型预估不准确。因此可以下掉id类特征，只用泛化特征训练。
这方法的缺点非常明显：id类的特征往往在模型中起到非常重要的作用，如果盲目的下掉id类特征会导致模型效果有损
2. mask特征
参考《DropoutNet: Addressing Cold Start in Recommender Systems》，dropout时提升模型泛化性的常用手段，这里可以借鉴dropout的思想，挑选部分特征进行随机mask
3. 冷热分塔
可以分为两个tower，冷广告一个tower（只用泛化特征训练），热广告一个tower。
还可以借鉴MMOE的思想，用一个gate网络学习两个tower的融合
4. meta learning
参考《Warm Up Cold-start Advertisements: Improving CTR Predictions via Learning to Learn ID Embeddings》，借鉴元学习的思想，用泛化特征学习冷启动广告的id embedding。
具体来说可以冷热分塔，两个塔共享参数，但是热广告直接从广告id学习id enembedding，冷启动tower通过一个mata tower从泛化特征中学习id enembedding
参考资料
https://zhuanlan.zhihu.com/p/376798647
