MMoE 应用篇

这篇文章再仔细看一下，这篇讲得还不错

https://mp.weixin.qq.com/s/w2U5GBPLmWTDSFKBGaViQQ

《多任务学习经典品读：MMoE 应用篇》

 

• 优化的多个目标往往不同，有时相互冲突。例如，除了点击观看视频(ctr)外，我们可能还想推荐给用户评价较高或者更可能个朋友分享的视频。
• 系统中经常存在隐性偏见。例如，用户单击并观看视频可能仅仅是因为该视频被排在物理位置的前面，而不是因为该视频是用户最喜欢的视频。因此，使用当前系统生成的数据训练的模型将有偏差，可能会出现反馈循环，导致模型越学偏差越大。如何有效地学习减少此类偏差是也是一个需要解决的问题。

 

 

消除位置、选择偏差

 

 

 

训练时，浏览时的位置信息作为输入，drop-out rate为10%，从而防止过度依赖。线上服务时，位置特征被设置为"missing"。上图中文章将 位置特征 与 设备特征 交叉，是因为作者发现在不同类型的设备上观察到不同的位置偏差。

 

sigmoid之前的叫作logit

 

 

 模型学习到了每个位置的偏差，越靠下位置，position bias消除的越好。说明shallow tower在position bias消除方面有效果。