摘要：
背景 在MultiTask任务中，不同task的loss尺度是不一样的，可能相差很大，这样会导致共享的权重被大尺度的task主导，导致小尺度loss的task学不好 为了解决这个问题，常用的一个方法是对权重加权： 这样做的缺点就是，不同task的loss大小在训练中是会发生变化的，而上面的w是固定的 阅读全文
摘要：
MMOE 简介 MMOE 是一个 multitask 模型 multitask 主要有以下有点： 1. 把几个任务合为一个模型，相比于每个任务各训练一个模型来说，可以节省资源 2. 由于几个任务共享了数据，对于相关性比较大的任务来说，可以使数据学的更充分 multitask 也存在以下几个问题： 1 阅读全文