摘要:
背景 MMoE模型从一定程度上解决了多个目标(任务)在训练过程中的相互耦合的问题,即使用门控概念(gate network)降低了因为share-layer部分带来的“特征耦合”。但其实这是不够的,因为在每一个expert内部,与其他的expert不存在联系,这导致每个expert的表达能力不是“那 阅读全文
posted @ 2024-03-06 11:36
AI_Engineer
阅读(120)
评论(0)
推荐(0)