Fork me on GitHub

多任务学习相关资料整理


自己在做多任务学习方面的毕设,遂整理了一些资源
 

多任务学习的概念:

在此,我们给出 MTL 的正式定义。
定义 (多任务学习):
  给定 m 个学习任务,其中所有或一部分任务是相关但并不完全一样的,多任务学习的目标是通过使用这 m 个任务中包含的知识来帮助提升各个任务的性能。
 
基于这一定义,我们可以看到 MTL 有两个基本因素。
  • 第一个因素是任务的相关性。任务的相关性是基于对不同任务关联方式的理解,这种相关性会被编码进 MTL 模型的设计中。
  • 第二个因素是任务的定义。在机器学习中,学习任务主要包含分类和回归等监督学习任务、聚类等无监督学习任务、半监督学习任务、主动学习任务、强化学习任务、在线学习任务和多视角学习任务。因此不同的学习任务对应于不同的 MTL 设置。包括计算机视觉、生物信息学、健康信息学、语音、自然语言处理、网络应用和普适计算在内的很多领域都在使用 MTL 来提升各自的应用的性能。
最近,深度学习在诸多应用领域中广为流行,并且深度学习十分适用于 MTL。几乎所有的深层模型都会为不同的任务共享隐藏层;当各种任务非常相似时,这种在任务之间共享知识的方式非常有用,但是一旦这种假设被违背,模型性能则显著恶化。我们认为,多任务深度模型的未来发展方向是设计更加灵活的架构,可以容纳不相关的任务甚至异常的任务。此外,深度学习,任务聚类和多层次方法缺乏理论基础,需要更多的分析来指导这些方面的研究。
 
-------------------------------------------------------
 
  迁移学习相关分词方法:
https://blog.csdn.net/qq_35014850/article/details/82720998
 
  迁移学习与多任务:
https://www.cnblogs.com/cloud-ken/p/7794250.html
 
 
  自然语言处理中的多任务学习:
https://cloud.tencent.com/developer/news/379697

  基于深度多任务学习的自然语言处理技术:
https://www.sohu.com/a/204028768_99934777               
                
  
  多任务学习的一些论文!!!
 
 
 
  多任务学习的经验教训:
https://www.leiphone.com/news/201902/SlFB1OlWd6U8ubJj.html
  利用深度学习模型实现多任务学习?这里有三点经验:
https://new.qq.com/omn/20190216/20190216A0FPI1.html
 
 
posted @ 2019-03-08 14:27  fnangle  阅读(1225)  评论(0编辑  收藏  举报