多任务学习相关资料整理
自己在做多任务学习方面的毕设,遂整理了一些资源
多任务学习的概念:
在此,我们给出 MTL 的正式定义。
定义 (多任务学习):
给定 m 个学习任务,其中所有或一部分任务是相关但并不完全一样的,多任务学习的目标是通过使用这 m 个任务中包含的知识来帮助提升各个任务的性能。
基于这一定义,我们可以看到 MTL 有两个基本因素。
- 第一个因素是任务的相关性。任务的相关性是基于对不同任务关联方式的理解,这种相关性会被编码进 MTL 模型的设计中。
- 第二个因素是任务的定义。在机器学习中,学习任务主要包含分类和回归等监督学习任务、聚类等无监督学习任务、半监督学习任务、主动学习任务、强化学习任务、在线学习任务和多视角学习任务。因此不同的学习任务对应于不同的 MTL 设置。包括计算机视觉、生物信息学、健康信息学、语音、自然语言处理、网络应用和普适计算在内的很多领域都在使用 MTL 来提升各自的应用的性能。
最近,深度学习在诸多应用领域中广为流行,并且深度学习十分适用于 MTL。几乎所有的深层模型都会为不同的任务共享隐藏层;当各种任务非常相似时,这种在任务之间共享知识的方式非常有用,但是一旦这种假设被违背,模型性能则显著恶化。我们认为,多任务深度模型的未来发展方向是设计更加灵活的架构,可以容纳不相关的任务甚至异常的任务。此外,深度学习,任务聚类和多层次方法缺乏理论基础,需要更多的分析来指导这些方面的研究。
-------------------------------------------------------
多任务学习简单实现:
https://github.com/jg8610/multi-task-learning
https://blog.csdn.net/qq_40962368/article/details/82683026
https://blog.csdn.net/Tomxiaodai/article/details/81916510#keras%E5%AE%9E%E7%8E%B0%E5%A4%9A%E4%BB%BB%E5%8A%A1%E5%AD%A6%E4%B9%A0%EF%BC%88%E7%A1%AC%E5%85%B1%E4%BA%AB%E6%9C%BA%E5%88%B6%EF%BC%89
https://github.com/jg8610/multi-task-learning
https://blog.csdn.net/qq_40962368/article/details/82683026
https://blog.csdn.net/Tomxiaodai/article/details/81916510#keras%E5%AE%9E%E7%8E%B0%E5%A4%9A%E4%BB%BB%E5%8A%A1%E5%AD%A6%E4%B9%A0%EF%BC%88%E7%A1%AC%E5%85%B1%E4%BA%AB%E6%9C%BA%E5%88%B6%EF%BC%89