Multimix：从医学图像中进行的少量监督，可解释的多任务学习

在本文中，我将讨论一种新的半监督，多任务医学成像方法，称为Multimix，Ayana Haque（ME），Abdullah-Al-Zubaer Imran，Adam Wang、Demetri Terzopoulos。该论文在被ISBI 2021收录，并于4月的会议上发表。

MultiMix通过采用基于置信的增强策略和新型桥模块来执行联合半监督分类和分割，该模块还为多任务提供了可解释性。在完全监督的情况下深度学习的模型可以有效地执行复杂的图像分析任务，但它的性能严重依赖于大型标记数据集的可用性。特别是在医学成像领域，人工标注不仅费钱，而且还耗时。因此允许从有限数量的标记数据的半监督学习，被认为是解决标注任务的一个方案。

在同一模型中学习多个任务可以进一步提高了模型的通用性。多任务允许在任务之间进行共享表示的学习，同时需要更少的参数和更少的计算，从而使模型更有效，更不容易过拟合。

对不同数量的标记数据和多源数据进行了广泛的实验，论文证明了其方法的有效性。还提供了跨任务的域内和跨域评估，以展示模型适应具有挑战性的泛化场景的潜力，这对医学成像方法来说是一个具有挑战性但重要的任务。

背景知识

近年来，由于深度学习的发展，基于深度学习的医学成像技术得到了发展。然而深度学习的根本问题一直存在，那就是它们需要大量的标记数据才能有效。但是这在医学成像领域是一个更大的问题，因为收集大型数据集和标注是非常困难的，因为它们需要领域专业知识，昂贵、耗时，并且很难在集中的数据集中组织起来。另外在医学成像领域中，泛化也是一个关键问题，因为来自不同来源的图像在定性和定量上都有很大的差异，所以很难在多个领域中使用一个模型获得较强的性能，这些问题促使了该论文的研究：希望通过一些以半监督和多任务学习为中心的关键方法来解决这些基本问题。

什么是半监督学习?

为了解决有限的标签数据问题，半监督学习(SSL)作为一种有前途的替代方法受到了广泛的关注。在半监督学习中，将无标记示例与有标记示例结合使用，使信息收益最大化。关于半监督学习已有大量的研究，包括一般的和医学领域特有的。我不会详细讨论这些方法，但如果你感兴趣，这里有一个突出的方法列表供你参考[1,2,3,4]。

解决有限样本学习的另一个解决方案是使用来自多个来源的数据，因为这增加了数据中的样本数量以及数据的多样性。但是这样做是具有挑战性的，因为需要特定的训练方法，但是如果做得正确，它可以非常有效。

什么是多任务学习?

多任务学习(multitask Learning, MTL)已被证明可以提高许多模型的泛化能力。多任务学习被定义为在单个模型中优化多个损失，通过共享表示学习完成多个相关任务。在一个模型中联合训练多个任务可以提高模型的泛化性，因为每个任务都相互影响（要选择有相关性的任务）。假设训练数据来自不同的分布，这样可以用于有限的不同任务，多任务在这样的场景中对于以很少监督的方式学习是有用的。将多任务与半监督学习相结合可以提高性能，并在这两个任务中取得成功。同时完成这两项任务是非常有益的，因为一个单独的深度学习模型可以非常准确地完成这两项任务。

关于医学领域的相关工作，具体方法如下:[1,2,3,4,5,6,7,8,9,10]。然而，这些发现的主要局限性是它们没有使用来自多个来源的数据，限制了它们的泛化性，并且大多数方法都是单一任务方法。

因此，论文提出了一种新的、更通用的多任务模型MultiMix，该模型结合基于置信度的桥接块，从多源数据中共同学习诊断分类和解剖结构分割。显著图可以通过可视化有意义的视觉特征来分析模型预测。有几种方法可以生成显著性映射，最显著的方法是从输入图像计算类分数的梯度。虽然任何深度学习模型都可以通过显著性图来研究更好的解释性，但据我们所知，在单一模型中两个共享任务之间的显著性桥梁还没有被探索。

算法

让我们首先定义我们的问题。使用两个数据集进行训练，一个用于分割，一个用于分类。对于分割数据，我们可以使用符号XS和Y，分别是图像和分割掩码。对于分类数据，我们可以使用符号XC和C，即图像和类标签。

模型体系结构使用基线U-NET架构，该结构是常用分割模型。编码器的功能类似于标准CNN。要使用U-NET执行多任务处理，我们将从编码器上分支，并使用池化和全连接的层分支以获取最终的分类输出。

完整文章：

 

https://avoid.overfit.cn/post/a475b41b332845b7bb9e8cf09ec8c662