论文笔记 — CheXGAT：基于胸部 X 光图像诊断胸部疾病的疾病相关感知网络

论文笔记— 车行 : 用于从胸部 X 射线图像诊断胸部疾病的疾病相关感知网络

介绍

Chest X-Ray（CXR）成像是临床诊断中最常见的诊断成像技术之一，通常用于放射检查以筛查胸部疾病。在本文中，我们提出了一种基于由卷积神经网络（CNN）和图神经网络（GNN）组成的混合深度学习模型的新型计算机辅助诊断（CAD）系统。

该系统旨在探索胸部疾病之间的隐含相关性，以帮助完成多标签胸部X 射线图像分类任务，我们称之为CheXGAT。具体来说，所提出的CheXGAT 框架包括两个主要模块：

图像表示学习（IRL）模块
图表示学习（GRL）模块。

我们使用IRL 模块从CXR 图像中学习高级视觉表示特征。在GRL 模块中，self-attention 机制从图形结构中聚合邻近区域特征，以增强胸部疾病之间的隐含相关性。我们采用data-driven 的方法来创建疾病相关矩阵，该矩阵适用于GRL 模块中节点的消息传递和聚合过程。在端到端训练之后，GRL 模块增强了胸部疾病之间的相关性，以提高诊断性能。

方法

概述

为了便于理解，图上显示了我们提出的CheXGAT 框架的总体流程图。 CheXGAT 框架包含两个主要的学习模块：图像表示学习（IRL）模块和图表示学习（GRL）模块。

首先，IRL 模块包含一个CNN 主干，从CXR 图像中提取高级图像表示特征。高级图像表示特征包含来自胸部的详细信息，我们尝试将语义相关性添加到这些高级图像表示特征中。因此，word embedding 方法对相应的多个标签进行编码，以生成具有语义相关性的特征标签。

然后，该模块通过将视觉特征与语义特征标签连接起来产生联合表示，并将它们插入到GRL 模块中图结构的节点中。最后，multi-head self-attention 机制处理每个node 以聚合来自图结构中的邻域特征的信息。

图像表示学习 (IRL) 模块

IRL 模块旨在从CXR 图像中提取高级视觉表示特征。因此，为了对CXR 图像中14 种不同的胸部疾病进行最佳诊断，我们采用流行的CNN 模型从图像中自动提取潜在的图像表示特征。

在这项研究中，我们采用香草CNN 模型作为所提出的CheXGAT 框架的主干来提取详细的图像表示特征。我们在实验中比较了几种经典和常见的CNN 架构，例如ResNet-50 (Res-50) [16]、Dense-201 (Dense-201) [17] 和EfficientNet-B0-B4 (Eff-B0 –Eff-B4) [37]，因为它们具有相似数量的参数（大约2000 万）；在实际临床实践中，我们可以使用任何基于CNN 的模型作为IRL 模块的主干，我们在实验中比较了不同的CNN 架构。

输入的CXR 图像首先被送进到IRL 模块，然后通过全局平均池化(GAP) 层生成初始特征表示向量F：

其中I 是输入图像，Pθ 表示来自CNN 主干的参数，fCNN() 表示CNN 主干的非线性映射过程，fGAP 表示GAP 操作，d 是图像特征的维度。

多种疾病标签表示

一般来说，给定一个带有c 个标签（类别）的数据集，具体来说，我们使用单词表示的全局向量(GloVe) 文本模型来生成多个疾病标签表示。 GloVe 是一种无监督学习算法，将单词表示为向量，并在来自语料库数据集（例如Wikipedia 数据集）的aggregated global word-word co-occurrence statistics 上进行训练。

为了最好地利用来自图像和多个标签的所有信息，我们将图像表示特征与多个标签的语义信息相结合。我们通过将视觉特征与语义特征标签连接(concat)起来来创建联合表示（F'），可以表示如下：

图表示学习 (GRL) 模块

探索和捕捉不同疾病之间隐含相关性的方法对于多标签疾病识别很重要。例如，纤维化可能导致肺不张，因为纤维组织会减少肺容量[39]。尽管CNN 模型在计算机视觉领域取得了巨大成功，但一些因果关系或隐含相关性无法在图像中描述。

因此，我们采用具有联合表示的图结构来增强胸部疾病之间的相关性。我们将不同疾病之间的相关性定义为有方向性。

图中的每个节点代表一种胸部疾病，节点之间的边表示疾病之间的相关性。在这项研究中，我们利用图注意力网络（GAT）中的多头自注意力机制来增强胸部疾病之间的相关性。

例如，肺炎可能导致胸腔积液，因为细菌感染导致毛细血管微血管通透性增加，并使细胞液流入肺部。 GAT 可以通过图注意力机制为肺炎节点和积液节点之间的相关性分配一个强度因子，并在诊断过程中增强疾病之间的相关性信息，而不仅仅是使用来自CNN 的图像表示特征。对于端到端的训练过程，DRL模块为样本实例批量动态构建图结构，并使用注意力机制更新相同的相关矩阵。在训练过程之后，我们可以获得 一个描述不同胸部疾病之间相关性的相关矩阵。

图注意力网络

我们基于GAT 构建了我们提出的CheXGAT 框架。 Graph attention layer 通过转换输入节点的隐式特征并将邻域信息聚合到下一个节点来增强节点和邻域信息的相关性。

GAT 架构由堆叠的图注意力层组成，用于执行图结构数据的节点分类。
图注意力层的输入是一组节点特征X = {X1, X2, …, XN} ∈ RF，其中N 是节点数，F 是每个节点中的特征数。 nodei 和nodej 之间的注意力权重ei, j 使用可学习的线性变换器权重矩阵W 计算，该矩阵应用于所有节点。注意系数显示了nodej 对nodei 的重要性，并由方程式计算:

GAT 允许每个节点关注其他节点，我们计算Node j ∈ Nb i 的ei, j，其中Nbi 是图结构中节点i 的邻域。此外，ei, j 通过非线性函数LeakyReLU 激活，并通过Softmax 函数进行归一化，可以用方程式表示:

为了稳定GAT 中的学习过程，多头注意力机制由方程式扩展:

经过GAT结构的堆叠的多个图注意力卷积层后，当多头注意力机制在最后一层运行时，连接操作被替换为由公式表示的平均操作:

多头注意力机制可以探索不同的强度因子可能性，使训练过程更加稳定。 GAT 通过使用自注意力机制学习与数据相关的边权重来概括GCN 消息传递功能，从而提高预测性能。对于实验设置，我们堆叠了两层图注意力层，并在每层中使用了两个头。

CheXGAT的相关权重矩阵初始化

在我们提出的CheXGAT 框架中，该框架基于指示节点之间相关性的有向边图，节点表示的传播规则取决于相关权重矩阵(W)。该矩阵说明了当矩阵中元素(i, j) 的值大于零并且nodei 和nodej 之间存在相关性时节点与其邻域之间的相关性。 Graph attention mechanism根据相关权重矩阵中的元素计算节点之间的强度因子。

在我们的实验中，我们使用数据驱动的方法来初始化相关权重矩阵。为了初始化，我们计算了训练集中标签对的出现次数，得到了矩阵W ∈ RC×C，其中C 是疾病类别的数量，W(i，j) 表示Li 和Lj 的并发次数。因此，我们可以制定方程式的条件概率矩阵:

其中Ni 表示Li 在训练集中的共现次数。条件概率P(Li| Lj) 是当Lj 事件发生时Li 事件发生的概率，其中Li 和Lj 是Diseasei 和Diseasej 的标签，i, j = 1, 2, …, ND 和NDis 疾病的数量。因此，P(Li|Lj)和P(Lj|Li)是不同的，条件概率越高表示相关性越高。因此，相关权重矩阵是不对称的。
因为我们数据集中所有的标签都是通过报表中的文本挖掘生成的，所以可能存在标签噪声；因此，为了避免相关权重矩阵元素中的噪声，我们使用由方程式定义的滤波器λ: