【论文笔记】SCAN和beta-VAE技术提升EEG数据分类效果

REPRESENTATION LEARNING FOR IMPROVED INTERPRETABILITY AND CLASSIFICATION ACCURACY OF CLINICAL FACTORS FROM EEG

表示学习提高脑电图中临床因素的可解释性和分类准确性

Abstract

现状：心理健康障碍的诊断性访谈仍包含大量的主观判断。

先前的研究表明，基于EEG的神经测量可以作为抑郁症甚至抑郁症及其病程的预测指标的可靠客观关联。

但是，由于

1）缺乏自动处理与EEG数据相关的固有噪声的大规模方法

2）缺乏对EEG信号的哪些方面可能是临床疾病标志的了解

因此尚未完全实现其临床用途。在这里，我们采用最新的深度表示学习文献中的无监督管道来解决这些问题，方法是：

1）使用β-VAE对信号进解缠的学习来对信号进行去噪

2）使用Symbol-Concept Association Network（SCAN）提取与稀疏临床标签相关的可解释特征

证明我们的方法在许多因素上都胜过规范的手工设计基准分类方法，其中包括参与者的年龄和抑郁症诊断。此外，我们的方法可恢复一种表示形式，可用于从新颖的单个EEG轨迹中自动提取去噪的事件相关电位Event Related Potentials（ERPs），并支持对各种临床标签进行快速监督的重新映射，从而使临床医生无需考虑更新即可重复使用单个EEG表示形式到标准化的诊断系统。最后，学习到的解缠结表示法中的单个因素通常对应于临床因素的有意义的标记，如由SCAN自动检测的那样，从而使人可以理解并可以对模型提出的建议进行事后专家分析。

1.Introduction

诊断心理健康障碍目前有着明确的局限

心理健康障碍，包括抑郁症是阻碍人类身心健康的一大问题。并且诊断心理健康障碍目前有着明确的局限。性。即便存在诊断手册，如精神疾病诊断和统计手册的结构化临床访谈（SCID）（DSM-V，2013年），专家精神科医生和经过数十年专业培训的心理学家之间的诊断一致性可能很低，导致不同病例的诊断率高达30％（科恩的Kappa = 0.66）（Lobbestael et al。，2011）。即使达到较高的评分者间信度，许多心理障碍也没有固定的症状特征，仅抑郁症就有数百种可能的症状组合（Fried＆Nesse，2015）。这意味着具有相同SCID诊断的任何两个人都可以表现出完全不同的症状表达。这是在此领域开发客观的，症状驱动的诊断工具所面临的重大挑战

脑电图容易获取，且可作为生物标志物，但难以清洗和解释。使用独立组件分析和货架分类器可以帮助利用EEG

脑电图（EEG）是对突触后电位的一种测量，该电位可以在头皮处无创获取。脑电信号可作为临床疾病的重要生物标志物（Hajcak等，2019），但难以大规模清洗和解释。例如，EEG信号的成分通常可能会显着重叠或相互干扰。此外，附近的电子设备，线路噪声，硬件质量，信号漂移以及电极-头皮连接中的其他变化都会使所记录的EEG信号失真。因此，提取足够质量的EEG数据通常是费力的，半自动化的过程，需要经过广泛培训的实验室技术人员执行。典型的EEG分析流程包括收集大量刺激表示（试验）引起的EEG记录，以便获得足够的数据来平均噪声。 独立组件分析（ICA）通常用于从视觉上识别和删除与眨眼相对应的组件（Delorme＆Makeig，2004； Makeig等，2004； Jung等，2000）。随后可以进行拒绝试验阶段，在该阶段中，可以通过视觉检查来识别异常试验并将其从EEG数据滚动中删除。然后将来自大量试验的清理过的EEG记录平均以产生事件相关电位（ERP）

这使临床医生可以提取与所关注的临床因素相关的特定ERP组件，将其中的事件锁定活动平均化，然后执行统计组比较，或者（在诊断分类目标的情况下）应用现成的- 货架分类器,比如逻辑回归去获取最终诊断结果。一些更先进的分类途径可能包含支持向量机（SVM），线性判别分析（LDA），随机森林（RF）。

开发一种管道，以可靠的方式提取EEG中可解释生物标志物

总而言之，脑电图记录是大脑中电活动的嘈杂量度。有证据表明，这些信号可用作抑郁症的标志，但我们对它们所索引的抑郁症的各个方面缺乏了解。此外，临床心理病理学领域仍缺乏关于精神健康障碍的病因发病机制的共识，这意味着不存在诸如“事实真相”诊断标签之类的东西。因此，尽管脑电图通常用于诊断癫痫（Smith，2005），记忆力（Stam等，1994）或睡眠障碍（Karakis等，2012）等疾病，但它有望成为抑郁症等临床疾病的可靠诊断工具还没有完全意识到沙发。为了使脑电图成为更广泛的临床条件的可行诊断工具，重要的是要开发一种自动管道，以健壮的方式从（最好是个别试验）脑电图数据中提取相关的可解释生物标志物。此外，此过程不应依赖诊断标签，诊断标签通常是主观的，充其量只能代表高度异构的类别

图1 **管道示意图 ** 向参与者展示了来自国际情感图片系统（IAPS）的图像。对来自同一参与者的多次试验记录的EEG轨迹进行平均，以创建ERP。每个EEG样本均由256个时间锁定样本（-248-772毫秒，其中0个刺激开始时间）组成，这些样本是在参与者查看中性（红色）或阳性（正面的）（蓝色）IAPS图像时从三个位置记录的。在所有通道上，ERP对正负图像的响应在[0，1]之间同时进行连接和标准化。产生的“图像”用于训练β-VAE或AE。一个良好解开的预训练β-VAE模型用于训练SCAN。每个SCAN训练示例均包括一个5热二元分类，标记为SCAN encoder，代表其对应的EEG“图像” x，表示为β-VAE编码器。在SCAN培训中被修正。为了获得分类，将脑电图“图像”呈现给β-VAE编码器，然后将推断的zx均值通过SCAN解码器进行馈送，在其中应用每个类别的softmax以获得预测的标签（红色路径）。为了分析SCAN分类决策，将1热二进制矢量馈入SCAN编码器。然后将来自推断分布酶的样本通过β-VAE解码器馈送，以可视化相应的ERP重建（紫色路径）

用纠缠表示学习解决EEG分类问题：使用SCAN映射分类标签到$ \beta $-VAE表示形式中，再利用$ \beta $-VAE 发现低维解缠表示EEG数据

最近在深度无监督表示学习领域已经取得了很大的进步[Recently great progress has been made in the field of XXX]。纠缠表示学习是深度无监督学习的一个分支，可产生可解释的因数分解的训练数据低维度表示（Bengio等人，2013; Higgins等人，2017）。考虑到我们用例中对模型可解释性的要求，我们使用Beta变分自动编码器（$\beta-VAE$，一种最先进的无监督解缠表示学习方法， one of the state of the art 最先进技术之一）来发现低维解缠表示脑电数据。然后，我们训练最近提出的符号-概念关联网络（SCAN）（Higgins等人，2018），以将可用的分类标签映射到$\beta-VAE$ 所学习的表示形式（见图1）。我们证明，与现场手工设计的基线典型值相比，拟议中的管线可带来更好的分类精度。在预测许多因素（包括年龄，性别和抑郁症诊断）时，这是正确的。此外，SCAN能够产生高度可解释的分类建议，从而其对不同临床因素的决定基于少量（通常是单个）潜在的β-VAE维度，从而使临床医生有机会解释SCAN所产生的建议并可视化脑电信号的各个方面与事后分类决策相关联。这为使用我们建议的管道作为发现新的脑电生物标志物的工具提供了机会。我们通过“重新发现”抑郁症的已知生物标志物来验证这一点。最后，我们证明了一旦对β-VAE进行了ERP信号的预训练，即使出现单个嘈杂的EEG轨迹，它也可以经常产生''类ERP''的重建结果。此外，从单个EEG试验推断出的表示产生了良好的分类结果，但仍然优于标准基线方法。这表明，一旦学习到良好的解缠结表示法，就可以在记录新的EEG数据时在线使用该模型，从而减轻了将可能易受攻击的参与者保留在实验室中以延长记录时间的负担。

2.Methods

2.1数据

快感缺乏症EEG 可以测量神经反应，判断是否有快感缺乏症这项工作针对的是抑郁症的两个主要症状之一，即快感缺乏症。快感缺乏症是对以前愉悦的刺激和活动缺乏愉悦和/或兴趣。一种客观量化这种症状的既定方法是使用EEG来测量由情绪显着的视觉刺激引起的神经反应。 在这一领域的研究发现了健康对照者的定型神经激活模式，其中突显出情绪的刺激在ERPs中产生了晚期正电位（LPP），即刺激时间锁定的EEG录音的平均时间序列。这种模式已被确定为抑郁症的潜在生物标志物，因为平均而言，这种表现出正性快感症状的个体的这种幅度的正偏弱被减弱或消失。

**参与者 **试验者数据，来自4个站点，共758人， Axis 1和Depression分别表示广泛的疾病类别和抑郁症这些数据是跨多个实验室进行的精神健康研究的一部分。该研究的多站点方面意味着可以将更多数据汇总在一起，但是，这也意味着该数据更嘈杂。参与者（N = 758，平均年龄 = 16.7，年龄范围= [11.0,59.8]，398女性）是健康对照组（nHC = 485）和被诊断出患有焦虑和抑郁（在其他精神疾病中）的人的样本。如表A1

**刺激和实验分析 **实验过程向参与者展示了来自国际情感图片系统（IAPS）的80张图像（Lang等人，2008年），这些图像以随机顺序显示，每次最多40次。图像的价态不同：正面（亲和性场景或旨在激发LPP ERP组件的可爱动物），或中性（物体或与人相关的场景）。每个图像试验都包括一个白色固定十字，在1000-2000毫秒（方形窗口）之间的随机持续时间内显示，然后是一个呈现1000毫秒的黑白图像。

脑电图预处理 预处理获取的EEG参与者完成图片浏览任务时，将连续记录脑电图。然后将每个图片试验分割为包含200毫秒刺激前基线和1200毫秒刺激后间隔。将原始EEG信号数字化，带通滤波并清除眼睛运动伪影和异常试验，如下所述：

**引用1 ** 脑电图是根据34通道ActiChamp系统记录的，该系统根据10/20系统定位。数据以250 Hz记录并参考electrodeCz。为了监测眨眼，将VEOG和HEOG电极分别应用于两只眼睛的上方，下方和外侧。使用低通5阶inc滤波器，半功率截止频率为102.4 Hz，以24位分辨率将原始EEG数据数字化。离线，将连续EEG数据重新参考乳突并使用2阶Butterworth进行带通滤波高通滤波器在0.1 Hz处的截止频率为3 dB，而12阶巴特沃思低通滤波器在30 Hz时的截止频率为3 dB。使用ICA检测眼睛的运动并将其从连续数据中删除。在此过程中，始终将第一个ICA组件作为要校正的眨眼工件（允许全自动ICA管道）。选择将来自三个电极的EEG包括在Fz，Cz，Pz中，因为（1）LPP传统上是从中心顶中线电极索引的，并且（2）该项目需要测试可最大程度提高速度的EEG系统应用程序和易用性。完整的预处理管道是使用Python的MNE软件包构建的。预处理管道的最后一步是从每个参与者数据中排除异常试验（EEG段）。按照应用顺序，在±0.005 V处应用原始最大幅度阈值，将每个参与者的数据归一化为零均值和单位方差，在|σ|> = 5处应用标准偏差阈值。最后，确定标准偏差“瞬变”（即，在tandt + 1，|σ|> = 3之间的EEG时间序列中的偏差），并删除了相关的试验。总共758条轨迹用于训练模型

分类标签 标签说明本研究使用以下分类标签：年龄（成年或儿童），性别（男性或女性），研究地点以及是否存在两种临床情况：抑郁症诊断和更广泛的Axis 1障碍诊断。除研究地点外，所有分类标签都是二进制的，其中包含四个可能的值，分别对应于收集数据的四个不同地点。 18岁及以上的参与者被归类为成人。性别是根据自我报告的价值观进行分类的。积极抑郁症标签（n = 110）包括由专业临床医生通过临床访谈（例如，SCID）诊断为重度抑郁症（MDD），持续性抑郁症（PDD）和抑郁症NOS（其他方式未指定）的所有参与者成人，儿童KSADS）。 Axis 1是广泛的疾病类别（现已在DSM-V中停用），不包括智力障碍和人格障碍（DSM-V，2013年）。阳性 Axis 1标签（n = 273）包括所有具有阳性抑郁标签的参与者，以及被诊断患有血红蛋白血症，心律失常，焦虑症，情绪障碍（例如，躁郁症），恐慌症以及物质和饮食失调（均属稀疏）的参与者。

Axis 1标签中的疾病包括严重抑郁症，持续性抑郁症，抑郁症NOS，红细胞增多症，心律失常，双相性I，双相性II，双相性NOS，躁狂，低躁狂症，恐惧症，社交恐惧症，分离性焦虑症，广泛性焦虑症疾病，恐慌症，恐高症，厌食症，贪食症，进食障碍NOS，酗酒，酒精依赖，物质滥用和物质依赖症。

2.2 表征学习

基准：标准的LPP分析 用提取后期正电位（LPP）效果的标准方法作为这项工作的基准。 LPP效应的计算方式是：从情绪显着刺激和中性刺激引起的ERP波形之间的平均幅度差（即平均刺激时间锁定的EEG段）。在 $\delta$ 计算前，每个ERP在刺激开始前的100毫秒窗口内的基线平均活动被规范化，最后，对刺激发作后300–700 ms窗口内的标准化delta信号进行平均，以提供规范的基线LPP表示。

从多个EEG片段中提取ERP 图一的简化流程如下：

graph LR; A[ERP input 高维x]-->B[AE encoder 函数q 参数φ]-->C[output 低维z]-->s[AE decoder 函数p 参数θ ]-->g[重构ERP]

自动编码器 自动编码器（AE）是一种用于非线性降维的深度神经网络方法（Hinton＆Salakhutdinov，2006; Baldi，2012）。一个典型的体系结构包括一个将输入的高维数据 $x$ 投影到一个低维表示形式 $z$ 的编码器网络，以及一个与编码器相反的解码器网络，将表示 $ z $ 形式投影到原始高维数据 $f(\mathbb{x};\phi,θ)$ 的重构中。其中 $\phi$ 和 $θ$ 分别是编码器和解码器的参数（模型示意图见图1）。使用下列重建目标，通过反向传播对AE进行了训练：

\[\mathcal{L}_{AE}=\mathbb{E}_{p(\mathbb{x})}||f(\mathbb{x};\phi,θ)−\mathbb{x}||^2 \]

在本例中，AE的输入是EEG信号的256x6“图像”（参见图1），其中256对应于以250 Hz采样并按照第2节中所述进行预处理的记录的EEG轨迹的1024 ms。引用1和6分别对应于两个图像价状态（即刺激类别）中的每个三个电极：中性和正性。将这些输入图像在呈现给AE之前，在所有通道上都进一步归一化为[0，1]范围。

AE训练参数设置对AE进行参数设置，使其具有两个卷积编码层，每个层具有32个大小为6的滤波器，沿着时间轴的步长为2步幅，然后是单个全连接的大小为128的层，投影到10维表示z中。解码器与编码器相反。总体而言，该模型包含约106,752个参数。该模型始终具有ReLU激活，并使用Adam优化器对其进行了优化，在批次大小为16的100万次迭代中，学习率为1e-4。

β可变自动编码器 β可变自动编码器（β-VAE）（Higgins等，2017）是一种生成模型，旨在通过增强变分自动编码器（VAE）框架来学习输入数据x的纠缠的潜在表示z ; Kingma＆Welling，2014）（更多信息请参见A.2.1节）。直观地，解开的表示是因数分解的潜在分布，其中每个因子对应于训练数据的可解释转换（例如，在视觉场景的解开表示中，各个因子可能表示照明或对象位置的变化）。 β-VAE的神经网络实现由一个推理网络（等效于AE编码器）和一个生成网络（等效于AE解码器）组成，该推理网络接收输入x并参数化（解散的）后验分布$q(\mathbb{z}|\mathbb{x})$。从推断的后验分布$\hat{z}∼N(μ(\mathbb{z}|\mathbb{x}),σ(\mathbb{z}|\mathbb{x}))$中提取样本并尝试重建原始图像（见图1）。该模型通过两部分损失目标进行训练：

\[\mathcal{L}_{\beta-V AE}=\mathbb{E}_{\mathcal{p}(\mathbb{x})}[\mathbb{E}_{q_{\Phi}(\mathbb{z}|\mathbb{x})}[\mathbb{log}~p_\theta(\mathbb{x}|\mathbb{z})]-\beta *KL(q_\phi(\mathbb{z}|\mathbb{x})||p(\mathbb{z}))] \]

其中$p(\mathbb{x})$是输入数据的概率，$ q(\mathbb{z}|\mathbb{x})$ 是在给定数据的潜在单位上的学习后验，$p(\mathbb{z})$ 是具有对角协方差矩阵$\mathcal{N}(0, \mathbb{1})$单位高斯先验，$\phi, \theta$ 分别是推理网络（编码器）和生成网络（解码器）的参数， β是控制模型在训练过程中解缠程度的超参数。从上面的损失函数表达式看出，优化目标包一个重构项$\mathbb{E}_{q_{\Phi}(\mathbb{z}|\mathbb{x})}[\mathbb{log} p_\theta(\mathbb{x}|\mathbb{z})$（用于增加观测值的对数似然估计）和压缩项$KL(q_\phi(\mathbb{z}|\mathbb{x})||p(\mathbb{z}))$（用于减少推断后验和先验之间的KL散度）。通常，要获得良好的解纠缠度，β> 1是必要的，但是对于不同的数据集，确切的值会有所不同。为了找到一个良好的β值以解开我们的EEG数据集，我们执行了一个超参数搜索，针对均匀采样的10个β∈[0.075,2.0]值中的每一个训练10个具有不同随机初始化的模型。我们根据无监督解纠缠排名分数（UDR）选择了良好的解纠缠$\beta VAE$ 模型 A.4（有关所得UDR分数的可视化，请参见图A1）。所有β-VAE模型都具有与AE相同的架构（AE可以看作特殊的β-VAE，β=0），并且以相同的方式对相同的数据进行训练，并且以相同的方式对这些数据进行预处理以使其位于[0，1]范围内。

无监督解纠缠排名 为了量化由训练有素的β-VAE模型实现的解缠质量，我们应用了最近提出的无监督解缠排名（UDR）评分（Duan等人，2019）。 UDR是用于测量VAE中解缠质量的唯一已知方法，而无需访问EEG数据无法使用的地面真实属性标签。 UDR通过对使用相同超参数设置但具有不同种子的训练模型学习到的表示形式进行成对比较来工作。对于每个经过训练的β-VAE模型，我们与所有其他经过相同β值训练的模型进行了九次成对比较，并计算了相应的UDRijscore，其中索引了这两个β-VAE模型。每个$UDR_{ij}$分数是通过计算相似性矩阵$R_{ij}$来计算的，其中每个条目是两个模型对相同数据的各个潜在单位的响应之间的Spearman相关性。然后取相似矩阵的绝对值$|R_{ij}|$，并根据以下公式计算每对模型的最终得分：

\[\frac{1}{d_a+d_b}[\sum_b\frac{r^2_a*I_{KL}(b)}{\sum_aR(a,b)}+\sum_a\frac{r^2_b*I_{KL}(a)}{\sum_bR(a,b)}] \]
其中$a,b$分别索引到模型$i，j$的潜在单元，$r_a=\mathbb{max}_aR(a,b)$ , $r_b=\mathbb{max}_bR(a,b)$。$I_{KL}$表示每个模型中的“信息性”潜在单位，从高斯先验单位获得KL> 0.01的可操作化单位，并分配数量这样的潜在单位。通过获取所有$j$的$ UDR_{ij}$ 的中位数计算得出的模型$i$的最终得分。

2.3 分类

基准分类器 使用SVM，RF，LR，LDA作为基准分类算法。对于所有的分类器，我们报告平衡精度 Banlanced accuracy 的后验分布。我们使用平衡精度，因为对于不平衡的数据集，它能正确地匹配精度。

SCAN 上述基准分类器产生了不可解释的决策。如果我们有机会在EEG数据中发现新的临床生物标志物，则这是不可取的。为了应对这一可解释性挑战，我们利用了机器学习文献中提出的用于视觉概念学习的最新模型-符号-概念关联网络（SCAN）（Higgins等人，2018）。尽管SCAN最初并不是以分类为目的而开发的，但它具有可用于当前应用程序的理想特性。 特别是，SCAN能够自动发现离散符号（本例中为5个热门分类标签，请参见图1）与由训练有素的β-VAE模型发现的解开后验表示的连续概率分布之间的稀疏关联关系。此外，用于训练SCAN的接地的关联性质使它可以优雅地处理嘈杂的数据，并可以从少量正例和高度不平衡的数据集中成功学习。 SCAN实际上是另一个VAE模型。在我们的案例中，它采用5个热分类标签作为输入，并旨在从推断的后验$q(\mathbb{z}|\mathbb{y})$重建它们（更多详细信息，请参见图1）。为了训练SCAN，最初的VAE目标会增加一个附加的KL术语，该术语旨在将SCAN的后方置于预先训练的β-VAE模型的后方。

\[\mathcal{L}_{SCAN}=\mathbb{E}_{p(\mathbb{y})}[\mathbb{E}_{q_{\psi}(\mathbb{z}_y)}[\mathbb{log}~p_\gamma(\mathbb{y}|\mathbb{z}_y)-KL(q_{\psi}(\mathbb{z}_y|\mathbb{y})||p(\mathbb{z}_y))]-KL(q_\phi(\mathbb{z}_x|\mathbb{x})||q_\psi(\mathbb{z}_y|\mathbb{y}))] \]

$\psi, \gamma$ 分别是SCAN编码和解码器的参数，$q_{\psi}(\mathbb{z}_y|\mathbb{y})$ 是从5个热门标签$y$ 推断出来的后验，并且$q_\phi(\mathbb{z}_x|\mathbb{x})$ 是在预训练的时候$\beta VAE $ 模型从EEG图像中推断出来的后验。注意在SCAN训练期间 $\beta VAE $ 的参数是不更新的。最后一项允许SCAN发现一种解缠因子的子集和所给标签的所有1-hot维度之间的联系。

我们将SCAN编码器和解码器参数化为MLP，该MLP具有两个尺寸为128，ReLU非线性和10维后验的隐藏层，以匹配β-VAE表示的维数。该模型产生了约22,016个参数。与其他模型一样，SCAN接受了批处理大小为16的迭代，经过了100万次迭代，并且使用Adam优化器进行了训练，学习率为1e-4。

3.Result

深度表示学习提升分类精度 我们评估了分类准确性，以预测参与者的年龄，性别，研究地点以及是否存在两个临床标签：抑郁症和Axis1。

首先我们通过LPP来表示输入，并应用了SupportVector Machine（SVM），Random Forest（RF），使用Logistic回归（LR）和线性判别分析（LDA）获得平衡的分类精度Banlanced classification accuracy。

Banlanced classification accuracy $BCA=average(recall+precision)$

ERP：平均后的EGG

SMPL：单采样EGG

表1：四种基准分类算法在LPP表示方法下对于ERP，SMPL在不同标签上重构的平衡的分类精度。

表中4种算法总的平均配合分类准确度分别是：$LR:0.52$$,RF:0.48,LDA:0.49,SVM:0.51$

对于数据0.74的理解：使用LR算法对ERP原本用LPP表示方法进行训练，然后对ERP进行标签年龄的测试，BCA是0.74。

LR表现总体上比RF，LDA，SVM要好上表显示LR在LLP上总体表现出一些最好的结果，因此在下文中我们仅报告了β-VAE和AE表示的LR结果作为基准（表A3-A4和图A3-A4 给出了β-VAE和AE下分类算法的情况）。

表2：LR vs SCAN， LPP vs AE vs $\beta$ VAE

图2-5 ERP / ERP证明，通过β-VAE和AE预训练提取的表示比通过基线规范LPP管道获得的表示具有更高的总体分类准确性（表2 ERP / ERP 训练/测试单元也同样说明了这一点）。该效果适用于所有分类任务，包括抑郁症和Axis 1诊断。

此外，分类结果的模式与专家临床医生可能预期的相符，从而年龄和抑郁症的分类准确性明显高于瞎猜（chance），而性别和地点则难以从EEG信号中解码。确实，区分研究地点的唯一方法是拾取周围环境差异和本节中列出的其他因素所产生的噪声伪像，而这个差异难以侦测。

当所有模型都在单个EEG试验而不是ERP上进行训练时（参见图2中的SMPL/ERP和表2），类似的模式也适用。虽然从嘈杂的单个EEG试验而非ERPs训练出来的所有模型的最大分类精度往往会下降，但是从β-VAE和AE表示中获得的分类精度仍高于从LPP基线获得的分类精度。

图2：平衡分类精度的后验分布表（表1和表2的图化）。

ERP：平均后的EGG；SMPL：单采样EGG；LLP：基准表示方法；LR：基准分类算法（其他分类算法见表1）在SMPL上训练的模型在SMPL/SMPL中将在其他SMPL上测试，横线表示chance-accuracy（瞎猜猜对的概率）。

基于深度表示的分类对归纳单个EEF轨迹的能力更好对于分类SMPL的时候，预训练时无论用SMPL还是ERP准确度都只有0.5左右，然而，AE和β-AE的表现还是比LPP好分类管道的一个可能的临床应用是实现从单个EEG轨迹中给出在线诊断建议，因此，我们测试了不同表示的分类准确率推广到新的单个EEG轨迹的效果有多好（见图2中 */SMPL的情况，或表2中SMLP的列）。当分类SMPL的时候，无论预训练（表示阶段）使用的是ERP还是SMPL，表现都趋向于平均（~0.5）（见表2中所有SMPL的列）。不过，使用深度表示的分类准确率仍然高于基准LPP。这表明用深度表示学习代替更加人工的标准LPP管道能够允许更好的训练数据效率和节省时间（试验者需花费37倍时间）

深度表示学习从SMPL中重构ERP 由于在单个EEG样本中显示β-VAE和AE具有良好的分类准确性，因此我们测试了它们是否也可以从单个EEG试验中重建ERP。事实的确如此，由预训练模型从单个嘈杂的EEG样本生成的重建看起来与从相应的ERP生成的重建非常相似（如下图3）。请注意，这仅适用于使用ERP数据训练的模型，而不适用于使用单个EEG样本训练的模型对模型有要求，模型必须使用ERP训练，训练完成后，该模型可以从SMPL重构ERP。

图3

解纠缠表示允许可解释分类 为了获得SCAN分类结果，我们根据EEG“图像” x推导了预训练的β-VAE的后验$q_\phi(\mathbb{z}_x|\mathbb{x})$。然后，我们使用预训练的SCAN解码器来获得重构的标签logits $p_\gamma(\mathbb{y}|μ(\mathbb{z}_x))$，使用β-VAE后验均值作为输入（图1，红色路径）。最后，我们将softmax应用于生成的logit，以获得EEG“图像”的预测的5-hot标签。当在完全解开的β-VAE上训练SCAN时，就分类准确性而言，它能够胜过规范的LPP基线（请参见图2和表2，SCAN +β-VAE）。尽管有这样一个事实，即SCAN并未考虑到分类目标。但是请注意，SCAN仅在使用不正确的表示进行训练时才可以工作。的确，在纠缠的AE表示基础上进行训练时，SCAN分类性能无法与其他机会区分开（请参见图2和表A5，SCAN + AE）。为进一步确认解纠缠的作用，我们计算了解缠质量之间的Spearman相关性，通过 UDR分数和最终的SCAN分类准确性。表1显示了年龄，抑郁症和Axis 1 诊断的显着相关性，这表明，如果表示法更加合理，则平均而言，这些因素的分类效果更好。但是，性别或学习地点并非如此。这意味着一些更好的解开模型不包含对这些因素进行分类所必需的信息。实际上，这种信息丢失是β-VAE训练的一种折衷方案，由于实现解纠缠所必需的较高β值引起的压缩压力增加，因此更多的纠缠的β-VAE模型通常会损害所学表示的信息性（Higgins等人，2017年; Duan et al。，2019）

训练的β-VAE模型解纠缠质量（用UDR分数）和来自相对应的SCAN模型的平衡分类精度之间的Spearman相关系数

图4 A， B， C

SACN稀疏度高，可解释能力强在完全解开的β-VAE模型上进行训练时，SCAN决策不仅准确，而且还是在基于少量解开的维度上决策的。这与LR分类器不同，LR分类器的平均稀疏度仅为3.25％，而SCAN的平均稀疏度为87.5％，即使使用L1正则化也是如此。此外，SCAN使用的解缠维数是可以解释的，因此使得SCAN分类决策适合事后分析。图4B显示了推断出的SCAN后部，当出现与男性或女性相对应的1-hot标签，四个研究地点之一以及是否存在抑郁症和1轴诊断时。在大多数情况下，SCAN可以将标签与预先训练的β-VAE中的单个潜在维度相关联（例如gen-der由潜在维度z5表示），并且同一类别标签的不同值对应于不相交的窄高斯分布。这些潜伏数（例如，男性以aGaussianN（0.89,0.49）表示，而女性则以GaussianN（-0.82,0.52）表示，两者都为z5）。我们还可以通过绘制如图4A所示的遍历图来可视化不同的β-VAE潜能所代表的含义（请参见图A8-A10中的更多内容）。

最后，我们还可以从SCAN后验证 $\hat{\mathbb{z}_y}∼\mathcal{N}(\mu(\mathbb{z}_y|\mathbb{y}),σ(\mathbb{z}_y|\mathbb{y}))$进行采样，并使用β-VAE解码器 $p_\theta(\mathbb{x}|\hat{\mathbb{z}}_y)$重构得到的ERP（图1，紫色路径）。用于抑郁标签的此类样品在图4C中可视化。显然，与抑郁症阳性诊断参与者相对应的重建ERP样本在阳性和中性试验（蓝色和红色线条重叠）之间没有差异，而与那些没有抑郁症阳性诊断参与者相对应的重建ERP样本之间对阳性反应的确存在明显差距。和中立审判。因此，我们能够“重新发现”关于快感缺乏症（通常为抑郁）症状的客观生物标志物，从而为将来发现隐藏在EEG数据中的新生物标志物提供了潜力。

4.Conclusins

这项工作提供了第一个证据，即以纠缠为重点的表示学习和结果模型是强大的测量工具，可以立即应用于临床心理学和电生理学的基础研究。特别是，我们已经证明，纠缠的表示学习可以成功地应用于EEG数据，从而可以通过快速监督的重新映射将表示成功地重新用于预测多种临床因素，其表现优于手动设计的典型基线。场地。此外，我们的方法恢复了可用于从新颖的单个EEG轨迹中自动提取降噪的事件相关电位（ERP）的表示形式。最后，学习到的解开表示的单个因素会与临床因素的有意义标记相对应（由SCAN自动检测），从而使人可以理解，并可能为新的生物标记和潜在的精神障碍神经功能改变提供新颖的见解。

原文作者：Garrett Honke∗†X, the Moonshot FactoryMountain View, CAIrina Higgins∗†DeepMindLondon, UKNina Thigpen†X, the Moonshot FactoryMountain View, CA, USAVladimir Miskovic†X, the Moonshot FactoryMountain View, CA, USAKatie Link†X, the Moonshot FactoryMountain View, CA, USASunny Duan†DeepMindMountain View, CA, USAPramod Gupta†X, the Moonshot FactoryMountain View, CA, USAJulia Klawohn‡Florida State UniversityTallahassee, FL, USAGreg Hajcak§Florida State UniversityTallahassee, FL, USA

https://arxiv.org/pdf/2010.15274.pdf

https://openreview.net/pdf?id=TVjLza1t4hI