TimesURL: 用于通用时间序列表征学习的自监督对比学习《TimesURL: Self-supervised Contrastive Learning for Universal Time Series Representation Learning》(通用时间序列表示、自监督对比学习、双重Universums硬负样本、时间重构联合优化)
2024年3月18日，最近有点忙，但是这周四周五都要汇报，不想往后推了，早汇报完早结束，硬着头皮先看这一篇，这篇年前就说要看，还保存了书签，但是一直没看，今天趁着中午的时间看一下。
(现在14:01，开始看，我的草稿箱里躺着的18篇草稿，Sorry，以后有空再填坑.)
论文：TimesURL: Self-supervised Contrastive Learning for Universal Time Series Representation Learning
GitHub：https://github.com/Alrash/TimesURL
AAAI 2024的论文。
摘要
学习适用于各类下游任务的通用时间序列表示法具有挑战性，但在实际应用中却很有价值。最近，研究人员试图利用计算机视觉（CV）和自然语言处理（NLP）中自监督对比学习（SSCL）的成功经验来解决时间序列表示问题。然而，由于时间序列具有特殊的时间特性，仅仅依靠其他领域的经验指导可能对时间序列无效，而且难以适应多种下游任务。为此，我们回顾了 SSCL 所涉及的三个部分，包括：1）设计正对的增强方法；2）构建（硬）负对；3）设计 SSCL 损失。对于 1) 和 2)，我们发现不合适的正负配对构建可能会引入不恰当的归纳偏差，既不能保持时间属性，也不能提供足够的判别特征。对于 3)，仅仅探索片段或实例级语义信息不足以学习通用表征。为了解决上述问题，我们提出了一种名为 TimesURL 的新型自监督框架。具体来说，我们首先引入了基于频率-时间的增强，以保持时间属性不变。然后，我们构建了双重Universums（double Universums）作为一种特殊的硬负性，以指导更好的对比学习。此外，我们还引入了时间重构作为对比学习的联合优化目标，以捕捉片段级和实例级信息。因此，TimesURL 可以学习高质量的通用表征，并在 6 个不同的下游任务（包括短期和长期预测、估算、分类、异常检测和迁移学习）中取得最先进的性能。
(15:23，基金本子的事情来了，先告辞.)
(现在20:42，今天也是一顿饭也没吃的一天，基金本子要ddl了，今天老板，有问题快说出来，哈哈哈哈哈哈哈哈哈哈，老板着急了.)
(现在是3月20日，14:53，打算继续看，明天组会汇报，极限操作，哈哈哈哈哈哈哈哈哈哈哈.)
引言
时间序列数据在现实中无处不在，从天气、经济到交通（Wu 等，2021；Liu 等，2022b；Shi 等，2015）。为多类型下游任务学习信息丰富且通用的时间序列表示是一个基本但尚未解决的问题。虽然自监督对比学习在计算机视觉 (CV)、自然语言处理 (NLP) 以及最近的其他类型模态（Denton 等人，2017 年；Gutmann 和 Hyv¨arinen，2012 年；Wang 和 Gupta，2015 年；Pagliardini、Gupta 和 Jaggi，2017 年；Chen 等人，2020 年）中取得了巨大成功，但其在时间序列中的应用需要量身定制的解决方案。这是由于时间序列数据的高维性和特殊时间特性，以及不同任务对不同语义信息的需求。
为此，我们回顾了 SSCL 所涉及的四个主要部分，包括：1）用于正样本设计的增强方法；2）骨干编码器；3）（硬）负对；4）用于借口任务(一种自监督学习策略，用于在没有标注数据的情况下训练模型)的 SSCL 损失，并努力探索通用表示学习中更有效的时间序列特征捕捉解决方案。由于骨干编码器在时间序列编码器学习中已被广泛研究（Liu 和 Chen 2019；Zhou 等 2021；Wu 等 2023；Liu 等 2022a），我们的注意力主要集中在其余三个部分。
首先，大多数增强方法在应用于时间序列数据时，可能会引入不恰当的归纳偏差，因为它们直接借鉴了 CV 和 NLP 领域的思想。例如，Flipping（Luo 等人，2023 年）将原始时间序列的符号翻转，假定时间序列在上下方向之间具有对称性。然而，这可能会破坏原始时间序列中固有的时间变化，如趋势和峰谷。虽然 permutation（Um 等人，2017 年）会重新排列时间序列中片段的顺序以生成新的序列，但前提是不同顺序下的基本语义信息保持不变。然而，这会扰乱时间依赖性，从而影响过去和未来时间戳信息之间的关系。因此，由于时间序列有价值的语义信息主要存在于时间变化和依赖关系中，这种增强无法捕捉到有效的通用表征学习所需的适当特征。
然后，硬负样本(硬负样本是模型难以正确分类的负样本，通常与正样本在特征空间中非常接近，训练过程中特别关注这些样本，可以使模型更好地泛化到新数据)选择的重要性已在其他领域得到证实（Kalantidis 等人，2020 年；Robinson 等人，2020 年），但在时间序列文献中仍未得到充分探索。由于局部平滑性和马尔可夫特性，大多数时间序列片段可被视为易负样本(易负样本是模型可以轻易正确分类的负样本，与正样本在特征空间中有着明显的区别)。这些片段往往与锚点(锚点是用作参考点，与正负样本一起使用，来训练模型学习区分不同类别或实体，比如一个场景：模型的目标是将锚点与正样本之间的距离最小化，同时将锚点与负样本之间的距离最大化，从而学会区分不同的对象或类别)表现出语义上的不相似性，而且只贡献了很小的梯度，因此无法提供有用的判别信息（Cai 等，2020 年）。虽然纳入少量与锚点语义相似但不完全相同的硬负样本有助于改进和加快学习（Xu 等人，2022 年；Cai 等人，2020 年），但它们的效果被大量的易负样本所掩盖。
最后但同样重要的是，仅使用分割器实例级信息不足以学习通用表示。先前的研究一般将上述任务分为两类（Yue 等，2022 年）。第一类包括预测、异常检测和估算，这些任务更依赖于在片段级捕获的细粒度信息（Yue 等人，2022 年；Woo 等人，2022 年；Luo 等人，2023 年），因为这些任务需要推断特定的时间戳或子序列。第二类包括分类和聚类，优先考虑实例级信息，即粗粒度信息（Eldele 等 2021 年、2022 年；Liu 和 wei Liu 2022 年），旨在推断整个序列的目标。因此，当面对一个任务无关的预训练模型时，如果在预训练阶段缺乏特定任务的先验知识或意识，分段和实例级信息对于实现有效的通用时间序列表示学习就变得不可或缺。为了应对这些挑战，我们在本文中提出了一种新颖的自监督框架，称为 TimesURL，用于学习能够有效支持各种下游任务的通用表征。具体来说，为了保持时间变化和依赖性，我们设计了一种新的基于频率-时间的增强方法，称为 FTAug，它是时域裁剪和频域混频的结合。此外，受矛盾学习(矛盾学习是一种机器学习范式，在无监督学习领域，通过比较样本之间的相似性和差异性来学习数据的有效表示。核心思想是让模型学会区分相似和不相似的数据点)概念的启发，我们精心设计了双重Universums作为硬负样本。它是嵌入空间中的一种特定锚混合，每次都会将特定的正样本（锚）与负样本混合。我们设计的双重Universums分别在实例维度和时间维度上生成，可作为特殊的高质量硬负样本，提高对比学习的性能。此外，我们还发现，单纯的对比学习只能捕捉到一个层次的信息。因此，在我们的论文中，我们联合优化了对比学习和时间重构，以捕捉和利用分段和实例层面的信息。
得益于上述设计，TimesURL 在广泛的下游任务中始终保持最先进（SOTA）的结果，从而证明了其学习时间序列数据的通用和高质量表示的能力。这项工作的贡献可总结如下：
- 我们重新审视了用于时间序列表示的现有对比学习框架，并提出了 TimesURL，这是一个新颖的框架，它可以捕捉段级和实例级信息，通过额外的时间重构模块实现通用表示。
- 我们引入了一种新的基于频率-时间的增强方法，并在对比学习中注入了新的双重 Universums，以解决正负对构建问题。
- 我们通过 6 个基准时间序列任务和约 15 个基线任务评估了 TimesURL 学习到的表示性能。一致的 SOTA 性能证明了表征的普遍性。
相关工作
时间序列的无监督表征学习。时间序列的表征学习已被研究多年（Chung 等人，2015 年；Krishnan、Shalit 和 Sontag，2017 年；Bayer 等人，2020 年）。然而，针对无监督表示学习这一更具挑战性的方面的研究仍然十分匮乏。SPIRAL （Lei 等人，2019 年）通过学习一种能有效保留原始时间序列数据中固有的成对相似性的特征表示，在时间序列数据和静态聚类算法之间架起了一座桥梁。TimeNet （Malhotra 等人，2017 年）是一种递归神经网络，它能训练编码器-解码器对，以最大限度地减小从其所学表征中得到的重构误差。DTCR （Ma 等人，2019 年）将时序重构和 K-means 目标集成到 seq2seq 模型中，以学习特定集群的时序表征。ROCKET （Dempster、Petitjean 和 Webb，2020 年）是一种计算花费小、速度快的分类方法，它使用随机卷积核对时间序列进行变换，并使用变换后的特征来训练线性分类器。因此，以前的许多研究都集中于开发编码器-解码器架构，以尽量减少无监督时间序列表示学习的重构误差。一些研究（Lei 等人，2019 年；Ma 等人，2019 年）试图利用时间序列数据中存在的固有相关性，但未能充分发挥时间序列数据的潜力。
时间序列对比学习。自监督对比学习旨在从数据的不同增强视图中学习不变表征。这是另一种针对未标注数据的表征学习方法，适用于设计好的前置任务。TS-TCC（Eldele 等人，2021 年）侧重于设计一个具有挑战性的借口任务，以便从时间序列数据中进行稳健的表征学习。它通过设计一项艰难的跨视图预测任务来应对不同时间戳和增强所带来的扰动。TNC（Tonekaboni、Eytan 和 Goldenberg，2021 年）讨论了如何通过一种基于邻域的新方法，为非平稳多变量时间序列选择正负对构建，并进行样本权重调整。InfoTS（Luo 等人，2023 年）强调了选择适当扩增的重要性，并设计了一种具有元学习功能的自动选择扩增方法，以防止引入预制知识。TS2Vec（Yue 等人，2022 年）是一个统一的框架，可在不同语义水平上学习任意子序列的上下文表征。CoST（Woo 等人，2022 年）通过利用模型架构中的归纳偏差，为借口任务设计做出了贡献。它特别注重学习分离的季节和趋势表征，并结合了一种新颖的频域对比损失，以鼓励辨别季节表征。然而，它们容易受到不恰当的先验假设、过多的易负样本以及下游任务缺乏足够信息的影响。这些局限性来自于不恰当的增强方法、硬负样本的缺乏，以及对分段和实例级信息利用的忽视。在本文中，我们将在时间序列通用表示学习的统一框架中解决所有这些问题。
拟议的 TimesURL 框架
在本节中，我们将详细介绍新设计的框架 TimesURL。我们首先提出表征学习问题，然后深入探讨包括对比学习和时间重构在内的关键组件的实现。特别是在对比学习部分，我们强调了我们设计的增强和双重 Universums 合成方法。
问题的提出。与大多数时间序列表示学习方法类似，我们的目标是学习一个非线性嵌入函数 fθ，使时间序列集 X = {x1, x2, . , xN} 中的每个实例 xi 都能映射到最佳描述的表示 ri。每个输入时间序列实例 xi ∈ RT×F，其中 T 是时间序列长度，F 是特征维度。第 i 个时间序列的表示为 ri = {ri,1, ri,2, . ，ri,T}，其中 ri,t∈ RK 是时间 t 的表示向量，K 是表示向量的维数。由于我们的模型是分两步进行的，因此我们将利用学习到的表示来完成下游任务。
方法的介绍。如图 1 所示，我们首先通过 FTAug 分别生成原始序列 X 和掩码序列 XM 的增强集 X′和 X′M。然后得到两对原始序列集和增强序列集，第一对（X，X′）用于对比学习，第二对（XM，X′M）用于时间重构。之后，我们用 fθ 对上述集合进行映射，以实现相应的表示。我们鼓励 R 和 R′ 具有变换一致性，并设计一种重构方法，利用 RM 和 R′M 精确恢复原始数据集 X。
要保证上述模型的有效性，需要：1）使用合适的增强方法来构建正对；2）有一定量的硬负样本来进行模型泛化；3）通过对比学习和时间重构损失共同优化编码器 fθ，以捕捉两个层次的信息。下面我们将分节讨论这三个部分。
图 1：TimesURL 方法概览，如图（A）所示，由 FTAug、DualCon 和 Recon 三个组件组成。通过裁剪和混频，一个时间序列 xi 被转换成两个增强序列 xi 和 x′i。然后，编码器提取相应的表示 ri 和 r′ i，即 Repr.标记的矩形框中的彩色片段。在浅紫色矩形框所示的每个集合中，学习到的表征被输入到 DualCon 组件，以合成时间和实例方面的 Universums，从而将它们注入对比学习中。浅蓝色矩形框表示重建数据流。子图 (B) 和 (C) 表示 FTAug 和 Universum 合成的具体过程。
FTAug 方法
对比学习的一个关键组成部分是选择适当的增强，这些增强可以施加一些先验，以构建可行的正样本，从而训练编码器学习稳健且具有区分性的表征（Chen 等，2020 年；Grill 等，2020 年；Yue 等，2022 年）。大多数增强策略都依赖于任务（Luo 等人，2023 年），并且可能会引入对数据分布的强烈假设。更严重的是，它们可能会扰乱对预测等任务至关重要的时间关系和语义一致性。因此，我们选择了上下文一致性策略（Yue 等人，2022 年），该策略将两个增强上下文中同一时间戳的表征视为正对。我们的 FTAug 结合了频率域和时间域的优势，通过频率混合和随机裁剪生成增强上下文。
混频。混频是通过将快速傅立叶变换（FFT）运算计算出的一个训练实例 xi 中的频率成分的一定比率替换为同一批次中另一个随机训练实例 xk 的相同频率成分，从而生成新的上下文视图。然后，我们使用反向 FFT 转换，得到一个新的时域时间序列（Chen 等，2023 年）。在样本之间交换频率成分不会引入意外噪声或人为周期性，可以提供更可靠的增强功能，以保留数据的语义特征。
随机裁剪。随机裁剪是上下文一致性策略的关键步骤。对于每个实例 xi，我们随机抽取两个重叠的时间片段 [a1, b1]、[a2, b2]，使得 0 < a1 ≤ a2 ≤ b1 ≤ b2 ≤ T。最终，所提出的 FTAug 可以保持时间序列的重要时间关系和语义一致性，因此对各种任务都有帮助。值得一提的是，FTAug 仅适用于训练过程。
双重Universums学习
最近的研究（Kalantidis 等人，2020 年；Robinson 等人，2020 年；Cai 等人，2020 年）显示，硬负样本在对比学习中发挥着重要作用，但在时间序列领域却从未被探索过。此外，由于时间序列的局部平滑性和马尔可夫特性，大多数负样本都是易负样本，不足以捕捉时间信息，因为它们从根本上缺乏驱动对比学习所需的学习信号。以图 2 中 UEA 存档中的 ERing 数据集（Bagnall 等人，2018 年）为例，对于每个正锚（红色方形），相应的负样本（灰色标记）包含许多易负样本和少数硬负样本，即许多负样本距离太远，无法对对比损失做出贡献。
我们的双重Universums在实例和时间上都是混合诱导Universums（Mixup Induced Universums，Han和Chen，2023；Vapnik，2006；Chapelle等人，2007），它是嵌入空间中特定于锚的混合，将特定的正向特征（锚）与未标注数据集的负向特征混合在一起。
图 2：UEA 档案中 ERing 数据集上 Universums 的属性。
让 i 表示输入时间序列样本的索引，t 表示时间戳。ri,t 和 r′i,t 表示同一时间戳 t 的两个增强 xi 的表示。第 i 个时间序列在时间戳 t 上的合成时域可表述为
其中，t′是从两个子序列重叠范围内的时间戳集合 Ω 中随机选择的，且 t′ ̸= t。而以（i，t）为索引的面向实例的 Universums 相似，可表述为
这里，λ1、λ2∈（0，0.5] 是随机选择的锚点混合系数，λ1、λ2 ≤ 0.5 则保证锚点的贡献始终小于负样本。
如图 2（a）所示，大多数 Universum（蓝色三角形）更接近锚点，因此可以被视为硬负样本。此外，我们还利用了一项替代任务来表示硬负样本的难度（Kalantidis 等人，2020 年），即 Universum。代理任务的性能如图 2(b)所示，即在 ERing 数据集上使用和不使用 Universums 的 TimesURL 训练中，正样本在负样本中所占的锚点百分比。尽管 TimesURL 的代理任务性能有所下降，但线性分类的性能却从 0.896（无 Universums）进一步提高到 0.985（有 Universums），这意味着额外的 Universum 会增加代理任务的难度，但却能进一步提高模型在下游任务中的性能。因此，TimesURL 中的 Universum 可以看作是高质量的负值。总之，我们可以将 Universum 视为一种高质量的硬负样本。
通过与锚样本混合，Universum 数据落入数据空间目标区域的可能性降到了最低，从而确保了 Universum 的硬负性。此外，双重Universum 集还包含所有其他负样本，这些负样本有利于学习判别样本信息，从而提高模型能力。
针对分段级信息的对比学习
我们采用一种简单直接的方法，将双重 Universums 注入对比学习中，分别作为时间损失和实例损失中的额外硬负样本。时间戳 t 上第 i 个时间序列的两种损失可以表述为
在公式（3）和（4）中，Ni ≜ Zi ∪ Z′ i ∪Ui ∪U′ i，Nj ≜ Zj ∪Z′ j ∪Uj ∪U′ j，其中 Zi ∪Z′ i = {ri,t′ , r′ i,t′ |t′∈ Ω\t} 和 Zj ∪ Z′ j = {rj,t, r′ j,t|j∈ {1, . . |B}\i} 是原始负样本，而 Ui∪U′ i = {rtemp, r′temp i,t′ Uj∪U′ j = {rinst j,t , r′inst i,t′ |t′∈ Ω} 和 j,t |j∈ {1, . , |B|}为公式(1)、(2)中提出的双重 Universums，其中 |B| 表示批量大小。
这两种损失互为补充，既能捕捉特定实例的特征，又能捕捉时间变化。我们使用分层对比损失（Yue 等，2022 年）进行多尺度信息学习，方法是对公式（3）和（4）中沿时间轴学习到的表征进行最大池化处理。在此，我们不得不提到，重要的时间变化信息，如趋势和季节性信息，会在多次最大池化操作后丢失，因此高层对比实际上无法为下游任务捕捉到足够的实例级信息。
实例级信息的时间重构
自监督学习中的掩码自编码技术已被证明在多个领域表现出色，如 NLP 中基于 BERT 的预训练模型（Kenton 和 Toutanova，2019 年）以及 CV 中的 MAE（He 等，2022 年）。这些方法的主要思路是根据部分观察结果重建原始信号。受掩码自编码技术的启发，我们设计了一种重构模块，以保留重要的时变信息。我们的方法使用上述嵌入函数 fθ 作为编码器，将掩码实例映射到潜表征中，然后从潜表征中重建完整实例。在这里，我们使用随机掩码策略。我们的损失函数计算每个时间戳上重建值与原始值之间的均方误差（MSE）。此外，与 BERT 和 MAE 类似，我们只对公式（6）中的掩码时间戳计算 MSE 损失。
这里，我们用 mi∈{0, 1}T×F 表示第 i 个实例的观测掩码，其中，如果 xi,t 缺失，则 mi,t = 0，如果 xi,t 被观测到，则 mi,t = 1，而 ˜xi 是生成的重建实例。与上述符号类似，m′i、˜x′i 和 x′i 具有相同的含义。
总损失定义为
其中 α 是平衡两种损失的超参数。
实验
在本节中，为了评估由 TimesURL 学习到的表示法的通用性和下游任务性能，我们对 6 个下游任务进行了广泛实验，包括短期和长期预测、估算、分类、异常检测和迁移学习。最佳结果以粗体标出。更详细的实验设置和其他实验结果将在附录中介绍。
实施 基准概要见附录。对于 TimesURL，我们使用时态卷积网络（TCN）作为骨干编码器，它类似于 TS2Vec（Yue 等，2022 年）。有关数据集和其他实验实施信息的更多详细信息，请参见附录。
基线 在自监督学习设置之后，我们在类似的实验设置下将 TimesURL 与最新的高级模型进行了广泛比较。由于大多数现有的自监督学习方法无法学习适用于所有任务的通用表征，因此我们只将每种方法用于其专门设计的任务。此外，我们还对每种特定任务的 SOTA 模型进行了如下比较，其中 SSL、E2EL 和 USL 分别是自监督学习、端到端学习和无监督学习的缩写：
预测： 1) SSL：CoST（Woo 等人，2022 年）、TS2Vec（Yue 等人，2022 年）、TNC（Tonekaboni、Eytan 和 Goldenberg，2021 年），2) E2EL：Informer（Zhou 等人，2021 年）、LogTrans（Li 等人，2019 年）、N-BEATS（Oreshkin 等人，2019 年）、TCN（Bai、Kolter 和 Koltun，2018 年）；
分类： 1) SSL：InfoTS（Luo 等人，2023 年）、TS2Vec（Yue 等人，2022 年）、TNC（Tonekaboni、Eytan 和 Goldenberg，2021 年）、TS-TCC（Eldele 等人，2021 年）、TST（Zerveas 等人，2021 年）,2) USL：DTW；
估算： SSL：TS2Vec（Yue 等，2022 年），InfoTS（Luo 等，2023 年）；
异常检测： 1) SSL: TS2Vec(Yue et al. 2022), 2) USL: SPOT(Siffer et al. 2017), DSPOT(Siffer et al. 2017), DONUT(Xu et al. 2018), SR(Ren et al. 2019)。
总体而言，为了进行综合比较，共纳入了约 15 条基线。
分类
设置 时间序列分类在医疗诊断、动作识别等方面具有实际意义。我们的实验假设类标签在实例上。因此，我们采用实例级分类来验证模型在呈现学习中的能力。我们选择了常用的 UEA（Bagnall 等人，2018 年）和 UCR（Dau 等人，2019 年）分类档案。除 DTW 外，所有分类方法的表征维度都设置为 320，然后我们遵循与 TS2Vec 相同的协议，使用带有 RBF 内核的 SVM 分类器在表征之上进行分类训练。
结果 评估结果如表 1 所示。在 UEA 的 30 个单变量数据集和 UCR 的 128 个多变量数据集上，TimesURL 的平均准确率分别为 75.2% 和 84.5%，表现最佳，超过了之前的 SOTA 自监督方法 InfoTS（71.4%）。此外，最佳平均排名也验证了 TimesURL 的显著优势。如前所述，其他方法的失败是很容易理解的，因为 TS2Vec 缺乏足够的实例级信息，而 InfoTS 中的一些增强可能会引入不恰当的归纳偏差，从而破坏时间属性，如分类趋势。此外，包括 T-Loss、TS-TCC、TNC 和 TST 在内的其他对比学习方法只能达到一定水平。由于 TimesURL 使用一般的 FTAug 并包含适当的硬负值，可以捕捉段和实例级信息，因此性能更好。
插补
设置 在现实场景中，不规则和不同步的采样经常发生，这可能会导致缺失，给下游任务带来困难。要解决这一问题，插补是一种直接且广泛使用的方法。我们利用电力场景下的 ETT 数据集（Zhou 等，2021 年）完成了这项任务，在电力场景下，数据缺失问题经常发生。为了比较不同缺失数据比例下的模型容量，我们按照 {12.5%、25%、37.5%、50%} 的比例随机掩码时间点。然后，我们采用与 TimesNet 相同的设置，使用 MLP 网络完成下游任务。
结果 由于 TimesURL 包含一个时间构建模块来捕捉潜在的时间模式，因此我们很自然地将其扩展到下游任务中。如表 2 所示，我们提出的 TimesNet 在三个数据集上仍然达到了 SOTA 性能，并证明了它有能力捕捉复杂时间序列中的时间变化。
短期和长期预测
设置 时间序列预测在我们的日常生活中无处不在。在短期和长期预测中，我们使用了来自不同现实场景的 ETT、电力和天气数据集，后两个数据集的结果见附录。短期预测的范围为 24 和 48，长期预测的范围为 96 到 720。在这里，我们对每个数据集学习一次表征，并可通过线性回归直接应用于不同的视距。这有助于证明所学表征的通用性。
结果 我们在 3 中(原文有错误，应该是表3中)将 TimesURL 与表示学习方法以及端到端预测方法进行了比较，结果表明 TimesURL 在大多数情况下都为短期和长期预测建立了新的 SOTA。
表 3：短期和长期预测 单变量预测结果。
异常检测
设置 从监控数据中检测异常对工业维护至关重要。我们在时间序列异常检测中沿用了流式评估协议（Ren 等人，2019 年）的设置，即确定时间序列片 x1, ... , xt 中的最后一点是否为异常点。在训练过程中，每个时间序列样本根据时间顺序被分成两半，前半部分用于训练，后半部分用于评估。在这项任务中，我们在两个基准数据集上对模型进行了比较，其中包括 KPI（Ren 等人，2019 年）和 Yahoo（Nikolay Laptev，2015 年），前者是一个竞赛数据集，包括多个微小采样的真实 KPI 曲线，后者包括 367 个小时采样的时间序列。
结果 表 4 显示了不同方法在 F1 分数、精确度和召回率方面的异常检测任务性能。在正常情况下，TimesURL 在 KPI 和 Yahoo 数据集上的表现一直很好。
表 4：单变量时间序列异常检测结果。
迁移学习
我们完成了迁移学习任务，以证明 TimesURL 学习到的表示法具有良好的迁移性，在一个条件（即源域）上进行训练，并在其他多个条件（即目标域）上进行测试时，可以实现良好的性能。在此，我们将介绍在两个不同的源域（即 UCR 档案中的 CBF 和 CinCECGTorso）上训练该模型所取得的迁移学习结果。然后，我们评估了该模型在 UCR 档案中前 10 个数据集的其他 9 个目标域的下游分类任务中的表现。CBF 的平均结果为 0.864，CinCECGTorso 的平均结果为 0.895，无转移情况下的平均结果为 0.912。迁移结果表明，在无迁移情景下，其性能具有竞争力。更多迁移学习结果见附录。
消融研究
本文始终强调合适的增强方法、足够多的硬负样本以及适当的分段和实例级信息对于学习通用表征的重要性，并分别设计了 FTAug、Double Universums 和联合优化策略来满足上述要求。为了验证上述三个模块在 TimesURL 中的有效性，表 5 列出了在 UEA 档案中的 30 个数据集上完整 TimesURL 及其五个变体的比较，其中 1) 不含混频，2) 不含实例 Universum，3) 不含时间 Universum，4) 不含双重 Universum，5) 不含时间重构。结果表明，TimesURL 的上述组成部分缺一不可。不得不提的是，构建时间或实例Universum都无法达到最佳性能，而双重Universum则能为时间和实例对比学习提供足够的、具有区分性的信息，从而达到更好的性能。
结论
本文提出了一种名为 TimesURL 的新型自监督框架，它可以为各种下游任务学习通用的时间序列表示。我们引入了一种名为 FTAug 的新增强方法，以保持上下文一致性和时间特征不变，适用于各种下游任务。此外，我们还为对比学习注入了双重Universums，以提高负样本的数量和质量，从而提升对比学习的性能。最后，TimesURL 对对比学习和时间重构进行了联合优化，以捕捉分段级和实例级信息，从而实现通用表示学习。实验结果证明了上述策略的有效性，并表明只要有合适的增强方法、足够多的硬负样本和适当的信息量，TimesURL 就能在六个下游任务中表现出优异的性能。
(现在是20:07，看完了，中间去和实验室师兄师姐一起吃了个晚饭.)
(再过一下内容，理一下思路就开始做明天组会汇报的PPT，加油.)
(呜呜呜呜呜，好累，好想在床上躺一天不起来的那种.)
(做PPT去了o(╥﹏╥)o.)
