基于深度卷积神经网络的时间序列图像分类，开源、低功耗、低成本的人工智能硬件提供者

具体的软硬件实现点击 http://mcu-ai.com/ MCU-AI技术网页_MCU-AI人工智能
卷积神经网络（CNN）通过从原始数据中自动学习层次特征表示，在图像识别任务中取得了巨大成功。虽然大多数时间序列分类（TSC）文献都集中在1D信号上，但本文使用递归图（RP）将时间序列转换为2D纹理图像，然后利用深度CNN分类器。时间序列的图像表示引入了1D信号不可用的不同特征类型，因此TSC可以被视为纹理图像识别任务。CNN模型还允许与分类器一起联合自动地学习不同级别的表示。因此，在统一的框架中使用RP和CNN有望提高TSC的识别率。在UCR时间序列分类档案上的实验结果表明，与现有的深度架构以及最先进的TSC算法相比，所提出的方法具有竞争性的准确性。

时间序列是具有自然时间顺序的数据点（测量）序列。许多重要的现实世界模式识别任务都涉及时间序列分析。生物医学信号（例如脑电图和心电图）、金融数据（例如股票市场和货 币汇率）、工业设备（例如气体传感器和激光激励）、生物识别技术（例如语音、签名和手势）、视频处理、音乐挖掘、预测和天气具有时间序列性质的应用领域的示例。

现有的时间序列分类（TSC）方法可以从不同的角度进行分类。从特征类型来看，"频域"方法包括谱分析和小波分析； "时域"方法包括自相关、自回归和互相关分析。从分类策略来看，也可以分为"基于实例"和"基于特征"方法。前者测量任何传入的测试样本与训练集之间的相似性；并为最相似的类分配标签（基于欧氏距离的 1-最近邻 (1-NN) 和动态时间包裹 (DTW) 是此类中两种流行且广泛使用的方法。后者首先转换时间序列进入新的空间并提取更多的区分性和代表性特征，以便由旨在找到最佳分类边界的模式分类器。

最近，深度学习（DL也称为特征学习或表示学习）模型在计算机视觉和语音识别方面取得了很高的识别率。卷积神经网络（CNN）是最流行的深度学习模型之一。与传统的"基于特征"的分类框架不同，CNN 不需要手工制作特征。特征学习和分类部分都统一在一个模型中并共同学习。因此，他们的表现是相互促进的。多层不同的处理单元（例如卷积、池化、S形/双曲正切压缩、整流器和归一化）负责学习（表示）从低级到高级的特征层次结构。本文研究了 TSC 深度 CNN 模型中递归图 (RP) 的性能。RP 提供了一种通过相空间可视化 轨迹周期性质的方法，并使我们能够研究 m 维相空间轨迹的某些方面通过 2D 表示。由于 CNN最近在图像识别方面取得了出色的成果，我们首先将时间序列信号编码为2D图，然后将 TSC问题视为纹理识别任务。使用具有 2 个隐藏层和后跟一个全连接层的 CNN 模型。

深度学习在 TSC 上的应用直到最近才得到充分探索。 CNN在TSC上的应用主要有两种方法：一些方法修改传统的CNN架构并使用一维时间序列信号作为输入，而另一些方法首先将一维信号转换为二维矩阵，然后应用CNN，类似于传统的 CNN 用于图像识别。

递归图(recurrence plot, RP)是分析时间序列周期性、混沌性以及非平稳性的一个重要方法，可以揭示时间序列的内部结构，给出有关相似性、信息量和预测性的先验知识。递归图特别适合短时间序列数据，可以检验时间序列的平稳性、内在相似性。

一维时间序列转换到递归图的实例

任何CNN模型都有两个方面需要仔细考虑：一、设计合适的架构，二、选择正确的学习算法。架构和学习规则的选择不仅要相互兼容，还要适当地适应数据和应用程序。

这里应用了 2 级深度 CNN 模型，其 1 通道输入大小为 28 × 28，输出层有 c 个神经 元。每个特征学习阶段代表不同的特征级别，分别由卷积（过滤器）、激活和池化算子组成。 每层的输入和输出称为特征图。过滤层将其输入与一组可训练的内核进行卷积。卷积层是 CNN 的核心构建块，通过在相邻层的神经元之间强制执行局部连接模式来利用空间局部相关 性。连接是局部的，但始终沿着输入体积的整个深度延伸，以便对空间局部输入模式产生最强 的响应。激活函数（例如 sigmoid 和 tanh）将非线性引入网络，并允许它们学习复杂模型。 这里我们应用 ReLU（整流线性单元），因为它训练神经网络的速度要快几倍 29，并且不会 对泛化精度造成重大损失。池化（又名子采样）降低了输入的分辨率，并使其对先前学习的特 征的微小变化具有鲁棒性。在两阶段特征提取结束时，特征图被展平并输入到全连接（FC）层中进行分类。 FC 层将一 层中的每个神经元连接到另一层中的每个神经元，其原理与传统的多层感知器（MLP）相 同。

训练上述 CNN 架构与 MLP 类似。利用基于梯度的优化方法（误差反向传播算法）来 估计模型的参数。为了更快地收敛，使用随机梯度下降（SGD）来更新参数。训练阶段有两个主要步骤：传播和权重更新。

在 UCR 档案中选定的 20 个数据上，所提出的方法与最先进的 TSC 算法的性能如下表：

提出了一种新的 TSC 管道。利用 CNN 在图像分类方面的高性能，时间序列信号首先转换为纹理图像（使用 RP），然后由深度 CNN 模型处理。该流程具有以下优点： 一、 RP 使我们能够可视化某些方面通过 2D 图像绘制 m 维相空间轨迹，二、 CNN 以监督方式联合自动学习不同级别的时间序列特征和分类。实验结果证明了所提出的管道的优越性。特别是，与使用传统分类框架的 RP 模型和其他基于 CNN 的时间序列图像分类的模型相比，表明：在我们提出的模型中使用 RP 图像和 CNN 可以获得更好的结果。