笔记：1D convolutional neural networks and applications: A survey
2022-11-17 14:06:17 星期四
综述：1D卷积神经网络与应用
CNN是具有交替卷积（Conv层）和子采样层（池化层）的前馈人工神经网络（ANN）
1. 摘要提炼
最近提出了1D CNN（本文2020年online），并立即在一些应用中达到了先进的性能水平，如个性化生物医学数据分类和早期诊断、结构健康监测、电力电子和电机故障检测中的异常检测和识别。
1D CNN的简单紧凑的配置，且在实时，低成本的硬件设备上实现是可行的。
2. Introduction
CNN网络历史
1990年，Yann LeCun制定了BP来培训第一个CNN，即所谓的“LeNet”。[23]
在20世纪90年代和21世纪第一个十年中，CNN已经被用于许多应用中，但很快它们就过时了，原因是：
-
中小型数据库不足以训练具有出色泛化能力的深度CNN。（数据不足）
-
训练一个深度CNN在计算上是非常苛刻的，而且只有在当今的现代图形处理器上才可行。（硬件算力资源不足）
这就是为什么在这二十年中，CNN的应用仅限于小尺寸数据集中的低分辨率（例如缩略图大小）和灰度图像。相反，相比之下，SVM（支持向量机）和BN（贝叶斯网络）都具有较少的参数，这些参数可以很好地优化，尤其是在这种中小型数据集上，并且与图像分辨率无关。
随着AlexNet的成功引入，深度2D CNN的时代已经开始，并在短时间内立即取代了传统的分类和识别方法。
然而，后来使CNN成为主流方法的最重要因素是，通过在新兴图形处理单元（GPU）上使用并行化计算，能够在大规模数据集上训练CNN。
2.1 传统ML与CNN比较：
传统的机器学习（ML）方法通常会执行某些预处理步骤，然后使用固定的和手工制作的特征，这些特征不仅是次优的，而且通常需要很高的计算复杂度，但基于CNN的方法可以直接从手头的原始数据中提取“可学习的”特征，以最大限度地提高分类精度。
2.2 2D CNN在轴承故障诊断中的应用（将1D信号转化为2D信号的方式）
最近，研究人员尝试使用深度CNN对轴承进行故障诊断[34-42]（2016-2017年文章）。为此，采用了不同的转换技术来在用2D中表示1D的振动信号。一种常用的技术是将振动信号直接重塑成一个“振动图像”的nxm矩阵[39]。
[37]使用两个加速度计测量两个振动信号。然后，应用离散傅里叶变换（DFT），将两个变换后的信号表示为一个矩阵，该矩阵可以输入传统的深度CNN。
深度CNN的正确训练需要大量的数据集进行训练，以实现合理的泛化能力。对于许多实际的1D信号应用来说，这可能不是一个可行的选择，因为在这些应用中标记的数据可能很稀少。
2.3 1D CNN在轴承故障诊断中的应用
2015年，Kiranyaz等人[45]提出了第一种紧凑且自适应的1D CNN，用于直接对患者特定的ECG信号进行操作。在相对较短的时间内，一维CNN以其在各种信号处理应用中的最先进性能而受到欢迎。
最近的两项研究（2018-2019年）利用一维CNN来检测轴承的损伤[55-58]。[58]为检测、定位和量化轴承故障，创建了单个和组合的深度1D CNN。本研究中使用的一维CNN的深层结构包括6个大的卷积层，然后是两个FC层。
3. Overview of convolutional neural networks
3.1 2D convolutional neural networks
3.2 1D convolutional neural networks
上一节中常规深度CNN被设计为仅对图像和视频帧等2D数据进行操作。对于某些应用，1D CNN在处理1D信号方面是有利的：
-
一维卷积和二维卷积的计算复杂度有显著差异，在同等条件下(相同的构型、网络和超参数)，1D CNN的计算复杂度明显低于2D CNN。
-
1D CNN具有浅层体系结构（参数更少），网络更容易训练和实施。
-
训练网络硬件需求低，可在CPU上进行。由于其低计算要求，紧凑的1D CNN非常适合实时和低成本的应用，特别是在移动或手持设备上[45-57]。
该1D-CNN的配置由以下超参数组成:
-
图5所示样本1D CNN中隐含CNN和MLP层数分别为3和2
-
所有隐藏CNN层的卷积核大小都是41（默认步长1）
-
各CNN层的子采样因子（池化）为4（默认步长1）
图6-7CNN隐藏层内部结构（图6直接复制[54]文章原图）
3.3 小结介绍了CNN forward-propagation 与back-propagation公式计算过程
4. 1D CNN应用领域
4.1 自动语音识别
该部分共4段, 引文[69-79]
4.2 实时心电图（ECG）监测
1D CNN在实时心电图监测中的应用将在附录A中详细介绍。
4.3 基于振动的民用基础设施结构损伤检测
4.4 轴承故障诊断
在现有的方法中，基于振动的故障检测是揭示、定位和量化轴承元件损坏的最有效和可靠的方法。在基于振动的技术中，基于ML的方法被主要强调，并且更经常用于旋转机械零件的故障诊断。这些方法主要需要从记录的信号中提取损伤敏感特征，以便能够训练分类器用于轴承的状态评估。
5. 分析1D CNN计算复杂度
识别电机故障的平均执行时间，方法1为使用[53]文章中1D CNN方法，方法{2-7}为[91-94]文章中方法
6. Conclusions
我们特别关注那些紧凑型1D CNN，并对其工程应用进行了全面的调查。紧凑型1D CNN可以保证唯一的优势，即是适用于那些标记数据稀少且需要低成本，实时实现的应用。
在本文所涵盖的许多应用中，已经表明1D CNN相对更容易训练，并且在达到最先进性能水平的同时提供最小的计算复杂度。它们特别适用于计算能力和电池寿命有限的移动或手持设备。
[96]中提出了第一个没有上述限制的类CNN网络。这一新一代网络被称为操作神经网络（ONN）
