论文--一种用于机械系统剩余使用寿命估计的新型双流自注意力神经网络--中文翻译

A novel dual-stream self-attention neural network for remaining useful life estimation of mechanical systems
Danyang Xu, Haobo Qiu *, Liang Gao, Zan Yang, Dapeng Wang

剩余使用寿命( Remaining Useful Life，RUL )估计在评估机械系统健康状态和改进维修计划方面起着至关重要的作用。近年来，基于人工智能的以监测数据为输入的数据驱动方法在机器预测方面取得了重大进展。然而，现有方法普遍忽略了监测数据的相关性和内部差异性，导致估计性能有限。因此，本文提出一种新的数据驱动的RUL估计方法- -双流自注意力神经网络( DS-SANN )。首先，采用多头自注意力机制学习不同监测数据之间的相关性并动态权衡特征以获取全局退化信息。然后，建立双流结构网络，对原始数据和辅助数据同时进行特征提取，综合反映健康状态。原始数据和辅助数据分别代表监测数据的绝对值和内部差异。最后，采用多层感知器对获取的特征进行融合并估计RUL。此外，通过公开的涡轮发动机退化数据集验证了DS - SANN的有效性。与现有的几种预测方法相比，DS - SANN在所有子数据集上平均时表现出更好的估计性能。其中，RMSE和Score估计效果分别提高了21.77 %和32.67 %。

1 Introduction

预测健康管理( PHM )可以根据各种传感器采集的监测数据提供机械系统的健康信息，有助于制定合理的维修计划[ 1 ]。当机械系统工作时，PHM对于保证可靠性和安全性，减少冗余维修操作和成本具有重要意义。作为PHM的主要任务之一，剩余寿命( Remaining Useful Life，RUL )估计对于评估健康状况和避免灾难性故障至关重要[ 2 ]。因此，开发有效的方法从监测数据中提取退化信息，进而给出RUL的准确估计，对机械系统具有重要意义。

总的来说，RUL估计方法大致可以分为三类：基于模型的方法[ 3 ]、基于数据驱动的方法[ 4 ]和混合方法[ 5 ]。基于模型的方法利用机械系统的先验知识建立包含退化规律的物理或数学模型，然后利用实时监测数据更新模型参数，完成RUL估计。常用的基于模型的方法有Eyring模型[ 6 ]、Wiener过程模型[ 7 ]、Weibull分布[ 8 ]等。然而，该方法需要充分的失效机理先验知识来描述退化过程，这在实际中很难获得，尤其是对于复杂系统。数据驱动的预测方法试图直接建立历史监测数据与对应系统健康状态之间的非线性映射关系。经典的数据驱动模型，如支持向量回归( SVR ) [ 9 ]、人工神经网络( ANN ) [ 10 ]、随机森林( RF ) [ 11 ]等，主要包含两个步骤：手工特征设计和退化行为学习。然而，这些方法需要过多的人工干预，并且忽略了手工特征设计与退化行为学习之间的联系，进一步限制了估计精度。近年来，随着深度学习的发展和引入，数据驱动方法通过直接从原始监测数据中学习退化信息，可以有效减少人为干预。混合方法旨在有效结合基于模型的方法和基于数据驱动的方法，以消除不同方法的弱点[ 5 ]。然而，由于系统中复杂的退化机制只有少量关于混合方法的工作。因此，数据驱动方法在RUL估计领域获得了越来越大的吸引力。

深度学习可以从大量的数据中通过多层连接来提取多级和高维特征，已经成功红应用在许多领域。在RUL估计领域，由于深度学习强大的表征能力，在监测数据和RUL之间的非线性的映射能力被自动建立而无需人工特征设计。深度学习方法，例如深度神经网络(DNN),深度自动编码器(DAE),深度置信网络(DBN)，卷积神经网络(CNN)，循环神经网络(RNN),已经被应用于RUL预测，并收获满意的表现。然而，有两个缺点限制了智能RUL预测的拓展应用：

1. 现在的方法通常假设从不同传感器收集到的监测数据平等进行RUL估计。实际上，在不同时间步从不同传感器收集到的监测数据经常包含不同水平的退化信息，且它们对RUL预测的贡献是不同的。因此，对于RUL准确预测，一些基于自相关机制的方法被提出关注在更多在监测数据的客观信息上。Chen等[ 20 ]提出了一种基于注意力的深度学习框架来完成RUL估计。该框架使用LSTM网络提取序列特征，然后使用注意力网络学习特征的重要性以提高估计效果。Liu等[ 21 ]结合特征注意力机制、双向门控循环单元( BGRU )和卷积神经网络对涡扇发动机的RUL进行预测。Wang等[ 22 ]构建了一种新的多尺度卷积注意力网络，并将其应用于铣刀的RUL估计。Cao等[ 23 ]使用时间卷积网络( TCN )和残差自注意力机制预测轴承RUL。然而，上述解决方案往往将经典的深度神经网络(如CNN、LSTM等)与注意力机制相结合进行退化特征提取，这可能导致模型架构更加复杂，进而降低模型效率[ 22 ]。此外，基于注意力的方法通常引入外部可训练的参数矩阵，通过点积或非线性运算获得监测数据的注意力权重，无法充分挖掘其内部信息。而多头自注意力机制可以通过学习监测数据之间的相关性来获得动态的注意力权重，更加关注自身信息。因此，仅基于多头自注意力机制建立简单的网络结构提取降质特征，可以有效聚焦监测数据，进而提高估计模型的性能。
2. 在估计过程中，监测数据仍未得到充分利用。现有的数据驱动方法一般直接从原始传感器数据中提取特征，自然地进行RUL估计。然而，一些具有领域知识的手工特征或辅助数据也包含有价值的、能够反映退化趋势的信息。因此，设计数据变换方法获取辅助数据，建立网络结构对不同方式提取的特征进行融合，可以增强RUL估计性能。例如，Chen等[ 20 ]同时考虑了LSTM网络自动提取的特征和一些有意义的手工特征，用于最终的RUL估计。Shi等[ 24 ]提出了多重堆叠稀疏自编码器，可以从原始振动信号中的不同特征域学习更多有价值的特征用于刀具磨损预测。这些方法证明了通过不同的技术从监测数据中挖掘更多的特征是提高预测精度的有效途径。然而，大多数方法在获取辅助数据时忽略了监测数据的内部差异。在实际情况中，机械系统的个体差异导致在健康状态下测量的监测数据不同[ 25 ]，间接限制了大多数预测模型的有效性。因此，从内部差异中提取特征，描述监测数据从初始状态到当前状态的相对变化，可以减少个体差异带来的负面影响，进一步提升估计性能。

基于上述分析，本文提出了一种数据驱动的RUL估计方法- -双流自注意力神经网络( DS-SANN )，通过利用相关性和内部差异信息丰富退化特征，提高了预测精度。首先，采用多头自注意力机制学习不同监测数据之间的相关性，并对特征进行动态加权，获取与健康状态对应的全局退化信息。然后，为了更全面地反映健康状态，建立双流结构网络，从原始数据和辅助数据中同时提取特征。原始数据代表监测数据的绝对值。此外，我们开发了数据转换算法，以获得代表监测数据内部差异的辅助数据。最后，多层感知器通过整合得到的退化特征来估计RUL。进一步，我们将该方法应用于涡轮发动机公共退化数据集，验证其估计效果。本研究的主要贡献总结如下：

• 我们提出了一种新的基于多头自注意力机制的表示学习方法。该机制可以学习不同监测数据之间的相关性，有效地关注自身信息。
• 本文提出了一种基于领域知识的数据转换算法来获取代表监测数据内部差异的辅助数据。我们建立了双流结构网络来同时从原始和辅助数据中提取特征，并利用所有退化信息来增强RUL估计的性能。
• 我们提出了一种新的数据驱动的机械RUL估计方法，并在基准涡扇发动机数据集上进行了一系列实验。在对所有子数据集进行平均时，所提出的DS - SANN比现有的几种数据驱动的预测方法表现出更好的估计性能。

本文余下内容安排如下：第二部分对RUL估计问题进行数学建模，并简要阐述相关工作，包括基于深度学习的RUL估计方法和自注意力机制。然后，第3节介绍了用于RUL估计的DS - SANN的细节。接下来，实验实施和实验结果分别在第4节和第5节给出。最后，在第6节给出了结论和未来的工作.

2 问题假设和相关工作

2.1 问题假设

在机械领域，RUL估计是以信号传感器(如速度、压力、温度等)采集的监测数据作为输入，以分配的RUL作为输出的回归问题。为了清楚地表达这个问题，首先引入标准符号。设\(X\)表示从\(n\)个机械系统采集的监测数据。第\(i\)个样本的数据可以表示为：

\[X_i=(X_i^1, X_i^2,\cdots,X_i^t, \cdots,X_i^{T_i}),\text{for} \quad i \in \left\{1,2,\cdots,n\right\} \]

在这里\(X_i^t\in R^M\)表示在样本\(X_i\)第t个时间步的数据，M是监测传感器的数量。\(T_i\)是第\(i\)个样本的时间步数量。此外，此外，让S表示可能严重影响机械系统运行状态的设置数据。例如，飞机发动机的飞行高度、马赫数和节气门旋转角度（TRA）被视为设置数据。最后，让\(RUL_i^t\)表示对应于样本\(X_i^t\)的RUL。综上所述，用于估计RUL的数据可以表示为（X,S,RUL）。对于这个问题，我们的目标是建立一个基于历史监测数据的RUL估计模型，然后将其应用于实时监测数据的RUL估计。

2.2 相关工作

用于RUL估计的深度学习。 最近，各种深度神经网络已被提出用于不同的PHM任务。在RUL估计的背景下，大多数现有的方法都是建立在CNN[18]和RNN[19]上的。CNN是最受欢迎的深度学习方法之一，因为它具有强大的表征学习能力，并已被很好地应用于RUL估计中。例如，Li等人[2]提出了一个新的深度CNN模型来估计发动机的RUL。Zhu等人[26]提出了一种基于时频表示和多尺度CNN的新型深度特征学习方法。此外，RNN对时间序列数据有很强的处理能力，可以更适合于RUL的估计。作为RNN的流行变体，LSTM可以捕捉长期依赖性，并解决RNN的梯度消失问题。这些方法在 RUL 估算中取得了很好的效果。Shi等人[27]提出了一个用于退化分析和RUL预测的双LSTM框架。Liu等人[28]创造性地构建了一个基于LSTM和聚类分析的新型预测框架，以实现对航空发动机更精确的RUL预测。Fu等人[29]使用深度残差LSTM和领域适应性来提高预测性能。

自注意机制。 凭借强大的形成过滤能力，注意力机制使基于深度学习的方法能够提高任务处理的效率和准确性。通过关注对当前任务更重要的信息来实现性能提升。最近，注意力机制已经成功地应用于许多研究领域，如图像处理[30]、自然语言处理[31]和故障诊断[32]。作为注意力机制的一个变种，自我注意力机制可以通过测量同一序列中不同部分的相关性来捕捉全局依赖性，并逐渐成为人工智能的研究重点。Lin等人[33]引入了自我注意来提取可解释的句子嵌入。Vaswani等人[34]采用多头自注意力网络进行机器翻译任务，取得了显著的效果。Zhao等人[35]建立了一个以自我注意为基本构件的图像识别模型。从上述研究来看，基于自觉性的模型在自然语言处理和图像处理任务中都取得了优异的表现，表明其有效性和普遍性。在PHM领域，Liu等人[36]提出了一种新型的基于Transformer的神经网络模型，用于精确的刀具磨损估计，并采用LSTM来增强捕捉位置信息的能力。Xia等人结合LSTM和自注意机制，有效地估计机械系统的RUL。

与经典的基于深度学习的RUL估计方法不同，我们提出了一种新的完全基于多头自我关注机制的表征学习方法，它不依赖于RNN/CNN。该方法可以通过计算输入数据之间的相关性来捕捉全局信息，并在训练过程中更加关注重要信息。此外，还建立了一个双流结构网络，以加强具有内部差异的表示。

3 Proposed DS-SANN for RUL estimation

在本节中，我们介绍了用于机械系统RUL估计的深度学习预测模型DSSANN。图1显示了提出的DS-SANN架构。它由两个主要部分组成：特征提取子网络和RUL估计子网络。在DSSANN中，通过数据转换算法获得的原始数据和辅助数据被作为输入。然后，特征提取子网络通过多头自我注意机制和双流结构自动学习综合退化信息。最后，MLP融合了所有的特征，并给出了RUL的估计。

3.1 特征提取子网络

3.1.1 多头自注意力机制

在这项研究中，我们使用了多头自留地机制的一个变种来进行退化特征提取。首先，多头机制是在同一输入上多次应用自我注意操作，并将每个头的输出合并为最终特征。因此，通过这种机制可以学到更多不同方面的信息。接下来，自我注意机制可以有效地测量同一输入的不同部分之间的相关性，以加强对关键退化特征的关注。在下文中，我们将描述这个过程在RUL估计中的具体实现细节。

对于一个指定的RUL估计任务，假设输入\(X\)是一个从 \(f\) 个传感器在 \(t\) 个时间点收集的二维矩阵数据。如图2(a)所示，多头自注意力机制首先将 \(X\) 嵌入到多个子空间，以关注不同方面的信息。具体来说，每个自留地头单独提取特征，然后将所有自留地头获得的退化信息合并为最终的多头特征。在这里，我们并行执行\(h\)个自注意头 图2(b)显示了自我注意机制的细节，包括线性和缩放点积注意操作。在这个机制中，需要三个矩阵来获得输出，通常称为查询（\(Q\)）、关键（\(K\)）和价值（\(V\)）。

以第1个自我注意头为例，我们首先使用线性投影将\(X\)映射为注意权重矩阵： \(Q_i\), \(K_i\), 和 \(V_i\)。这些矩阵是通过在不同的时间步骤对输入的不同权重得到的，可以表示为：

\[Q_i=XW_i^Q,K_i=XW_i^K,V_i=XW_i^V \]

其中\(W_i^Q\)、\(W_i^K\)和\(W_i^V\)是对应于\(Q_i\)、\(K_i\)和\(V_i\)的线性投影参数矩阵。而这些参数将在训练过程中被学习。在注意力权重矩阵中，Qi和Ki用于通过缩放的点积注意力操作计算自注意力权重矩阵atti，可表示为：

\[att_i=\phi\left(Q_iK_i^T/\sqrt{d}\right) \]

其中，\(d\) 代表参数矩阵的维度。\(\phi\) 是 \(\text{softmax}\) 激活函数，用于提高非线性特征提取能力。值得注意的是，由于自我注意权重矩阵是通过计算不同传感器的相应特征之间的相关性得到的，它包含丰富的全局退化信息。然后，通过在\(att_i\)和\(V_i\)之间进行矩阵乘法，生成自我注意特征头\(i\)，可以表示为：

\[\text{head}_i = \text{att}_iV_i \]

最后，根据（5），将所有由自留地头提取的特征矩阵串联起来，得到多头特征。

\[\text{multihead}=concat(\text{head}_1,\cdots ,\text{head}_h). \]

考虑到用于RUL估计的特征提取不需要与输入矩阵保持相似的尺寸，这里省略了传统多头自留地机制的最后线性映射步骤。通过上述操作，基于多头自留地机制的特征提取可以自动捕获丰富的退化信息，并动态地聚焦于重要的特征，以提高RUL估计能力。

3.1.2 双流结构

对于数据驱动的方法，由多个传感器收集的监测数据是RUL预测的基础，对估计性能至关重要。因此，从监测数据中挖掘更多的特征对提高准确率意义重大。在这一部分中，我们首先提出了一种数据转换方法来获得辅助数据，然后建立一个网络结构，将从原始数据和辅助数据中学习到的特征协同融合起来。

通常，机械系统的退化过程包括两个阶段：正常运行阶段和退化阶段[39]。在正常运行阶段，传感器的测量值是稳定的，而在退化阶段，传感器的测量值会发生明显变化。然而，由于机械系统的个体差异，在其正常状态下收集的传感器测量数据是不同的[25]。例如，图3显示了两个典型机械系统在整个生命周期内的传感器监测数据[38]。可以发现，： (1) 监测数据随着运行周期的增加而单调上升，当系统不能再使用时，传感器值接近相同的阈值S2。此外，机械系统的安全运行区域往往与传感器测量值直接相关[38]。这说明监测数据的绝对值包含有价值的退化信息，可以指示故障状态。(2) 系统正常状态下的监测数据是相互区别的，这就导致了即使是相同的传感器值，指示的健康状态也不相似。例如，当传感器数据在S1左右时，系统A处于正常运行阶段，而系统B则处于退化阶段。因此，我们可以抓住描述监测数据从初始状态到当前状态的相对变化的内部差异，以减少个体差异的负面影响，使神经网络更好地表达退化过程。

在这里，我们提出了一个用于特征提取和融合的双流框架，以探索更多的可用信息。这些信息包括： (1）由传感器实时测量的大量数据，称为原始数据；（2）监测数据的内部差异，称为辅助数据。为了获得原始数据，我们可以对原始监测数据应用常规的数据预处理方法，如传感器选择和数据归一化。此外，我们提出了一种数据转换算法，以获得代表监测数据从初始状态到当前状态的内部差异的辅助数据。这里，第i个样本的辅助数据可以表示为：

\[A_i=\left(A_i^1, A_i^2,\cdots,A_i^t,\cdots,A_i^T \right), for\quad i\in\left\{1,2,\cdots,n\right\}, \]

\[A_i^t=\left(a_{i,1}^t,a_{i,2}^t,\cdots,a_{i,m}^t,\cdots,a_{i,M}^t\right),for\quad t\in\left\{1,2,\cdots,T_i\right\}, \]

\[a_{i,m}^t=x_{i,m}^t-x_{i,m}^{initial}, for\quad m\in \left\{1,2,\cdots,M\right\} \]

其中，\(A_i^t∈R^M\)代表样本\(A_i\)中第\(t\)个时间步骤的辅助数据。\(x_{i,m}^t\)和\(x^{initial}_{i,m}\)分别表示第m个监测传感器的当前值（第\(t\)个时间步骤）和初始值。辅助数据\(a_{i,m}^t\)是通过减去\(x_{i,m}^t\)和\(x^{initial}_{i,m}\)得到的，表示健康状态的相对变化。对于单一运行条件下的机械系统，初始状态为\(x_{i,m}^t\)；而对于具有多种运行条件并在动态变化的运行条件下运行的机械系统，不同运行条件下的初始值是通过线性最小二乘法拟合得到。值得注意的是，辅助数据的获取是基于原始数据进行的。在数据处理后，对原始数据和辅助数据进行多头自适应操作，然后将提取的特征作为完整的降级特征进行级联。因此，受益于双流结构，特征提取子网络可以从监测数据中学习更多的信息，并促进RUL 的评估性能。

3.2 RUL评估子网络和网络训练

多层感知器（MLP）是一种前馈神经网络，它通过将一组输入向量映射到输出向量来逼近数据中的线性和非线性关系。因此，在本研究中，MLP被用来执行RUL回归任务。MLP的网络结构由三部分组成：输入层（一层），隐藏层（一层或多层），以及输出层（一层）。同一层的神经元之间没有直接联系，而相邻层的神经元则通过加权求和实现完全连接。在这种方法中，由多头自我注意（MHSA）机制捕获的退化信息被用作MLP的输入。每个数据流的特征提取可以表示如下：

\[Original Stream:feature_{ori}=MHSA(X) \]

\[AuxiliaryStream:feature_{aux}=MHSA(A) \]

虽然RUL估计可以通过MLP结合每个单独的数据流提取的特征来实现，但本文提出采用双流结构，以丰富的特征来提高RUL估计的效果。因此，所有由MHSA机制提取的特征都是基于（11）的扁平化和串联。

\[Dual Stream:feature=concat(flatten(feature_{ori})+flatten(feature_{aux})) \]

然后MLP通过隐藏层进行近似计算，并在输出层获得估计的RUL。采用tanh函数作为激活函数。此外，我们在RUL预测子网络中使用了dropout技术[40]，以减少过拟合，增强DS-SANN的稳健性。

网络训练是通过反向传播（BP）算法完成的。由于RUL估计是一个回归问题，我们选择平均平方误差（MSE）作为网络参数优化的损失函数。这个函数描述了标记的RUL和估计的RUL之间的偏差，其表述如下：

\[loss=\frac{1}{N}\sum_{i=1}^N(RUL_i^{'}-RUL_i)^2, \]

其中\(N\)为样本数，\(RUL_{'}^i\)为估计值，\(RUL_i\)为标注值。通过修正和调整网络的权重和偏置向量，使损失函数最小化。此外，本文使用均方根算法（RMSProp）[41]作为优化算法来解决大规模数据的参数优化问题。

3.3 预测步骤

在这一节中，我们开发了一个数据驱动的预测框架，可以从监测数据的绝对值和内部差异中捕捉和整合退化的特征，其流程图见图4。程序包括三个主要阶段：数据预处理、估计模型的离线构建和RUL的在线估计。第一阶段是为离线建模和在线估计准备监测数据。为了提高DS-SANN的训练效率和预测性能，采用数据处理方法对从机械系统获得的原始监测数据进行预处理。本文使用的数据处理方法，如数据归一化和滑动时间窗，将在第4节详细介绍。此外，我们采用提出的数据转换算法，从原始监测数据中获得辅助数据。然后在离线建模阶段，将训练数据集的原始数据和辅助数据作为输入，建立一个新型的DS-SANN模型。算法1显示了拟议的DSSANN模型的算法细节。这个阶段的输出是一个训练有素的预后模型。最后，在在线估计阶段，基于测试数据集和训练有素的预知模型，可以以可忽略的时间消耗实现RUL估计。

4 Experimental setup

4.1 数据描述

本研究中使用的C-MAPSS数据集[38]是NASA通过商业模块化航空推进系统模拟产生的涡轮风扇发动机退化数据。它由4个具有不同故障模式和运行条件的子数据集组成，如表1所述。每个子数据集包含几个涡轮风扇发动机的退化数据，其中包括3个会严重影响发动机性能的设置参数和21个从涡轮风扇发动机的不同部件收集的包含退化信息的传感器信号，如温度、压力、速度等。数据集中的涡扇发动机通常被认为是在健康状态下开始运行。随着运行周期的增加，发动机开始退化，直到它们不能再执行常规功能，这被认为是故障状态。在本实验中，包含多个涡扇发动机从开始到故障的退化传感器数据的训练数据集被用于DS-SANN模型的离线训练。然后，我们采用包含发动机退化数据的测试数据集，在故障发生前的未知时间点结束，实现在线RUL估计。需要指出的是，本研究对每个子数据集进行模型训练和测试。

4.2 数据预处理

4.2.1 传感器选择

本研究中使用的C-MAPSS数据集[38]是NASA通过商业模块化航空推进系统模拟产生的涡轮风扇发动机退化数据。它由4个具有不同故障模式和运行条件的子数据集组成，如表1所述。每个子数据集包含几个涡轮风扇发动机的退化数据，其中包括3个会严重影响发动机性能的设置参数和21个从涡轮风扇发动机的不同部件收集的包含退化信息的传感器信号，如温度、压力、速度等。数据集中的涡扇发动机通常被认为是在健康状态下开始运行。随着运行周期的增加，发动机开始退化，直到它们不能再执行常规功能，这被认为是故障状态。在本实验中，包含多个涡扇发动机从开始到故障的退化传感器数据的训练数据集被用于DS-SANN模型的离线训练。然后，我们采用包含发动机退化数据的测试数据集，在故障发生前的未知时间点结束，实现在线RUL估计。需要指出的是，本研究对每个子数据集进行模型训练和测试。

4.2.2 数据归一化

由于各种类型传感器的测量值存在明显差异，我们采用最小-最大归一化方法，将所选传感器的测量值归一到同一范围，这样可以提高DS-SANN的学习效果和收敛速度。然而，在机械系统的实际运行中，不同工况下传感器测量值的变化包括两部分：（1）由不同的设置参数引起的测量值变化，这些参数并不反映健康状态；（2）由机器退化引起的测量值变化。因此，我们在本实验中采用了自适应的最小-最大归一化方法。首先，采用Kmeans聚类算法对每个数据集的传感器测量值按照工作状态（OC）进行分类。对于C-MPASS数据集，通过设置输入参数模拟涡扇发动机的运行条件，其中包括高度、马赫数和TRA[38]。经过聚类，可以得到六种不同的运行条件，如表2所列。然后，在不同的运行条件下对传感器测量结果进行归一化。因此，对应于第j个传感器和第k个工作条件的原始第i个数据点被转化为：

\[x_{(i, j, k)}^{n o r m}=\frac{2\left(x_{(i, j, k)}-x_{(j, k)}^{\min }\right)}{\left(x_{(j, k)}^{\max }-x_{(j, k)}^{\min }\right)}-1, \]

其中\(x^{norm}_{(i,j,k)}\)表示归一化的监测数据，\(x^max_{(j,k)}\)，\(x^{min}_{(j,k)}\)是分别对应于第 \(j\) 个传感器和第 \(k\) 个工作状态的原始监测数据的最大值和最小值。图5显示了归一化步骤之前和之后的发动机监测数据。示例发动机选自FD002子数据集，该数据集包含六个运行条件，传感器11代表高压压缩机出口的静压。可以看出，传统的归一化操作可以将监测数据转换成一个固定的范围，但数据分布显示为分散的。而经过自适应归一化操作后，本实验中使用的监测数据也可以转换为固定范围，并显示出清晰的退化趋势，这对RUL的估计是有利的。

4.2.3 时间窗处理

RUL预测是一个由多变量时间序列驱动的问题，不同时间点的传感器数据之间的相关性是非常重要的。为了获得尽可能多的信息，我们利用滑动时间窗的方法来处理监测数据，正如[2]中所做的那样。让\(X_i =\left\{ X_i^t\right\}^{T_i}_{t=1}\)表示第 \(i\) 个发动机的原始时间序列，其中 \(T_i\) 表示时间序列的长度。滑动时间窗算法通过对序列数据的滑动时间窗生成估计模型的输入数据，输入数据可以表示为：

\[T(X_i)=\left\{\left( X_i^{t-T_w+1},X_i^{t-T_w},\cdots,X_i^t\right)\right\}_{t=T_w}^{T_i} \]

其中 \(T\) 表示分割函数，\(T_w\) 为时间窗口的大小。

4.2.4 剩余使用寿命标签

本文提出的DS-SANN是以监督的方式进行训练的，因此合理地确定与输入数据相对应的预期输出意义重大。然而，在现代工业应用中，在每个时间步长评估机械系统的健康状态是非常耗时和具有挑战性的。因此，通常采用分片线性退化模型来设置RUL标签，这种方法在C-MAPSS数据集上已被验证是可行的[2, 19, 21]。在初始阶段，发动机稳定运行，RUL 值保持不变；而在退化阶段，发动机恶化，RUL 值线性下降。整理后的 RUL 标签的公式如下：

其中，Rreal和Rlabel分别表示训练样本的真实RUL和校正的RUL标签。Rinit表示初始阶段的RUL。

4.3 评价指标

4.4 实验设置

在本文中，所有的实验都是在配备了16G内存、AMD Ryzen 5 3500X CPU和GeForce RTX 2060 GPU的个人电脑上进行。本文提出的方法由深度学习库 "Keras 2.1.6′′"和 "TensorFlow 1.15.2′′"作为后端实现，编程工具为 "Python 3.6.2′′"。

在实验前，利用交叉验证和网格搜索策略来调整一些关键的超参数，如参数矩阵的维度d，头数h，以及辍学率。在这个过程中，随机挑选出原始训练数据的10%作为验证集，其余90%用于训练模型。早期停止是为了获得最佳的训练历时数，以避免过度拟合。具体来说，最大的训练历时被设置为500，耐心被设置为20。此外，学习率的衰减规则是根据ReduceLROnPlateau函数设置的，如果损失函数在3个epochs内没有下降，学习率就会减少80%。超参数的选择标准是模型在验证集上的估计性能。具体来说，其他的超参数包括批次大小、Rinit、MLP中的神经元都是根据以前对类似数据集的一些分析[2, 44]而设置。表3列出了DS-SANN的详细超参数。下标ori和aux代表原始和辅助数据的特征提取流。

在确定超参数后，原始训练数据集的所有样本都可以用于后续的实验。这些实验在训练过程中采用了不同的学习率策略。在第一阶段，学习率为0.001，用于快速更新可训练参数；在第二阶段，学习率为0.0002，用于微调可训练参数以获得稳定的收敛结果。每个实验运行20次，并计算平均值作为实验结果，以减少随机性的影响。

5 实验结果和讨论

在本节中，我们通过C-MAPSS数据集验证了拟议的DS-SANN的估计性能。首先，我们将提出的DS-SANN应用于测试数据集，并分析其估计结果。然后，设计了实验来分析时间窗口大小对估计性能的影响以及双流网络结构带来的性能改进。此外，还将RUL的估计结果与最先进的方法进行了比较。

5.1 在测试数据集上的实验结果

训练好的DS-SANN模型被用来估计测试数据集中发动机的RUL，表4列出了实验结果。通过比较四个子数据集的性能结果，可以发现在相同的操作条件下，FD001的RMSE和Score值低于FD003；FD002的RMSE和Score值低于FD004。因此，我们可以发现，由于多种故障模式的影响，拟议方法的计算性能下降。同时，考虑到多种运行条件的复杂性，FD001和FD003（在单一运行条件下）可以获得比其他两个子数据集更好的预测结果。此外，通过比较模型的训练时间，我们可以得出结论，该方法能够以较高的效率训练预测模型。然而，由于训练样本的数量不同（如表1所列），FD002和FD004的估计模型比其他两个估计模型需要更多的训练时间。

图6显示了CMAPSS数据集中所有发动机单元的RUL估计结果。测试的发动机单元按RUL标签的升序排列。可以看出，大多数估计的RUL值（红色），特别是那些代表健康状态和接近故障状态的RUL值，都非常接近标签值（黑色），这表明该方法可以达到很好的预测性能。图7详细显示了测试发动机单元的寿命RUL估计结果。我们从每个测试子数据集中选择发动机单元进行性能演示。可以看出，在运行的早期阶段，估计的RUL基本不变，这表明发动机是健康的。随着运行周期的增加，估计的RUL呈现出下降的趋势，显示出发动机处于退化状态。此外，表5列出了不同阶段（包括整个寿命周期、最初的20%寿命周期、中间的60%寿命周期和最后的20%寿命周期）的测试发动机单元的RUL估计的平均绝对误差（MAE）和标准偏差（STD）。"MAE "和 "STD "反映了RUL估计在平均水平和波动方面的效果，定义如下：

\[\text{MAE}=\sum_{i=1}^n |d_i|/n, \]

\[\text{STD}=\sqrt{\frac{1}{n}\sum_{i=1}^n(|d_i|-MAE)^2} \]

在初始20 %寿命周期内，可以稳定地得到误差较小的估计结果。虽然最终20 %寿命周期内的估计结果稳定性稍差，但平均误差仍然较小。但与其他两个阶段相比，中间60 %寿命周期的估计结果更不稳定，误差更大。此外，我们可以得出健康阶段和退化后期的估计精度优于退化前期。原因有三：( 1 )健康发动机的监测数据变化不大，识别简单；( 2 )当发动机处于退化初期时，其退化行为微弱且难以检测或量化；( 3 )随着失效的临近，退化行为增强，退化信息增多，预测性能变好。

5.2 时间窗大小分析

滑动时间窗方法是RUL估计过程中重要的数据预处理步骤，可以收集更多的退化信息用于预测。然而，时间窗口大小的选择可能会对估计性能产生显著影响。为了分析这种影响，从( 10、20、30、40、50、60)列表中选择不同的时间窗口大小进行RUL估计。这里，时间窗口大小以周期为单位。值得注意的是，有几个发动机单元的监测数据长度短于设定的时间窗口大小，因此为了更全面的分析，将这些样本剔除。

图8显示了CMAPSS数据集上不同窗口大小的RMSE值的箱形图。对于FD001数据集，当Tw从20增加到30时，估计性能迅速提高。然而，当Tw继续增加时，其性能逐渐下降。FD001数据集是在相同的操作条件下收集的，只包含一种故障模式，所以数据分布相对简单。虽然DS-SANN可以在较长的时间窗口大小下考虑更多的退化信息，但模型参数的增加和训练样本的减少可能导致过拟合，并进一步影响估计性能。对于其他数据集，随着Tw的增加，整体性能变得更好，但过程中会出现轻微的波动。这表明，这些更复杂的数据集需要更多的退化信息来实现性能的提升。根据分析结果，对于具有不同特征的数据集，时间窗口大小的选择是不同的。在本研究中，考虑到FD001、FD002、FD003和FD004中监测数据的最小周期为31、21、38和19，时间窗口的大小分别设置为30、20、30和15。

5.3. 双流结构的好处

本文提出的双流架构同时从原始数据和辅助数据中提取特征，对提高估计精度起到了至关重要的作用。本部分通过几个对比实验来清晰说明双流结构的好处。这里，我们讨论了三种情况：( 1 )仅有原始数据作为输入的单流自注意力神经网络，即\(h_{ori} = 6\)且\(h_{aux} = 0\)，记为\(\text{SANN-ori}\)；( 2 )仅有辅助数据作为输入的单流自注意力神经网络，即\(h_{ori}=0\)且\(h_{aux}=6\)，记为\(\text{SANN-aux}\)；( 3 )同时有原始数据和辅助数据作为输入的单流自注意力神经网络，记为DS-SANN。这些情况的实验结果如表6和图9所示，其中最后一行的\(imp\)表示本文提出的DS-SANN相对于其他情况的改进。并改进计算如下：

\[imp=1-\frac{result\quad of \quad \text{DS-SANN}}{best\quad result\quad of\quad other\quad compared\quad methods} \]

可以观察到，所提出的双流网络在RMSE和Score上的性能优于单流结构的网络。实验结果表明，本文提出的双流架构的预测方法能够从监测数据中捕获更多的特征，有助于提升预测性能。

此外，考虑到头数是特征提取的关键参数，本节讨论了原始数据特征提取流和辅助数据特征提取流中不同头数组合对估计性能的影响。表7列出了四个子数据集的实验结果。结果表明，对于FD002和FD004数据集，双流结构中头数的变化对预测结果影响不大。然而，对于FD001和FD003数据集，辅助数据特征提取流中头数的增加会导致网络性能出现不同程度的下降。此外，本文选取的超参数，即\(h_{ori} = 5\)和\(h_{aux}=1\)，可以获得最好的估计效果。值得注意的是，所提模型中的总头数是恒定的，因此原始和辅助特征提取流的不同头数组合并不影响模型训练的效率。

5.4 与现有方法的比较

在这一部分，为了说明所提出的DS - SANN的有效性和优越性，我们将我们的方法与几种先进的方法进行了比较，包括RF [ 17 ]，CNN [ 45 ]，LSTM [ 46 ]，MODBNE [ 17 ]，DCNN [ 2 ]，LSTM with attention ( LSTM-A ) [ 20 ]，基于特征注意力的BGRU CNN模型( AGCNN ) [ 21 ]。表8列出了在基准数据集C - MAPSS上的实验结果对比，其中最后一行的imp表示本文提出的DS - SANN相对于现有方法的改进。在该表中，' / '表示估计性能没有提高。值得一提的是，由于FD002和FD004数据集比另外两个数据集有更多的测试样本，因此与测试样本数相关的评分值明显更高。

表8最后一列比较了所有子数据集上的整体结果，表明本文提出的DSSANN的整体性能优于其他方法。RMSE和Score估计效果分别提高了21.77 %和32.67 %。具体来说，本文提出的SANN (没有双流架构)的实验结果较其他方法有一定程度的提升。这表明多头自注意力机制可以有效提高估计精度。另外，与SANN相比，所提出的DS-SANN在RMSE和得分方面都有明显改善，这说明引入辅助数据和建立双流网络结构可以进一步提高估计模型的性能。此外，FD002和FD004数据集的估计结果比其他两个数据集有更明显的改善。这是因为不同工况下发动机的个体差异（FD002和FD004）更为复杂，而辅助数据的特征提取则有效降低了个体差异的负面影响。虽然对于FD003数据集，所提出的DS-SANN在得分上没有明显的改善，但仍能取得可接受的结果。然而，分别比较FD003/FD004和FD001/FD002，可以发现多种故障模式使监测数据更加复杂，很难获得准确的估计。因此，考虑多种故障模式的RUL预测是值得进一步研究的。此外，可以看到FD002和FD004数据集不能获得与其他数据集可比的估计结果，这是由于它们的运行条件复杂。一般来说，这种情况更接近于真实情况。因此，复杂运行条件下的RUL预测方法是值得研究的。

6 结论和未来工作

在本文中，我们提出了一种新型的数据驱动的机械系统RUL估计方法。首先，采用数据预处理方法和数据转换算法来获得原始数据和辅助数据。原始数据和辅助数据分别反映了监测数据的绝对值和内部差异。然后，构建基于多头自我关注机制的双流特征提取子网络，学习不同输入数据之间的相关性。接下来，所有提取的特征被送入RUL预测子网络，以实现RUL的估计。最后，我们将提出的DS-SANN应用于C-MAPSS数据集，并将实验结果与几种最先进的方法进行比较，以验证其有效性。此外，还设计了不同的实验来分析时间窗大小对估计性能的影响以及双流网络结构带来的性能提升。实验结果验证了所提出的DS-SANN能够获得准确的RUL估计。

在未来的研究中，可以在RUL估计方法中考虑多种故障模式和复杂的运行条件，以提高对更复杂问题的预测能力。此外，我们将尝试采用无监督方法来自适应区分机械系统的健康和退化状态，这有助于在复杂多变的运行条件下获得监测数据的有效内差表示。