基于通道注意力和时间注意力的时间卷积网络：用于航空发动机剩余使用寿命预测的双重注意力架构

基于通道注意力和时间注意力的时间卷积网络：用于航空发动机剩余使用寿命预测的双重注意力架构

标题: Channel attention & temporal attention based temporal convolutional network: A dual attention framework for remaining useful life prediction of the aircraft engines

作者: Lin Lin, Jinlei Wu*, Song Fu*, Sihao Zhang, Changsheng Tong, Lizheng Zu

作者单位: School of Mechatronics Engineering, Harbin Institute of Technology, Harbin, China

原文链接: https://doi.org/10.1016/j.aei.2024.102372

原文引用格式: Lin Lin, Jinlei Wu, Song Fu, Sihao Zhang, Changsheng Tong, Lizheng Zu, Channel attention & temporal attention based temporal convolutional network: A dual attention framework for remaining useful life prediction of the aircraft engines, Advanced Engineering Informatics, Volume 60, 2024, 102372, ISSN 1474-0346, https://doi.org/10.1016/j.aei.2024.102372.

引言

本文介绍了一种用于航空发动机剩余使用寿命 (RUL) 预测的新框架，它以时间卷积网络 (TCN) 为主干网络，融入了通道注意力、时间注意力 (改良的Transformer)。其中TCN用来获取更高维的信号数据，并减少短期噪声对预测的影响；通道注意力用来获取不同维度信号 (经过TCN升维后的数据) 对RUL预测的重要性；时间注意力可以加强对具有显着退化信息的关键时间点的关注，从而更准确地进行航空发动机RUL预测。

1. 论文解决的问题

• 由于制造、装配等的限制，物理传感器安装位置有限，采集的数据并非是全面可表征航空发动机状态的数据。
• 受到外部环境和人为操作的影响，发动机的状态不断变化。如果只关注短期的性能退化趋势，那么短期噪声会被放大，影响寿命预测。
• 众多传感器可以采集多维的信号，但是往往只有部分信号对RUL具有重要意义，冗余数据会导致预测误差和时间消耗增加。
• 航空发动机的性能退化在不同的时间点中具有一定的累积作用，这种累积作用体现在具有相似特征的时间点数据上，而这些关键时间点对RUL的影响往往被忽视。

2. 论文贡献

• 采用时间卷积网络 (TCN)，将传感器信号从物理空间 (对应原始传感器信号) 扩展到高维虚拟空间 (对应虚拟信号)。经过学习后的高维虚拟信号是对原始信号的有效扩展，从而提供更全面的信号用来表征航空发动机性能退化。此外，TCN专注于获取长期范围内的退化信息。传感器信号获取不完整和短期噪声危害的问题得到解决。
• 通道注意力机制被引入TCN中，用于计算不同维度虚拟信号在RUL上的权重，从而获得对发动机RUL具有显著影响的关键虚拟信号。过分关注不相关信号的问题得到有效解决。
• 采用改进的时间注意力机制，获取不同时间点数据中存在的交互作用，进而在整个运行时期内增加对具有显着退化信息的关键时间点的关注。关键时间点被忽视的问题得到解决。

3. 方法框架

架构可分为三部分：数据预处理、嵌入通道注意力的TCN网络、改进后的Transformer网络。数据预处理主要包含数据的数据标准化、传感器筛选、样本构造等，下面对所提架构以及基础模型进行介绍。

3.1 所提方法架构

本研究中对基础模型进行嵌入和组合，形成两个相连接的架构：

(1) SE-TCN: 用于获取长时间范围内的关键虚拟信号

(2) SM-Transformer: 用于获取包含显著退化信息的关键时间点

具体的实现步骤如下所示：

① 信号升维：真实信号经过SE-TCN的隐藏层处理，将其从低维度升至更高维度，得到高维虚拟信号；

② 重要性排序：借助SE-Layer，获取高维虚拟信号不同维度对RUL的重要性权重并加权到高维虚拟信号中；

③ 循环过程①和过程②多次，其输出称为关键虚拟信号；

④ 位置编码：对关键虚拟信号进行位置编码，获得其内部的位置相关性；

⑤ 多层次特征挖掘：多头注意力机制获取位置编码后信号的丰富特征信息，并进行退化信息累积；

⑥ 损失计算及反向传播。

3.2 基础模型介绍

3.2.1 时间卷积网络 (TCN)

TCN以CNN为基础，并对CNN进行了改进，是因果卷积、空洞卷积、残差网络的结合体。很显然，因果卷积不考虑未来的信息，使用多层CNN逐渐积累之前的序列信息，如下图a所示；而空洞卷积则是进行了跨越式卷积，即每个卷积核在进行卷积时，所卷积的数据是跳跃选择的，而不是相邻的数据，如下图b所示。

因果卷积和空洞卷积的结合使得TCN具有更大的感受野，为了防止梯度消失和梯度爆炸，TCN加入了残差连接，在每个隐藏层中进行跳跃连接。TCN的结构如下图所示。

3.2.2 通道注意力机制 (SENet)

文中的通道注意力机制采用的是Hu和他的团队提出的Squeeze-and-Excitation block (文中称为SE-Layer)，通道注意力机制的实施过程分为两步：

压缩：对每个通道进行自适应全局平均池化处理，将每个通道的全局空间信息压缩到通道描述符中。

激励：使用两个线性层捕获通道间的依赖关系，最终获得各个通道的权重。

3.2.3 时间注意力机制 (Transformer)

文中使用的时间注意力对Transformer进行了修改，因此了解Transformer的架构便可以快速掌握文中的时间注意力构造方式。Transformer内部需要进行输入向量位置编码、编码层处理、解码层处理，其中编码层和解码层的核心是多头注意力机制。多头注意力机制的组成单元（自注意力机制）和其本身的架构如上图所示。多头注意力机制将数据映射到不同的子空间中，从不同的层面进行特征提取，并将所提取的不同层面的特征进行融合，使其信息更丰富。

文中提到，首先，由于研究的目标是预测航空发动机的RUL，它具有确定的长度，因此没有必要使用解码器来获得可变长度的输出；其次，输入数据（经过处理的信号）和输出数据 (RUL) 具有一一对应关系，编码器足以从样本中学习到航空发动机的性能下降信息，无需加入解码层让网络变得复杂。基于这两点，文中对Transformer进行了改进，舍弃掉了解码层，让编码层与全连接层直接相连。

4. 实验及结论

选取NASA发布的C-MAPSS数据集以及真实的航空发动机飞行数据验证所提方法的有效性，进行了消融实验和对比实验，以RMSE和Score作为评价指标。

4.1 数据集概览

Dataset	FD001	FD002	FD003	FD004
operation conditions	1	6	1	6
fault modes	1	1	2	2
number of engines（training set）	100	260	100	249
number of engines（test set）	100	259	100	248
minimum cycle (training set)	128	156	145	128
minimum cycle (test set)	31	21	38	19

4.2 消融实验

N-N：通道注意力和时间注意力均不使用

N-T：仅使用时间注意力

C-N：仅使用通道注意力

C-T：所提方法

l  在C-MAPSS上的RMSE结果

Method	FD001	FD002	FD003	FD004	Average
N-N	14.526	17.403	19.685	21.382	18.249
N-T	13.387	18.309	13.159	21.323	16.544
C-N	15.168	17.733	19.659	21.217	18.444
C-T(Proposed)	12.802	17.614	13.158	21.039	16.153

l  在C-MAPSS上的Score结果

Method	FD001	FD002	FD003	FD004	Average
N-N	338.954	1866.595	1873.895	4622.789	2175.558
N-T	290.383	1597.514	319.112	3569.187	1444.049
C-N	426.926	1858.148	1843.412	4450.780	2144.816
C-T(Proposed)	234.314	1361.232	290.632	2303.424	1047.401

4.3 与先进的算法对比

l  所提方法和对比方法在C-MAPSS数据集4个子集上的RMSE结果

Method	Year	FD001	FD002	FD003	FD004	Average
DFC-LSTM [35]	2021	\	20.30	\	\	20.30
MCLSTM [36]	2021	13.71	\	\	23.81	18.76
DCNN [6]	2018	12.61	22.36	12.64	23.31	17.73
MS-DCNN [37]	2020	11.44	19.35	11.67	22.22	16.17
MSIDSN [38]	2023	11.74	18.26	12.04	22.48	16.13
Multi-Head Networks [39]	2022	12.17	21.06	11.15	22.67	16.76
LSTM + CNN [40]	2021	16.57	35.06	13.71	30.99	24.08
RBM-LSTM-FNN [41]	2019	12.56	22.73	12.10	22.66	17.51
Attention-LSTM [42]	2023	15.45	20.91	14.67	24.01	18.76
ABGRU [43]	2023	12.83	17.97	13.23	21.55	16.40
SMSAE [44]	2023	12.99	\	\	22.31	17.65
MSDCNN-LSTM [9]	2023	12.96	18.70	11.78	21.57	16.25
EAGDE–SVM [45]	2022	14.1	20.6	18.86	26.4	19.99
VAE + RNN [46]	2022	15.81	24.12	14.88	26.54	20.34
CATA-TCN(Proposed)	2023	12.80	17.61	13.16	21.04	16.15

l  所提方法和对比方法在C-MAPSS数据集4个子集上的Score结果

Method	Year	FD001	FD002	FD003	FD004	Average
DFC-LSTM [35]	2021	\	3296.3	\	\	3296.30
MCLSTM [36]	2021	315	\	\	4826	2570.50
DCNN [6]	2018	273.7	10,412	284.1	12,466	5858.95
MS-DCNN [37]	2020	196.22	3747	241.89	4844	2257.28
MSIDSN [38]	2023	205.55	2046.65	196.42	2910.73	1339.84
RBM-LSTM-FNN [41]	2019	231	3366	251	2840	1672.00
Attention-LSTM [42]	2023	455.92	3602.94	473.97	6841.82	2843.66
ABGRU [43]	2023	221.54	2072.21	279.18	3625.77	1549.67
SMSAE [44]	2023	270.74	\	\	3297.06	1783.90
MSDCNN-LSTM [9]	2023	256.59	1873.86	211.99	2699.34	1260.45
EAGDE–SVM [45]	2022	253.11	3122.2	514.5	4795.02	2171.21
VAE + RNN [46]	2022	326	4183	722	5634	2716.25
CATA-TCN(Proposed)	2023	234.31	1361.23	290.63	2303.42	1047.40

结果表明所提架构——基于双重注意力的时间卷积网络在进行航空发动机RUL预测方面非常具有潜力，并且拥有双重注意力机制的架构能够更好地适应复杂工况的数据。

5. 数据集

CMAPSS数据集下载地址：https://github.com/huster123/c-mapss-full-dataset-/tree/master/Data