基于深度学习模型的工业物联网恶意活动识别
摘要
将技术设备和服务与物理系统所连接在一起的网络工业控制系统（IICSs）已经成为了研究的新方向，因为IICSs面临着不同类型的威胁成功向组织提供连续服务的网络攻击。这种威胁会对公司造成经济和名誉上的损失，以及被窃取重要信息。尽管已经提出了网络入侵检测系统（NIDS）来保护它们，但对于开发有效检测现有攻击和新攻击的智能NIDS仍存有收集信息的艰难任务。为了解决这一难题，本文提出了基于深度学习模型且针对IICSs的异常检测技术，该模型可以通过从TCP/ IP数据包收集到的信息进行学习和验证。它包括使用深度自动编码器和深度前馈神经网络体系结构执行的连续训练过程，该过程使用两个著名的网络数据集（即NSL-KDD和UNSW-NB15）进行评估。实验结果表明，与八种最新开发的技术相比，该技术可以实现更高的检测率和更低的误报率，因此可以在实际的IICS环境中实现。
深度网络
- 生成深度架构
- RNN 被认为是有监督或无监督的学习模型。核心理论：信息通过带有反馈回路的逐层连接以长序列链接。其各层之间存在一个定向循环，可提高其可靠性，并具有创建用于存储先前输入数据的内部存储器的能力。 基于层连接的方式，RNN有两种类型：Elman和Jordan。 Elman除上下文层外还包括三层（即输入，隐藏和输出）。在应用每个前馈和学习规则之后，将隐藏层连接到上下文层，将先前隐藏的单元的副本保存在上下文单元中。 Jordan就像Elman网络一样，但是上下文单元是从输出单元馈送的。
- DAE 用于以无监督的方式学习有效的编码。DAE的最简单架构包括一个输入层，一个以上的隐藏层和一个输出层，该输出层在输入层中具有相同数量的神经元以进行重建。
- DBM 是一种无方向的概率生成模型。 它由能量和随机单位组成，用于产生二进制结果的整个网络。 限制玻尔兹曼机（RBM）用于减少隐藏层，这不允许在隐藏单元之间进行层内连接。 在未标记的数据上训练DBM堆栈作为下一层的输入，并插入一个用于区分的层可以导致构建DBN的体系结构。
- DBN 由多个隐藏层组成，其中连接位于层之间，而不是每个层中的单元之间。它是由无监督和有监督的学习网络组成的。无监督模型是通过一次贪婪的逐层连接学习的，而有监督网络是链接在一起以进行任务分类的一层或多层。
- 区分性深度架构
- RNN 将判别力用于分类任务，当模型的输出被标记为具有输入顺序的数据时，就会发生判别力。
- CNN 是一种空间不变的多感知器人工神经网络，受到动物视觉皮层组织的生物学启发。它具有许多隐藏层，通常由卷积层，池化层，完全连接的图层和规范化层组成。卷积层共享许多具有几个参数的权重，这使得CNN在训练过程中比具有相同数量隐藏单元的其他模型更容易。
本文针对IICS且基于ADS的深度学习
本文应用了深度学习模型的不同架构，为IIoT环境开发了高效的ADS。在训练阶段，DAE算法学习使用常规网络观察来创建初始化参数（即权重和偏差），并学习常规行为的深入表示。这些参数用作训练标准深度前馈神经网络（DFFNN）以发现现有和新攻击实例的初始化阶段。在测试阶段，DFFNN用于识别恶意媒介。该技术中的不同隐藏节点可以通过减少隐藏层将数据的高维转换为低维，从而专业地学习深层特征表示并捕获最重要的特征。以下三个小节将详细介绍所提出的ADS技术。
- 深度前馈神经网络（DFFNN）
DFFNN 被定义为ANN的一种。它具有一个输入层，一个以上的隐藏层和一个输出层，它们之间具有直接连接而没有循环。节点的每个隐藏层均代表基于上一级输出的抽象要素，这些要素会自动确定并收集到多层中以生成输出。为了训练该模型，使用了随机梯度下降反向传播算法。
在这种深度学习算法中，输入数据馈入输入层，然后传播到隐藏层，隐藏层的输出是传递到输出层的数据的非线性转换。计算损失函数或反向传播误差，即预测输出与实际输出之间的差，以评估模型的性能，并评估其值向后传播通过隐藏层以更新权重。损失函数的计算是基于训练数据的单批或小批样本而不是全部样本进行的，权重在处理每个样本后都会更新，以正确拟合模型。
该算法中的监督训练过程取决于神经网络参数初始化的随机性，这往往会使模型处于正规化较差的局部最小值解中。为了获得更好的收敛性能并改善监督学习的结果，可以使用预训练无监督技术（尤其是AE）来创建初始化参数。
- 深度自动编码器（DAE）
DAE是一种前馈神经网络算法，用于使用无监督技术来学习高效编码。图1所示的DAE体系结构包含三个隐藏层，一个编码器，一个瓶颈（与以前的层相比，它包含的节点数更少，并且用于表示输入数据的非线性降维，其中节点数表示维度数）和解码器。该模型可能使用非线性主成分分析（PCA）技术来降低维数。
- 基于ADS的深度学习的培训和测试阶段
上面讨论的DFFNN和DAE方法是用于构建建议的基于ADS的深度学习技术的基本机制。 DAE-DFFFN模型中的网络结构如图2所示。在训练阶段，给定未标记的正常训练数据集A和标记的训练数据集B，仅基于正常记录（A）训练具有瓶颈层的DAE，而无需任何异常矢量来学习和发现最重要的特征表示 正常模式。它使用所有数据进行训练，其中网络的输入将通过包括瓶颈在内的三个隐藏层进行传递，以对其进行重构。
在编码步骤中，使用等式处理第一隐藏层中的输入层。在瓶颈步骤中，将对输入要素进行低维非线性变换，以从网络数据中提取重要的代表性要素。 然后，在解码步骤中，使用瓶颈特征中的最后一个隐藏层来近似复制使用等式的输入。
然后，将训练后的模型用作权重和偏差的起点和初始参数，以训练有监督的深度网络以及使用标记的训练数据集进行网络模型调整的过程。 采用与之前相同的步骤来学习和验证数据集B上的拟议ADS技术，该技术包括测试该方法准确性的法向和异常向量。
在测试阶段，在训练阶段自动学习参数后，将根据最终构建的网络模型对新的数据集样本进行测试。每个输入记录都将采用初始化权重和偏差传递到输入层，然后通过隐藏层处理输入数据。最后，输出层根据每个类别的损失函数的估计值，将输入数据的类别预测为正常还是攻击。
在IICS中应用拟议ADS的建议框架
这项研究提出了一种有效的异常检测模型，可以保护IICS环境免受恶意活动的侵害。如图3所示，其架构包括培训和测试步骤。
在IIoT环境中放置IDS对于确保环境免受任何恶意活动的侵害至关重要。 当工业系统通过包括互联网协议连接（例如IP，TCP，UDP或HTTP）的IoT网关为最终用户和/或云存储传输数据时，此网关是部署拟议异常的关键位置在物联网环境中基于深度学习算法的-IDS像其他IDS一样，建议的系统使用了一组协作和主要组件：嗅探和监视单元； 数据库； 以及分析仪和响应单元。 该IDS的结构的总体视图如图4所示。
数据集和评估指标的描述
- Datasets
由于数据集在测试，分析和评估检测系统的行为中起着至关重要的作用，因此高质量的数据集不仅可以为脱机系统产生有效的结果，而且在实际环境中部署时也可能有效。大多数研究人员使用了流行的NSL-KDD数据集，它是KDDCUP99的修订版，它通过消除KDD CUP 99的冗余记录并按比例选择记录数来解决KDD CUP 99的主要问题。经过预处理后，它由148,517条记录（即77,054条正常记录和71,460次攻击）组成，每条记录都包含41个特征和一个类标签。共有五类，分别是Probing，DoS，User to Root（U2R），Remote to Local（R2L）和Normal。但是，尽管已在IDS中广泛使用，但它已经过时了。因此，为了有效地评估我们提出的工作，使用了一个称为UNSW-NB15的新数据集。它反映了真实的现代正常行为，并包含当代的综合攻击活动。它具有257,673条记录（即93,0 0 0正常和164,673次攻击），每个记录具有41个功能和一个类别标签。有十种不同的类别标签，一种是普通的，另外九种是攻击，即Fuzzer，Analysis，Backdoors，DoS，Exploit，Generic，Reconnaissance，Shellcode和Worms。
- Evaluation metrics
在两个数据集上评估了拟议的ADS的准确性，检测率和从融合矩阵项中提取的FPR。 真阳性（TP）和假阴性（FN），分别表示正确地识别为异常，错误地识别为正常的攻击观察次数，以及表示阴性和假阳性（FP）的攻击观察次数。 分别正确识别为正常和错误识别为攻击的正常观测值的数量。
Accuracy 准确度表示相对于观测总数正确识别的观测总数，并通过以下方式计算：
DR 检测率是攻击与正常观察值的比率，正确分类并定义为：
FPR 误报率是攻击与正常观察值的比率，错误归因于错误的归类和计算：
实验结果与讨论
ROC曲线表示两个数据集的拟议ADS在TPR（即检出率或灵敏度）和FPR（即落差）方面的性能，红色和绿色曲线下方的区域表示 NSL-KDD和UNSW-NB 15数据集的准确度分别为98.4％和92.5％。
使用基于深度学习技术的拟议ADS对NSL-KDD和UNSW-NB15数据集中的记录类型的检测率如上图所示。
表1所示的基于深度学习的拟议ADS模型获得的结果表明，它对NSL-KDD的性能优于UNSW-NB15数据集。
表2列出了NSL-KDD和UNSW-NB15数据集的总运行时间和CPU时间。
表3证明了我们提出的模型与在NSL-KDD数据集上测试的其他模型相比在检测率和假阳性率方面所获得的结果。 很明显，我们提出的模型在99％的DR和1.8％FPR的情况下获得了最佳结果。
- 比较研究
为了说明我们提出的ADS模型的有效性，我们将其性能与最近开发的八种异常检测技术的性能进行了比较，这些技术分别是基于过滤器的支持向量机（F-SVM），计算机视觉技术（CVT），狄利克雷混合模型（ DMM），三角形区域最近邻（TANN），DBN，RNN，DNN和Ensemble-DNN。很明显，我们提出的模型在99％的DR和1.8％的FPR时可获得最佳结果。在特征选择过程之后，前四个模型在检测入侵活动方面取得了合理的表现。 F-SVM使用互信息来解决线性和非线性数据特征，然后将它们与SVM一起用于识别攻击。尽管如此，该模型仍然需要优化搜索策略以提高IDS的效率。 CVT和TANN使用PCA技术来减小数据尺寸。
TANN仅基于攻击数据使用K-means集群来获得攻击行为的良好特征表示。两种模型都依赖于估计正常实例与异常实例之间的相关性，这在处理复杂攻击时将面临一个问题，这些攻击模仿正常行为，因为它们与正常模式重叠。 DMM利用一些统计属性来指定正常行为与异常行为之间的界限。在该模型中，PCA技术选择了最佳功能，并且该模型实现了很高的检测率。但是，此方法需要进行进一步的统计分析，以确保拟合网络生产系统中可能发生的所有可能的正常事件。
最后四个模型在设计IDS时采用了不同的深度学习架构。 DBN和Ensemble DNN技术利用了基于贪婪的逐层学习算法的无监督预训练模型。在DDBN模型中，要了解各层之间的权重，一次要训练每个RBM堆栈。在对两个RBM进行预训练之后，使用可区分层对参数进行调整，可区分层在标记的数据上进行训练以进行分类。
集成DNN模型使用自动编码器和极限学习机RBM到DBN，以精确学习数据表示。这些模型以DR和FPR的形式学习了具有高性能的网络数据的分层表示。但是，它们具有与训练DBN有关的计算成本以及基于模棱两可的最大似然训练近似的网络结构优化方式的缺点。由于梯度和爆炸性梯度问题，在其体系结构中使用循环的RNN模型效果较差，但在其他领域（如噪声消除和字符识别）则效果更好。最终模型是IDS-DNN，它在选择NSL-KDD数据集中的最佳六个特征后，仅使用深度学习的基本概念来检测入侵活动，此处基于初始随机权重和偏差构建模型获得的收敛性和性能更少。
为了讨论我们的模型为什么能更好地实现上述技术，它无需人工干预即可自动提供降维和特征提取功能，使用大多数经典的机器学习算法需要大量的时间和精力，并且具有通过无监督和有监督的训练阶段来推断正常网络行为的未知结构，从而学习并获得良好的代表。同样，如前所述，需要花费适当数量的处理时间来训练和预测数据记录。此外，当使用更多数据训练深度学习模型的结构时，其性能会不断提高。
所提出的模型与基于深度学习的先前IDS有所不同，它使用简单数学算法（DAE）进行无监督学习，该算法在合适的范围内估计参数，这是有监督的DFFNN的输入，可以有效地构建它。此外，该模型通过减少隐藏层来学习和探索高级特征，自动降低数据的维数，并很好地表示关键特征。因此，这些特征确保了我们提出的模型适合在包含大量未标记和未结构化数据的真实工业环境中进行部署。
- 基于深度学习的异常IDS的优缺点
优点：1.它可以轻松检测IIoT环境中的正常行为和攻击行为，因为它被设计为在第一个训练阶段通过使用正常行为训练模型来识别正常行为，因此它可以基于无监督的深度学习算法来获得正常流量的良好代表。2.它会根据正常行为和攻击行为进行额外的培训，以为系统供电并确保其能够检测复杂的攻击。3.它提供了一个自动的功能设计流程，可以最大程度地减少所需的时间和精力，并使其在实际环境中部署时更加有效。4.它取决于仅在训练阶段进行调整的参数，并且对噪声和异常数据具有容忍度。
缺点：选择参数不易；但鉴于当前复杂而快速的硬件的可用性，这并不是一个主要问题。此外，尽管它不能处理非数值和特征值的原始范围，但我们通过在预处理阶段使用特征变换和规范化步骤来克服此问题。
总结
本文提出了一种ADS模型，该模型使用从TCP / IP流量收集的数据来检测IIoT环境中的入侵活动。它使用深度学习方法进行无监督学习，并自动降低维数，并很好地表示正常的网络模式。它为DFFNN的有监督训练获得了强大的参数，而不是随机的参数。然后，为了更好地调整这些参数，使用了监督的DFFNN。提出的DAE-DFFNN模型可以成功构建和提取重要特征，从而提高整体性能。 最终构造的模型在来自NSL-KDD和NSW-NB15数据集的不同数据样本上进行了测试，结果表明，与最近研究中开发的一些技术相比，该模型可实现最高的检测率和最少的误报。将来，我们将扩展这项工作，以在IIoT系统收集的真实数据上训练该算法，以证明其实现的效率。
此外，我们还提出了一种基于深度学习算法在现实IIoT环境中部署此拟议ADS模型的想法，方法是：首先，使用它通过网关中实现的嗅探器收集TCP / IP流量； 其次，对收集到的数据进行预处理和分析，以揭示任何侵入性活动。将来将考虑在实际环境中部署和验证此模型以及将其扩展为处理不同协议的进一步修改和构想。
Al-Hawawreh M , Moustafa N , Sitnikova E . Identification of malicious activities in industrial internet of things based on deep learning models[J]. Journal of Information Security and Applications, 2018, 41:1-11.
