基于联邦学习的入侵检测系统综述
摘要
互联网和智能设备的快速发展引发了网络流量的激增,移动电话、可穿戴设备和自动驾驶汽车的普遍使用都是分布式网络的例子。这些设备的计算能力也在稳步发展,从而产生了传输信息、本地存储数据和驱动网络计算向边缘设备的需求。
本文旨在对联邦学习(FL)在入侵检测系统中的应用进行广泛而详尽的综述。为了确定FL的必要性而讨论了各种类型的IDS、相关的ML方法及其相关问题。本文详细概述了FL在异常检测各个方面的实现,还指出了FL实现的相关挑战,这为未来研究方向的范围提供了思路。本文最后提出了与基于FL的入侵检测系统实现中识别的挑战相关的合理解决方案,作为前瞻性研究的基线。
一、介绍
在过去的十年里,互联网在规模和复杂性上都有了极大的扩展。与此同时,新型的连接设备已经出现。因此,由于网络复杂性的增加,网络系统容易受到包括入侵在内的多种安全漏洞的威胁。根据[1],入侵被定义为试图破坏计算机或网络的机密性、完整性或可用性,或绕过计算机或网络的安全机制。因此,为了有效地减轻不同类型的攻击,开发一个准确的入侵检测系统(IDS)是时代的需要。IDS是网络安全[2]的重要组成部分,[2]是网络中的第一道防线。为此,IDS使用不同的技术来检测异常。然而,传统的方法,如基于特征的检测,效率正越来越低,因为这种技术使用一个特征库来识别已知的攻击,因此无法识别新的攻击[3]。
近年来,机器学习(ML),包括浅层模型,特别是深度学习(DL)取得了长足的进展,并被广泛应用于医疗保健系统[4,5]、计算机视觉[6]和无线通信[7]等多个领域。它可以用于检测不同类型攻击的方法,而无需大量的人工干预。例如,使用ML技术的IDS从流量(正常/异常)中学习,实现模型的训练过程。它在数据集或环境上实现,以识别与恶意流量[8]相关的模式。尽管这些模型已成功用于IDS,但它们通常需要一个中心实体来处理从网络中所有用户收集的数据。[9]发现,由于丢包率高,预测精度随着网络规模的增加(交换机越多,预测精度越低)而降低。
基于上述问题,谷歌提出了联邦学习(FL),该概念用于设备上学习和数据隐私保护[10]。FL使设备能够以协作的方式学习,而不需要与集中式服务器共享数据。换句话说,得益于其特性,ML/DL可以在多个设备和服务器之间进行训练,并在多次迭代中使用分散的数据[11,12]。一般来说,它包括两个主要步骤:局部学习和模型传输,从而实现传统集中式机器学习方法[13]所期望的隐私保护和成本降低。FL是一个迭代过程,在每一轮中,整个ML模型都可以得到改进。在每一轮开始时,FL服务器选择一组客户机参与学习过程,并向它们传播当前的全局模型[14]。在接收到全局模型之后,每个客户机使用自己的数据进行本地训练。然后这些客户端将它们的新模型(即学习到的参数)发送回FL服务器进行全局聚合(图1)。这个过程重复了几轮,直到达到所需的性能。在FL的帮助下,客户机可以从其他客户机的数据中获益,而无需将其隐私敏感的个人数据发送到中央服务器[15]。
图 1 通用联邦学习体系结构
为了实现局部设备的异常检测,研究人员提倡将FL技术应用于IDS。因此,针对IDS的FL的引入使得DL/ML能够在多种设备上提供定制的防御机制。此外,它有助于减轻中央处理服务器的计算负担,保护数据隐私,提高带宽利用率,进一步更好地处理各种数据通信的激增。
1.1 相关工作
目前只有极少数的研究出版物专门致力于提供FL在IDS中的使用概述。但确实有相当多的调查分别关注FL和IDS。因此,为了填补这一空白,本论文打算提供一个全面的调查FL技术应用于IDS,希望通过讨论和探索,使科技读者对这一领域有一个全面的认识,并促进后续对这一问题的研究。
最近的一篇调查论文[3]介绍并比较了几种基于深度学习的IDS工作。作者提出了一种细粒度分类法,将基于深度学习的IDS的现状从四个不同方面进行分类:输入策略、检测策略、部署策略和性能评估策略。Kwon等[16]只回顾了七个基于深度学习的IDS解决方案。Resende和Drummond[17]对使用随机森林模型开发高效IDS进行了全面的讨论。此外,Sultana等[18]提出了基于SDN的使用ML/DL方法的网络入侵检测系统的调查。Aburomman和Reaz[19]介绍了入侵分类算法的概述,其中研究了各种集成和混合技术,考虑了齐次和异构类型的集成方法。Hodo等人[8]对浅网络和深网络入侵检测系统进行了调查,并解释了特征选择在IDS机器学习的分类和训练阶段中的作用。
1.2 贡献
这项工作的贡献可以总结如下：
•讨论了FL在入侵检测中的作用。
•描述了FL如何帮助集中式ML/DL方法提供有效的入侵检测解决方案。
•回顾了将FL应用于入侵检测的方法和技术。
•介绍了IDS的FL文献综述的贡献和缺点。
•概述了未来可能的研究方向。
二、背景
2.1 入侵检测系统(IDS)
入侵检测系统(IDS)是一种对网络传输进行即时监视,在发现可疑传输时发出警报或者采取主动反应措施的网络安全设备。它与其他网络安全设备的不同之处便在于,IDS是一种积极主动的安全防护技术。
IDS保证了对不同异常的弹性保护,它能够识别多种类型的攻击与恶意模式,并支持管理员调优、组织和实现有效的控制[20,21]。
2.2 入侵检测系统类型
基于主机的入侵检测系统(HIDS)和基于网络的入侵检测系统(HIDS)是两种类型的IDS[22]。HIDS负责内部监控系统,包括与日志文件的连接、用户操作等。而NIDS负责检查网络节点之间的传入和传出流量。
2.2.1 基于主机的入侵检测系统
HIDS负责维护系统事件记录,警告异常活动的发生,并保持设备工件、操作和内存区域的更新[23]。HIDS面临与篡改攻击有关的问题,使用防篡改机制使其适应变得可靠。
基于主机的IDS本身并不是理想的解决方案。它有严重的缺点,例如资源消耗高,会损害主机的性能。这种攻击可能不会暴露,除非它们穿透主机。
2.2.2 网络入侵检测系统
NIDS部署在整个网络的预定位置,以检查来自所有连接网络的流量[21]。它解释通过子网的所有流量,并基于与异常库的比较,识别入侵。
在识别异常的过程中,NIDS监控流量时会存在无法侦测到的问题。在大流量的情况下,如果对每个报文进行详细检查,会存在无法及时发现攻击的问题。识别虚拟专用网络(VPN)和理解加密数据的问题也具有挑战性。
2.3 入侵检测方法的类型
2.3.1 基于签名的入侵检测
传统的安全系统通常依赖基于签名的入侵检测来检测已知的攻击[24]。然而,这种方法对于新型或0day攻击和高级可持续威胁攻击(APT)(如Stuxnet[24])是无效的。此外,物联网的异质性和流量稀疏性使得IDS的效率低下[24,25]。
2.3.2 基于异常的入侵检测
基于异常的入侵检测会将训练的正常配置与观察到的事件进行比较,从而来确定这些事件是否是恶意的[26]。一般会使用无监督学习来研究ML识别异常行为是因为有监督的ML算法需要标记数据来训练。
2.4 用于入侵检测的ML
(1) ML所面临的挑战
ML在本地部署会遇到两个问题：
挑战1：基于本地数据训练的ML模型对未知行为的能力较差。
物联网设备产生的流量较少,因此产生的训练数据也会较少。训练样本的缺少意味着样本的泛用性下降,从而导致ML模型对未知行为的识别能力较差。
挑战2：基于本地数据训练的ML模型增加了引入偏差的风险。
真实世界中的本地数据很可能在差异不大的设备上收集,例如相同的品牌、协议或用例。因此,存在引入偏差模型的风险。这将错误分类数据,并最终引发过多警报[27]。
因此,IDS如果采用孤立架构势必对其效率构成障碍[28],所以IDS可以通过联邦学习来从数据共享中受益。
(2) 协作ML
挑战3：典型的协作IDS是集中的,因此代表一个SPoF。
集中式系统作为体系结构中的单点故障(SPoF)而存在[29]。这也适用于引入FL之前协作IDS中的集中迭代。然而,对于FIDS,分析是在本地完成的。因此,即使联邦服务器出现故障也不会妨碍本地检测。
挑战4：与本地检测相比,集中式协作IDS增加了延迟和带宽
集中式分析意味着探针收集的所有数据必须在一个中心位置进行组装,进而需要进行传输,数据传输意味着延迟和带宽的增加。
挑战5：集中式协作IDS可能会暴露敏感信息。
合作意味着会有未经验证的参与者,即无法判断其可信度。利益相关者可能不愿意让他们的组织参与共享过程[30]。
2.5 适配FL的动机
尽管ML对解决现实世界的问题做出了重大贡献,但它也存在限制,这些限制包括:
(1)用户需要将自己的私有数据上传到一个中心实体,以训练中心模型。
(2)随着网络规模的增加,性能下降,并引入单点故障,可能危及完整性和服务质量(QoS)。
(3)IDS需要快速分析,集中处理耗时。
(4)物联网设备经常收集终端用户的数据,可能导致他们的敏感数据暴露。
(5)在5G/6G网络中收集数据是一项负担沉重且成本高昂的任务,因为该网络由高度多样化的数据类型(如文本、音频、视频、AR/VR)组成。
因此,FL作为一种新的技术具有解决各种问题的潜力。它提供数据隐私和无处不在的智能、无缝、灵活、可扩展、高性能通信、超低延迟和高能高效的网络,以支持高度动态的时间关键型应用程序。正是由于这些特征的存在,FL为ML算法在IDS中更有效地应用提供了新的机会。
三、联邦入侵检测系统
3.1 联邦学习的类别
根据联邦学习中不同客户端上的数据在特征空间和样本ID空间中的分布特征,常将联邦学习分为横向联邦学习、纵向联邦学习和联邦迁移学习。
大多数应用程序都使用横向联邦学习(HFL)[31],这种方式接近于分布式学习。在HFL的情况下,不同的客户端共享相同的功能,但不具有相同的样本。因此,HFL通过为待训练的模型提供更多数据,特别应对挑战1。
图2显示了在智能工厂环境中用于协作IDS的水平联邦学习(HFL)示例应用程序。基于网络的网关捕获由物联网设备发起的流量,并在本地执行训练和检测。 联邦实体提供用于训练和检测的初始模型。首先,每个模型在被传输回联邦实体之前都在本地进行训练；然后,后者对每个参与者的模型进行聚合；最后,新的聚合模型在参与者之间进行部署。以上操作是循环的。通过重复该过程,直到客户端模型收敛,或者直到达到准确度阈值,此过程的迭代称为循环。还可以使用更复杂的聚合策略,例如为每一轮选择一个子集的客户端,或者训练专门的模型。FL的其他结构,即垂直联邦学习(VFL)和联邦迁移学习(FTL)[31],在FIDS的文献中则较少出现。
图2 应用于工业物联网用例的FIDS示例
FL类别的选择取决于客户共享的样本和特征部分。样本是数据集中的单个条目,特征是该条目的可测量特征。将数据集存储为矩阵进行处理时,每一行表示一个样本,每一列都有一个特征。当客户共享特征但不共享样本时,适用于HFL,这在大多先前的工作中都是如此。但VFL则相反,客户共享样本但可以访问不同的特征空间。标识符在样本之间共享,因此可以在不同客户端的样本之间进行关联。在FTL中,只有特征和样本这两者的子集是共享的。FTL通常用于将训练有素的模型的知识转移到稍微不同的用例或上下文,例如不同的网络配置或设备类型。
另外,FL也可以根据联邦的目标而变化。跨设备联邦学习(CD-FL)是一种联邦设置,在该设置中会对设备上的模型进行训练,然后聚合以供服务器使用。这种设置在使用用户数据进行学习的同时还能够解决隐私保护和信任问题而当客户端是成组织时,在网络安全或欺诈检测等用例中,我们会使用术语“跨筒仓联邦学习”(CS-FL)。
3.2 FIDS参考架构：
如图3,参考架构可以分为三部分：
①托管系统代表被监控系统,例如IT网络、工业设备或健康监控可穿戴设备。收集的数据可能涉及系统或环境行为。前者涉及由系统生成的信息,例如网络跟踪或资源消耗。后者指的是被监控系统的运行方式,例如建筑物管理系统的医疗设备的温度和大气压力的健康指标。
②安全子系统是体系结构的核心。它包含系统的所有活动,从模型训练到检测和反措施部署。根据目标和约束条件,该子系统可以在本地运行,也可以在专用边缘设备上运行,或者在云上进行集中学习。子系统一般假设运行在一个嵌入足够计算能力的设备中来针对ML模型执行实时异常检测,它还能够根据收集的数据训练自己的模型。
③协作子系统提供系统的共享功能,本质上是模型聚合。它还提供其他来源的可选培训,如在线数据集。
图3 FIDS的建议参考架构
3.3 FIDS分类
图4所示的分类法总结了FIDS的核心组成部分和特性。分类项目和系统组件之间的关联可以在参考体系结构中看到(图3)。它还可作为对选定工作进行比较的框架。每个类代表一个构建块,根据用例和约束,存在多种方法。
建议的分类法包含12个类,描述所选工作涵盖五个主要方面：
① 两个类涵盖数据主题：数据源和类型以及预处理。它定义了所考虑的数据类型、如何收集数据以及使用的预处理策略。
图4 建议的FIDS分类
②本地操作由表1示：ML定位、本地算法和防御能力。它描述了检测和缓解策略、如何构建和训练模型以及计算资源的位置。
表1 性能指标符号
③联邦方面分为两类：联邦战略和沟通。它们涉及代理和服务器之间的通信,以及如何组织数据共享。
④聚合还包括3类：FL类型、聚合策略和模型目标。它描述了所使用的FL类型,以及如何根据系统目标融合模型。
⑤最后,两个类定义了实验主题：分析数据集、成本和指标。这个元类别与所提出的解决方案无关,而是与实验的执行方式有关。
3.4 FIDS的现状
引入FIDS的主要原因有两个：
①它通过允许对分布式数据进行学习来打破孤立的体系结构。
②与集中学习相比,它加快了培训,减少了交流。FIDS通过将数据保存在本地,在不危及每个参与者安全的情况下实现协作。
大多数已工作目前使用的是离线监督分类器,由于缺乏适应性和难以运用于未标记数据使得这种方法不太适用于实际应用。然而,受监督的分类器更易于设计和部署,并允许研究人员专注于FIDS的联邦方面研究。大多数工作都使用神经网络来进行检测,而不考虑训练它们的数据。这与基于ML的检测社区一致,该社区因为其高性能和泛化能力而已经倾向于NN。
此外,有论文表明,CNN和RNN在推广共享模型方面比MLP等简单的NN模型表现更好。并且神经网络需要大量数据和算力,训练非常耗时。因此,在客户端之间分布训练可以在更短的时间内生成准确的模型。
大多数架构都依赖于网关来进行执行分析。这种方式更易于部署且方便,因为它减少了探针的数量。但这也同时限制了NIDS的使用,因为只有网络特征在网关处可见。并且它省略了系统的其他方面,例如与本地设备相关参数的度量,如进程、进程间通信或内存消耗。此外,学习过程离设备端越近,模型就会越多,因此也就越不通用。事实上,所有元参数都会影响最终系统的性能。
性能可以仅通过ML指标来表征,常见的指标包括准确度、准确度、召回率、余波和F1分数。由于它们的彼此之间的差异很大,因此使用的数据集、架构、个性化模型等指标本身就难以用于比较各自之间的工作。然而,在同时使用所有数据的情况下,将一个解决方案与具有无约束资源的理想系统进行比较,以了解联邦如何影响模型的性能是非常有用的。根据FIDS的应用还可以使用其他参数度量,如受限设备上的资源消耗、在专用远程设备上执行检测系统时的延迟或通信开销。
四、挑战
尽管FIDS显示出了优于传统模型的优势,但它也有相关的缺陷和漏洞[32]。从全局模型的广播到经过训练的模型的传输,FIDS容易受到高延迟、虚警、中毒攻击等的影响。因此,本节讨论了在FIDS的主要挑战和问题。
4.1 通信开销
任何FL应用的主要限制都是每轮培训的通信成本[33]。联邦训练要求首先从中央服务器将模型参数分发到各个客户端,然后从每个客户端将训练过的模型传回服务器。根据网络带宽的不同,服务器流量、包传输损失、通信所花费的时间等参数可能会有很大的变化。此外,在网络中使用不同的设备必然会出现每个设备的计算能力不同的问题。综上所述,在实际情况下任何联邦网络的总体吞吐量都是较低的。
而在入侵检测应用的场景中,对效率和速度的需求甚至会增加,例如一个包含数百万个连续收集、生成和传输数据的设备的网络。在这种情况下,即使占用1%的客户端比例,服务器每次广播都至少需要处理10000个客户端的流量负载。在大多数情况下,这不但要等待给所有客户端传出参数,同时还要聚合传入的客户端模型。无论哪种方式,最终都将成为联邦体系结构的瓶颈。
4.2 联邦中毒攻击
联邦体系结构的优势来自于客户端边缘设备中数据的分布式特性。尽管该特性保护了传输数据的隐私,避免了中央服务器的数据收集,但相关数据仍存在风险。在客户端的设备中,数据的标签是很容易被操纵的。这些攻击被称为中毒攻击。如果恶意参与者假装自己是一个良性参与者,他们就能够通过修改本地进而影响全局模型,从而最终导致有害预测的产生。
在最坏的情况下,全局模型要么在训练过程中崩溃,要么在训练数据的完整性方面表现出错误。例如Zhang [34]等人便提出了通过使用生成对抗网络(GAN)对FL架构进行中毒攻击。在这一提议中,他们部署了一个GAN模型进行训练,并最终克隆出了私有数据。一旦经过训练,模型生成的数据标签就会中毒。随着客户端生成的中毒数据越来越多,对全局模型的影响也会越来越大。Nguyen [35]等人提出的类似工作为基于FL的物联网入侵检测系统引入了一种新的中毒攻击。它在训练数据中插入少量恶意流量,以缓慢创建后门,进而导致中毒攻击。这项工作证明了这些袭击可能造成的损害的重要性。对FL系统进行中毒攻击的技术的多样性导致了在故障点之前检测和预防这些攻击的困难。攻击的规模和FL系统的复杂性决定了中毒数据对全局模型的影响程度。论文[36]阐述了这些参数及其对整体性能的影响。
4.3 使用非IID数据的高误报
流动通信的特征不能简单地通过研究一些样本来确定。尽管它的属性是离散的,但我们仍然需要许多属性来分析网络流量。一些属性在某些情况下可能会发挥重要作用,而在其他情况下则可能可以忽略不计。入侵检测数据本身的复杂性使得分类任务更加艰巨。一方面,由于数据丰富,FL的使用是有利的；而另一方面,大数据本身的差异可能会导致局部和全局模型的不当训练,从而导致大量误报。这种差异不仅是由于数据源的异质性,更是由于数据的非IID性质。在每个边缘设备中,数据的大小、类型、模糊性和复杂性各不相同。这导致了非对称训练的局部模型。在聚合时,这些具有高方差的模型将导致全局模型的拟合不足。除此之外,如果本地客户端持有包含冗余、不平衡或中毒特征或值的数据,则无论训练量如何,相应的模型都可能失败[37]。尽管一个局部模型的故障可能不会影响到系统,但考虑到现实情况的实际应用,多个客户端发生故障进而导致系统出错的概率很高。
4.4 低功耗物联网设备中的资源管理
FL有利用低功耗物联网边缘设备(低功耗微控制器、远程遥测单元、传感器节点等)进行训练[38]的潜力。事实上,这些物联网设备中的大多数都不具备用于DL模型的并行和连续训练的可持续计算能力。这些低功耗物联网设备几乎不支持编程算法,甚至不支持足够的安全措施。尽管这导致他们需要IDS,甚至更多,但对于大多数此类设备来说,本地训练DL模型可能是不可能的。如果用于训练,它们会很快耗尽运算资源,或者会训练缓慢,进而在服务器中造成巨大的延迟。此外,一个完整的FL边缘设备程序除了常规操作外,还需要数据获取、数据存储、模型训练和通信。在最坏的情况下,多个设备可能会发生故障,从而导致服务器发生死锁问题。为了在低功耗设备中实现FL,必须设计出具有鲁棒性的节能算法。
使用低功率或无源设备的附加缺点是其仅支持低功率通信协议的能力,如6LoWPAN(低功率无线个人局域网上的IPv6)、LPWAN(低功率广域网),并且可能不支持高端通信协议,如Wifi、蓝牙、5G等,这会引起很高的通信延迟。
对此类设备的训练还需要考虑到一些自然环境问题和突发状况,例如恶劣的工业和自然条件[39]。他们收集的数据很重要,但即使通过FL也无法完全提取。
4.5 入侵检测设置中的漏洞
入侵检测系统通常可以作为单个工作站或计算机网络的第一道防线。FL架构主要采用DL算法对网络分组的异常属性进行分类或聚类,以引发警报。这使得IDS容易受到一系列漏洞的影响。这些漏洞被认为可能是致命的,并会威胁到受保护系统的机密性和完整性。如[40]中所述,DL模型所训练的模型可能不熟悉特定类型的异常。因此,这种异常的检测是随机的,并且可能在没有向相应当局发出任何警报的情况下造成损害。此外,由于此类 IDS 缺乏处理新型异常的能力,因此系统容易受到木马攻击。即使与标记的异常有最轻微的偏差,也可能将其视为良性[41]。同时,标记所有流量需要人工标记者的巨大努力,有时还涉及特定的专业领域。
4.6 IDS精准部署
深度学习模型使用了大量的参数和超参数。其中一些参数和超参数是用户定义的,其他参数是可训练的。这些用户定义的参数包括学习率,γ,隐藏层的数量、隐藏层的维度、每个客户端模型的时代数、初始权重等。
这些参数中的一些是模型参数,而另一些是训练参数。在联邦学习的场景中,每个客户端都有自己的模型,对每个参数进行微调是不可行的。由于客户端数据的异质性和不可预测性,每个模型的公共参数都不会产生最佳结果。此外,在入侵检测系统的情况下,基于攻击类型、来源、目的和各种其他因素,数据是高度不可预测的[42]。
五、FIDS的未来方向
5.1 FIDS通信效率
导致联邦体系结构的通信开销的重要因素是庞大模型参数的传输成本和分组传输的延迟。应用程序越复杂,生成的全局模型就越庞大。在每一轮中,将它们传送到所有客户和从所有客户传送来肯定会消耗大量能量。为了克服这种限制,可以使用各种压缩和加密标准。更重要的是,轻量级DL技术可用于减少需要传输的参数的大小以及提高其预测效率。Qin等人[43]提出了一种名为二进制化神经网络(BNN)的算法。在这项工作中,使用联邦体系结构对BNN进行了培训以部署IDS。在BNN中,神经网络的浮点权重被转换为包含1和0的二进制格式,它将所有繁重的计算转换为逐位运算。这种方法不仅能够实现高效的通信,而且能够确保线速分组处理和业务分类。
通信开销的另一个主要原因是缺乏有效的通信协议。每个通信协议的带宽范围变化很大。为了使基于FL的IDS更加可行,必须实施现代通信技术。在提议中,Gupta [44]等人使用5G无线通信网络(WCN)实现了一种IDS,适用于带宽欺骗攻击。他们使用博弈论分析了此类攻击,同时优化了权重和资源。
除了通信成本之外,每一轮的延迟也是由服务器端的流量累积造成的。服务器有时会因持续的流量而过载,从而容易受到未知的入侵攻击。为了减少这种流量积累并确保连续流量,最近的文献中提出了异步联邦学习(AFL)。ASO Fed[45]中提出了一种异步在线联邦学习方法。在该算法中,中央服务器以异步方式进行更新,以消除系统延迟。根据一个图像数据集和三个包含非IID数据的真实世界数据集测量输出。通过这种方式,可以实现更快的模型收敛和更高的系统吞吐量。Lu等人[46]提出了一种类似的方法,该方法涉及AFL和自适应阈值梯度压缩,用于边缘设备中的连续和平滑通信。他们能够在不影响模型输出性能的异步性的情况下实现该算法。最后,还提出了通信稀疏化[47]来对抗服务器端的累积流量。在该算法中会从总广播中选择某些客户端。这种选择可以在训练效率、数据质量和总体贡献方面进行。
5.2 联邦学习的加密标准
FL的主要关注点是隐私。通过权重传递有关数据的信息并随后在服务器模型中进行更新是FL的一个特点。然而,这些权重可能代表数据的一些敏感特征,如果由第三方提取可能会造成伤害。为了解决这些问题,权重的加密非常有用。基于加密的隐私保护是广泛使用的安全数据传输机制之一。某些类型的有损和无损加密函数也可以帮助压缩权重。尽管可能存在一定的信息丢失,但数据传输的带宽和速度显著提高了深度学习模型的整体吞吐量和性能[48,9]。
5.3 可迁移性
当前的解决方案往往侧重于对相同领域设备和资源进行联邦学习和检测。因此如何允许跨域客户端联合[49]也是我们要考虑的问题。迁移学习[50]及其变体在过去已应用于该领域,是未来适应性研究的方向。
虽然最近的文献[25,51]对每类设备生成训练模型进行了实验,但当前的方法通常认为所有局部模型都需要共享相同的NN架构和超参数,这种限制使得当前FIDS的通用性和可移植性降低。因此我们可以考虑采用多种技术来克服这些问题。例如允许训练相同模型的多种变体可以提供更好的适应性[52]。遵循这一理念,系统可以提供多种算法和针对特定用例定制的模型,从而获得更好的局部结果；又或者可以应用从全局联邦系统中生成的特定用例模型。
5.4 高效处理非独立同分布数据
联邦学习基于客户端生成和使用数据的经验,为每个客户端提供个性化预测。用户在实时场景中生成的数据不是同质的,并且受到大量噪声的影响。具体来说,在IDS的情况下,截获的数据包的属性和特性会因使用情况、时间、目的和许多其他因素而发生很大变化。因此,不能预测数据是一致的、相同的或彼此独立的。数据的这些属性往往会导致客户机模型的训练和聚合阶段出现不规则和问题。因此,非IID数据的处理成为FL框架的重要组成部分,以确保适当的训练和容错。
Briggs[53]等人提出的处理非IID数据的技术之一是基于权重更新的相似性将客户端模型分组为更小的集群。这种在训练和聚合之前执行分层聚类的方法试图保持聚类的一致性。结果表明,与传统FL架构相比具有较高的收敛速度。在[53]中,权重更新被用作聚类的参数,以保持客户端数据的机密性。由于权重更新代表了数据的实际特征,因此它比其他变量更适合作为参数。分层集群的另一个主要优点是,它通过将此工作负载分配给集群头来减少服务器的工作负载,这提高了通信效率并降低了总体通信成本。
5.5 FL 模型异质性和可解释性
现有的 FL 解决方案主要是使所有客户端都具有相同的模型和架构。采用不同的模型架构则是未来的研究方向。一方面,在某些设备上可能无法开发相同的ML/DL；另一方面,使用不同的模型架构可以帮助FL系统从这种异质性中受益从而提高其性能。
除此之外,FL模型的可解释性也至关重要。例如,当 FL 性能不佳时,有必要了解潜在问题的根源和原因。因此,有必要对最终结果进行解释,从而能够发现问题。
五、结论
本文首次提供了基于FL的入侵检测和缓解的文献综述。尽管FL技术正在成熟当中,但将其用于入侵检测和缓解为我们带来了新的挑战。
总的来说,这项工作展示了FL如何改善IDSs,使其成为提高未来系统弹性的一项重要技术。在支持信息共享的同时,FIDSs通过不共享原始数据而只共享设计从隐私关键的原始数据中抽象出来的模型,带来了保护隐私和安全的强大优势。
六、参考文献
[1] R. Base, P. Mell, Special publication on intrusion detection systems, NIST Infidel, Inc., National Institute of Standards and Technology, Scotts Valley, CA, 2001
[2] Y. Li, R. Ma, R. Jiao, A hybrid malicious code detection method based on deep learning, Int. J. Secur. Appl. 9 (5) (2015) 205–216
[3] A. Aldweesh, A. Derhab, A.Z. Emam, Deep learning approaches for anomaly-based intrusion detection systems: A survey, taxonomy, and open issues, Knowl.-Based Syst. 189 (2020) 105124.
[4] Y. Xiao, J. Wu, Z. Lin, X. Zhao, A deep learning-based multi-model ensemble method for cancer prediction, Comput. Methods Programs Biomed. 153 (2018) 1–9.
[5] O. Aouedi, M.A.B. Tobji, A. Abraham, Internet of things and ambient intelli-gence for mobile health monitoring: A review of a decade of research, Int. J.Comput. Inf. Syst. Ind. Manag. Appl. 10 (2018) 261–270.
[6] A. Voulodimos, N. Doulamis, A.Doulamis, E. Protopapadakis, Deep learning for computer vision: A brief review, Comput. Intell. Neurosci. 2018 (2018).
[7] C. Zhang, P. Patras, H. Haddadi, Deep learning in mobile and wireless networking: A survey, IEEE Commun. Surv. Tutor. 21 (3) (2019) 2224–2287.[8] E. Hodo, X. Bellekens, A. Hamilton, C. Tachtatzis, R. Atkinson, Shallow and deep networks intrusion detection system: A taxonomy and survey, 2017, arXiv preprint arXiv:1701.02145.
[9] F. Tang, B. Mao, Z.M. Fadlullah, N. Kato, On a novel deep-learning-based intelligent partially overlapping channel assignment in SDN-IoT, IEEE Commun. Mag. 56 (9) (2018) 80–86.
[10] V. Mothukuri, R.M. Parizi, S. Pouriyeh, Y. Huang, A. Dehghantanha, G.Srivastava, A survey on security and privacy of federated learning, Future Gener. Comput. Syst. 115 (2021) 619–640.
[11] R. Taheri, M. Shojafar, M. Alazab, R. Tafazolli, FED-IIoT: A robust federated malware detection architecture in industrial IoT, IEEE Trans. Ind. Inf. (2020).
[12] Y. Cheng, Y. Liu, T. Chen, Q. Yang, Federated learning for privacy-preserving AI, Commun. ACM 63 (12) (2020) 33–36.
[13] C. Zhang, Y. Xie, H. Bai, B. Yu, W. Li, Y. Gao, A survey on federated learning, Knowl.-Based Syst. 216 (2021) 106775.
[14] V. Mothukuri, P. Khare, R.M. Parizi, S. Pouriyeh, A. Dehghantanha, G. Srivas-tava, Federated learning-based anomaly detection for IoT security attacks, IEEE Internet Things J. (2021).
[15] M. Gong, Y. Xie, K. Pan, K. Feng, A.K. Qin, A survey on differentially private machine learning, IEEE Comput. Intell. Mag. 15 (2) (2020) 49–64.
[16] D. Kwon, H. Kim, J. Kim, S.C. Suh, I. Kim, K.J. Kim, A survey of deep learning-based network anomaly detection, Cluster Comput. 22 (1) (2019) 949–961.
[17] P.A.A. Resende, A.C. Drummond, A survey of random forest based methods for intrusion detection systems, ACM Comput. Surv. 51 (3) (2018) 1–36.
[18] N. Sultana, N. Chilamkurti, W. Peng, R. Alhadad, "Survey on SDN based network intrusion detection system using machine learning approaches", Peer-To-Peer Netw. Appl. 12 (2) (2019) 493–501.
[19] A.A. Aburomman, M.B.I. Reaz, A survey of intrusion detection systems based on ensemble and hybrid classifiers, Comput. Secur. 65 (2017) 135–152.
[20] M. Mohammadi, T.A. Rashid, S.H.T. Karim, A.H.M. Aldalwie, Q.T. Tho, M.Bidaki, A.M. Rahmani, M. Hoseinzadeh, A comprehensive survey and taxonomy of the SVM-based intrusion detection systems, J. Netw. Comput. Appl. (2021) 102983.
[21] Z. Wu, J. Wang, L. Hu, Z. Zhang, H. Wu, A network intrusion detection method based on semantic re-encoding and deep learning, J. Netw. Comput. Appl. 164 (2020) 102688.
[22] H. Hindy, D. Brosset, E. Bayne, A.K. Seeam, C. Tachtatzis, R. Atkinson, X.Bellekens, A taxonomy of network threats and the effect of current datasets on intrusion detection systems, IEEE Access 8 (2020) 104650–104675, http://dx.doi.org/10.1109/ACCESS.2020.3000179.
[23] S.-W. Lee, M. Mohammadi, S. Rashidi, A.M. Rahmani, M. Masdari, M. Hossein-zadeh, et al., Towards secure intrusion detection systems using deep learningtechniques: Comprehensive analysis and review, J. Netw. Comput. Appl. (2021)103111.
[24] N. Chaabouni, M. Mosbah, A. Zemmari, C. Sauvignac, and P . Faruki,“Network intrusion detection for IoT security based on learning tech-niques,” IEEE Commun. Surveys Tuts., vol. 21, no. 3, pp. 2671–2701,3rd Quart., 2019. [Online]. Available: https://ieeexplore.ieee.org/document/8629941
[25] T. D. Nguyen, S. Marchal, M. Miettinen, H. Fereidooni, N. Asokan,and A.-R. Sadeghi, “DÏoT: A federated self-learning anomaly detec-tion system for IoT,” in Proc. IEEE 39th Int. Conf. Distrib. Comput.Syst. (ICDCS), Jul. 2019, pp. 756–767. [Online].Available:https://ieeexplore.ieee.org/document/8884802
[26] P . García-Teodoro, J. Díaz-V erdejo, G. Maciá-Fernández, andE. Vázquez, “Anomaly-based network intrusion detection: Techniques,systems and challenges,” Appl. Sci., vol. 28, nos. 1–2, pp. 18–28,2009. [Online]. Available: https://linkinghub.elsevier.com/retrieve/pii/S0167404808000692
[27] H. Liu and B. Lang, “Machine learning and deep learning methodsfor intrusion detection systems: A survey,” Appl. Sci., vol.9,no.20,p.4396,2019.[Online].Available:https://www.mdpi.com/2076-3417/9/20/4396
[28] M. Aledhari, R. Razzak, R. M. Parizi, and F. Saeed, “Federated learning: A survey on enabling technologies, protocols, and applications,”IEEE Access, vol. 8, pp. 140699–140725,2020.[Online].Available:https://ieeexplore.ieee.org/document/9153560/
[29] S. Rathore, B. W. Kwon, and J. H. Park, “BlockSecIoTNet: Blockchain-based decentralized security architecture for IoT network,” J. Netw.Comput. Appl., vol. 143, pp. 167–177, Oct.2019.[Online].Available:https://doi.org/10.1016/j.jnca.2019.06.0.19
[30] T. D. Wagner, K. Mahbub, E. Palomar, and A. E. Abdallah, “Cyberthreat intelligence sharing: Survey and research directions,” Comput.Security, vol. 87, Nov. 2019, Art.no.101589.
[31] Q. Y ang, Y . Liu, T. Chen, and Y . Tong, “Federated machine learn-ing: Concept and applications,” ACM Trans. Intell. Syst. Technol.,vol. 10, no. 2, pp. 1–19, 2019. [Online]. Available: https://dl.acm.org/doi/10.1145/3298981
[32] N. Bouacida, P. Mohapatra, Vulnerabilities in federated learning, IEEE Access,(2021).
[33] M. Asad, A. Moustafa, T. Ito, M. Aslam, Evaluating the communication efficiency in federated learning algorithms, in: 2021 IEEE 24th International Conference on Computer Supported Cooperative Work in Design, CSCWD, IEEE,2021, pp. 552–557
[34] J. Zhang, J. Chen, D. Wu, B. Chen, S. Yu, Poisoning attack in federated learning using generative adversarial nets, in: 2019 18th IEEE International Conference on Trust, Security and Privacy in Computing and Communications/13th IEEE International Conference on Big Data Science and Engineering, TrustCom/BigDataSE, IEEE, 2019, pp. 374–380.
[35] T.D. Nguyen, P. Rieger, M. Miettinen, A.-R. Sadeghi, Poisoning attacks on federated learning-based IoT intrusion detection system, in: NDSS Workshop on Decentralized IoT Systems and Security, 2020.
[36] J. Kang, Z. Xiong, D. Niyato, Y. Zou, Y. Zhang, M. Guizani, Reliable federated learning for mobile networks, IEEE Wirel. Commun. 27 (2) (2020) 72–80.
[37] C. Ma, J. Li, M. Ding, K. Wei, W. Chen, H.V. Poor, Federated learning with unreliable clients: Performance analysis and mechanism design, IEEE Internet Things J. (2021).
[38] C. Dinh, N.H. Tran, M.N. Nguyen, C.S. Hong, W. Bao, A.Y. Zomaya, V. Gramoli,Federated learning over wireless networks: Convergence analysis and resource allocation, 2019, arXiv preprint arXiv:1910.13067.
[39] A.I. Sunny, A. Zhao, L. Li, S. Kanteh Sakiliba, Low-cost IoT-based sensor system:A case study on harsh environmental monitoring, Sensors 21 (1) (2021) 214.
[40] A. Warzyński, G. Kołaczek, Intrusion detection systems vulnerability on adversarial examples, in: 2018 Innovations in Intelligent Systems and Applications,INISTA, IEEE, 2018, pp. 1–4.
[41] A. Thakkar, R. Lohiya, A review on machine learning and deep learning perspectives of IDS for IoT: recent updates, security issues, and challenges, Arch. Comput. Methods Eng. 28 (4) (2021) 3211–3243.
[42] M. Begli, F. Derakhshan, A multiagent based framework secured with layered SVM-based IDS for remote healthcare systems, 2021, arXiv preprint arXiv:2104.06498.
[43] Q. Qin, K. Poularakis, K.K. Leung, L. Tassiulas, Line-speed and scalable intrusion detection at the network edge via federated learning, in: 2020 IFIP Networking Conference (Networking), IEEE, 2020, pp. 352–360.
[44] A. Gupta, R.K. Jha, P. Gandotra, S. Jain, Bandwidth spoofing and intrusion detection system for multistage 5g wireless communication network, IEEE Trans. Veh. Technol. 67 (1) (2017) 618–632.
[45] Y. Chen, Y. Ning, M. Slawski, H. Rangwala, Asynchronous online federated learning for edge devices with non-IID data, in: 2020 IEEE International Conference on Big Data, Big Data, 2020, pp. 15–24, http://dx.doi.org/10.1109/ BigData50022.2020.9378161.
[46] X. Lu, Y. Liao, P. Lio, P. Hui, Privacy-preserving asynchronous federated learning mechanism for edge network computing, IEEE Access 8 (2020) 48970–48981, http://dx.doi.org/10.1109/ACCESS.2020.2978082.
[47] E. Ozfatura, K. Ozfatura, D. Gunduz, Time-correlated sparsification for communication-efficient federated learning, 2021, arXiv preprint arXiv:2101. 08837.
[48] H. Li, T. Han, An end-to-end encrypted neural network for gradient updates transmission in federated learning, 2019, arXiv preprint arXiv:1908.08340.
[49] B. Li, Y . Wu, J. Song, R. Lu, T. Li, and L. Zhao, “DeepFed: Federated deep learning for intrusion detection in industrial cyber-physical systems,” IEEE Trans. Ind. Informat., vol. 17, no. 8, pp. 5615–5624, Aug. 2021. [Online].Available:https://ieeexplore.ieee.org/document/9195012/
[50] S. Shen, T. Zhu, D. Wu, W. Wang, and W. Zhou. “From distributed machine learning to federated learning: In the view of data privacy and security.” [Online]. Available: http://arxiv.org/abs/2010.09258 (Accessed: Oct. 4, 2021).
[51] M.-O. Pahl and F. X. Aubet, “All eyes on you: Distributed multidimensional IoT microservice anomaly detection,” in Proc. CNSM,2018, pp. 72–80.
[52] Y . Chen, J. Zhang, and C. K. Y eo, “Network anomaly detection using federated deep autoencoding Gaussian mixture model,” in Machine Learning for Networking (LNCS 12081), S. Boumerdassi, R. Renault, and P . Mühlethaler, Eds. Cham, Switzerland: Springer Int., 2019,pp. 1–14. [Online]. Available: http://link.springer.com/10.1007/978-3-030-45778-5_1
[53] C. Briggs, Z. Fan, P. Andras, Federated learning with hierarchical clustering of local updates to improve training on non-IID data, in: 2020 International Joint Conference on Neural Networks, IJCNN, IEEE, 2020, pp. 1–9.
