ASB：首个全面评估大型语言模型驱动的智能体在面对各种攻击和防御策略时安全性的综合基准框架。
2024-10-04，由浙江大学和罗格斯大学研究人员的共同努力下，诞生了Agent Security Bench (ASB)，这是首个全面评估大型语言模型（LLM）驱动的智能体在面对各种攻击和防御策略时安全性的综合基准框架。ASB的出现，不仅填补了现有文献在综合评估LLM基础智能体安全性的空白，更为智能体安全领域的发展提供了重要的基准测试和研究方向。
一、研究背景：
随着LLM基础智能体在内容生成、问题回答、工具调用和编程等领域的迅速发展，它们在处理复杂任务时的能力不断提升。这些智能体通过与外部工具和记忆机制的结合，能够与更广泛的环境进行交互，展现出在金融服务、医疗保健和自动驾驶等安全关键领域的应用潜力。
目前遇到困难和挑战：
1、安全性问题：尽管LLM基础智能体展现出强大的能力，但它们也可能引入严重的安全隐患。
2、防御策略不足：现有的防御措施在面对复杂攻击时往往效果有限，难以有效保护智能体的安全。
3、缺乏全面评估：目前缺乏一个能够全面评估LLM基础智能体在各种攻击和防御策略下安全性的基准测试。
二、让我们一起来看一下ASB
Agent Security Bench (ASB)是一个全面评估LLM基础智能体在不同攻击和防御策略下安全性的基准测试框架。 ASB包含10个场景（例如电子商务、自动驾驶、金融等），10个针对这些场景的智能体，超过400个工具，23种不同类型的攻击/防御方法，以及8个评估指标，用于评估基于 LLM 的代理对众多攻击和防御策略的安全性。
提出了一种新颖的 PoT 后门攻击，将隐藏的指令嵌入到系统提示符中，利用代理的规划过程来实现较高的攻击成功率
ASB特点：
1、全面性：覆盖了智能体操作的各个阶段，针对 LLM，包括 DPI、OPI、内存中毒攻击、PoT 后门攻击和混合攻击，涵盖系统提示定义、用户提示处理、内存检索和工具使用等方面的漏洞。
2、实用性：提供了丰富的工具和任务，以及攻击和防御的实例，为研究者提供了实用的测试平台。
3、多样性：涵盖了多种攻击类型和防御策略，能够评估智能体在不同情况下的安全性。
基准测试：
ASB基于13种不同的LLM模型，进行了近90000个测试案例的基准测试，结果表明，基于 LLM 的代理容易受到攻击，最高平均攻击成功率超过 84.30%。相比之下，现有的防御措施往往是无效的。我们的工作强调了加强防御的必要性，以保护 LLM 代理免受复杂的对抗技术的影响。
LLM 智能体攻击框架概述，包括直接提示注入 （DPI）、观察提示注入 （OPI）、PoT 后门和内存中毒攻击，分别针对智能体在动作规划和执行过程中的用户查询、观察、系统提示和内存检索。
三、让我们一起展望ASB的应用
比如，我是一家知名电子商务网站的技术负责人。我的网站每天都处理成千上万的订单和支付事务。为了提高效率和客户体验，我决定部署一个基于LLM的智能体来自动化处理订单和支付流程。
这个智能体，它的任务包括：
-
接收客户的订单请求。
-
验证订单信息的完整性和准确性。
-
处理支付事务，并确保支付过程的安全性。
-
更新订单状态，并通知客户订单的最新进展。
然而，随着智能体的引入，我隐约察觉到存在这一些安全隐患。比如，恶意攻击者可能会尝试通过操纵订单信息或支付细节来实施欺诈。
这时，ASB就派上了大用场。通过ASB，我可以模拟各种攻击场景，比如：
-
直接提示注入攻击：攻击者可能会尝试在用户的订单请求中注入恶意代码，以改变订单的支付方式或金额。
-
观察提示注入攻击：攻击者可能会在订单处理过程中，通过操纵订单状态更新信息来误导智能体，使其执行非预期的操作。
-
记忆投毒攻击：攻击者可能会向智能体使用的记忆数据库中注入恶意数据，使得智能体在未来的订单处理中使用这些恶意数据，导致错误的支付处理。
利用ASB，我可以设置一系列的测试案例，模拟这些攻击，并评估智能体在面对这些攻击时的抵抗力。比如：
-
我设计了一个测试案例，其中攻击者尝试通过在订单请求中添加一些特殊字符或隐藏指令来操纵支付过程。ASB能够检测到这些异常模式，并评估智能体是否能够正确地识别并拒绝这些恶意的订单请求。
-
另一个测试案例中，攻击者试图通过在订单状态更新中注入误导性信息来欺骗智能体。ASB能够模拟这一过程，并检验智能体是否能够抵抗这种观察提示注入攻击，保持订单处理的正确性。
-
在记忆投毒测试案例中，ASB能够模拟攻击者向智能体的记忆数据库中注入恶意的订单处理计划。通过这些测试，我可以评估智能体在处理历史订单数据时是否能够识别并抵御潜在的数据污染。
通过这些详尽的测试和评估，ASB帮助我确保智能体在实际部署时，不仅能够提高订单处理的效率，更重要的是，能够确保整个支付和订单管理流程的安全性。这样，我就能放心地将这个智能体集成到我的电子商务平台中，为我的客户提供更安全、更便捷的购物体验。
ASB不仅能够帮助发现和预防潜在的安全威胁，而且能够推动智能体安全技术的发展和创新。
