防范不可信AI：如何应对数据中毒

现代技术并非绝对可靠，层出不穷的安全漏洞就是例证。当前，虽然构建安全系统是行业共识，但过度投入资源在安全防护上可能导致其他关键领域被忽视——例如用户体验优化、系统运行效率以及产品兼容性开发。这种资源分配的失衡往往在实际操作中使安全防护沦为形式化合规检查，仅满足最低标准。在涉及敏感数据处理时，这种妥协尤其危险，当前人工智能和机器学习(AI/ML)系统正面临这种风险：作为系统核心的数据资产，却未能获得足够的安全保障措施。

什么是数据中毒?

AI/ML模型依赖于通过监督和无监督学习不断更新的核心训练数据集。机器学习是实现人工智能的主要方式，支持深度学习并开发其多种功能。数据的多样性和可靠性直接影响模型输出的准确性和有用性，因此模型需要大量数据进行训练。然而，对大量数据的依赖也存在风险，未经验证或审查不当的数据集可能导致不可靠的结果。尤其是生成式人工智能(如大型语言模型及其人工智能助手)更容易受到恶意篡改攻击。其中最严重的威胁之一是数据(或数据库)中毒，攻击者通过篡改数据改变模型行为，使其产生不正确、有偏见甚至有害的输出，这可能破坏整个应用程序的信任并带来系统性风险。

数据中毒的类型

数据中毒攻击有多种类型，例如：

数据注入：攻击者将恶意数据点注入训练数据，使 AI 模型改变其行为。

内部攻击：与常规的内部威胁一样，员工可能会滥用他们的访问权限来更改模型的训练集，逐个更改模型来修改其行为。

触发注入：此攻击将数据注入AI模型的训练集以创建触发器。这使攻击者能够绕过模型的安全性，并根据设置的触发器在各种情况下操纵其输出。检测这种攻击的挑战在于，很难发现触发点，而且在触发点被激活之前，威胁一直处于休眠状态。

供应链攻击：这些攻击的影响严重性难以估计。由于AI模型通常使用第三方组件，因此在供应链中引入的漏洞最终会危及模型的安全性并使其容易被利用。

随着AI模型作为助手或生产力工具嵌入到企业和面向消费者的系统中，针对这些系统的攻击正在成为一个重大问题。企业AI模型虽然不会与第三方共享数据，但会大量使用内部数据来提升输出效果。这使得它们需要接触大量敏感信息，从而成为高价值目标。而消费者模型的风险更高，因为它们通常会将用户输入(其中包含敏感数据)与其他方共享。

如何保护ML/AI开发?

ML/AI模型的预防策略需要开发人员和用户的意识。主要策略包括：

不断的检查和审计：要持续检查和审计AI/ML模型的输入数据集，确保其完整性和可靠性，防止恶意操纵或偏见数据对模型造成损害。

关注安全性：人工智能开发人员本身可能最终成为攻击者的瞄准目标，因此拥有一个安全设置，可以提供预防优先的方法，通过主动预防、早期检测和系统安全检查来最大限度地减少攻击面，这是安全开发的必要条件。

对抗式训练：如前所述，模型通常由专业人员监督以指导其学习。同样的方法可以用来教模型区分恶意数据点和有效数据点，最终帮助阻止中毒攻击。

零信任和访问管理：通过零信任防御内部和外部威胁，监控对模型核心数据的未授权访问的安全解决方案，及时发现并阻止可疑行为。在零信任环境中，任何人默认都不被信任，必须经过多次验证才能获得访问权限。

安全设计

构建安全的AI/ML平台至关重要。如同虚假信息会导致有害行为，数据中毒的AI模型也会产生不良后果。随着全球对AI风险的关注增加，平台开发者需反思是否已充分保障模型的完整性，将解决偏见、不准确性和脆弱性作为核心优先事项。随着AI深度融入生活，其安全风险也在增加，企业、开发者和政策制定者必须协同合作，确保AI系统抵御攻击，从而在保障安全、隐私和信任的前提下释放AI潜力。

 

参读链接：

https://www.welivesecurity.com/en/business-security/untrustworthy-ai-data-poisoning/