什么是 AI 安全？

组织可以通过多种方式将 AI 融入网络安全实践。最常见的 AI 安全工具使用机器学习和深度学习来分析大量数据，包括流量趋势、应用程序使用情况、浏览习惯和其他网络活动数据。

这种分析使 AI 能够发现模式并建立安全基线。任何超出该基准的活动都会立即被标记为异常和潜在的网络威胁，因此可以迅速采取补救措施。

AI 安全工具还经常使用生成式 AI（借大型语言模型 (LLM) 实现普及）将安全数据转换为纯文本建议，从而简化安全团队的决策。

研究表明，AI 安全工具可显著提高威胁检测和事件响应能力。根据 IBM 在数据泄露成本报告中披露的数据，具有广泛安全 AI 和自动化功能的组织识别和遏制数据泄露的速度比没有 AI 工具的组织平均快 108 天。

此外，报告发现，广泛使用 AI 安全的组织平均可节省 176 万美元的应对数据泄露的成本。与不使用 AI 的公司的平均数据泄露成本相比，相差近 40%。

出于这些原因，对 AI 安全的投资正在增长。最近的一项研究预测，2023 年的 AI 安全市场价值为 201.9 亿美元，到 2032 年将达到 1,416.4 亿美元，年增长率为 24.2%。¹

AI 安全在不同的情境下有不同的含义。虽然本页重点讨论的是利用 AI 提升网络安全，但还有两个常见定义侧重于保护 AI 模型和程序免受恶意使用或未经授权的访问。

在一种定义中，网络安全专家关注威胁行为者如何利用 AI 提高网络攻击能力或利用新的攻击面。

例如，LLM 可以帮助攻击者创建更加个性化和复杂的网络钓鱼攻击。作为一项相对较新的技术，AI 模型也为威胁参与者提供了新的网络攻击机会，例如供应链攻击和对抗攻击（请参阅“AI 的潜在漏洞和安全风险”）。

人工智能安全的另一种定义是保护 AI 部署。根据 IBM 商业价值研究所最近的一项研究，当前生成式 AI 项目中仅有 24％ 受到安全保护。确保 AI 项目的安全性涉及保护 AI 数据、模型和使用过程的实践。

例如，红队演练（其中道德黑客模拟现实中的对手）通常以 AI 系统、机器学习模型及支持 AI 和 ML 应用的数据集为目标。

确保 AI 部署安全可能还包括监控，以根除影子 AI 的情况，即未经授权使用 AI 模型和工具。所有这些做法也有助于企业管理 AI 风险和解决合规问题。

当今的网络威胁形势复杂。向云和混合云环境的转变导致数据蔓延和攻击面扩大，同时威胁参与者继续寻找利用漏洞的新方法。与此同时，网络安全专业人员仍然供不应求，仅在美国就有超过 700,000 个职位空缺。²

结果是，网络攻击现在更加频繁和代价更高。根据数据泄露成本报告，2023 年补救数据泄露的全球平均成本为 445 万美元，三年内增长了 15%。

AI 安全可以提供解决方案。通过自动执行威胁检测和响应，AI 可以更轻松地实时阻止攻击并捕获威胁参与者。AI 工具可以帮助完成各种工作，从通过识别和隔离恶意软件来防止恶意软件攻击，到通过识别和阻止重复登录尝试来检测暴力攻击。

借助 AI 安全，组织可以持续监控其安全运营，并使用机器学习算法来适应不断变化的网络威胁。

不投资 AI 安全代价高昂。未实施 AI 安全的组织面临的数据泄露平均成本为 536 万美元，比所有组织的平均成本高出 18.6%。

即使是有限的安全措施也可能带来显著的成本节约：采取有限 AI 安全措施的组织报告的平均数据泄露成本为 404 万美元，比整体平均水平低 40 万美元，比完全没有 AI 安全的组织低 28.1%。

尽管 AI 有诸多优点，但也带来了安全挑战，尤其是数据安全方面。AI 模型只能与其训练数据一样可靠。经篡改或有偏见的数据会导致误报或不准确的回复。例如，用于招聘决策的有偏见的培训数据可能会强化性别或种族偏见，使 AI 模型偏向某些人口群体而歧视其他群体。³

AI 工具还可以帮助威胁参与者更成功地利用安全漏洞。例如，攻击者可以利用 AI 自动发现系统漏洞或生成复杂的网络钓鱼攻击。

据 Reuters 报道，联邦调查局 (FBI) 发现 AI 导致的网络入侵事件有所增加。⁴ 最近的一份报告还发现，75% 的高级网络安全专业人员面临更多的网络攻击，其中 85% 的人将其归因于恶意参与者使用了生成式 AI。⁵

展望未来，许多组织将寻找方法在安全 AI 方面投入时间和资源，以在不损害 AI 伦理或安全的情况下享受人工智能带来的好处（参阅“AI 安全最佳实践”）。

AI 功能可以在增强网络安全防御方面提供显著优势。AI 安全的一些最显著的优点包括：

• 增强的威胁检测：AI 算法可以实时分析大量数据，以提高检测潜在网络威胁的速度和准确性。AI 工具还可以识别传统安全措施可能遗漏的复杂攻击媒介。

• 更快的事件响应：AI 可以缩短检测、调查和响应安全事件所需的时间，使组织能够更快地应对威胁并减少潜在的损害。

• 提高运营效率：AI 技术可以自动执行日常任务，从而简化安全运营，并削减成本。优化网络安全运营还可以减少人为错误，让安全团队腾出时间从事更具战略性的项目。

• 主动的网络安全方法：AI 安全使组织能够使用历史数据来预测未来的网络威胁并识别漏洞，从而采取更主动的网络安全方法。

• 了解新兴威胁：AI 安全有助于组织领先于威胁参与者。通过不断从新数据中学习，AI 系统可以适应新出现的威胁，并确保网络安全防御措施保持最新状态，以抵御新的攻击方法。

• 改善用户体验：AI 可以在不影响用户体验的情况下加强安全措施。例如，基于 AI 的身份验证方法，如生物识别和行为分析，可以使用户身份验证更流畅、更安全。

• 自动化监管合规：AI 可以帮助自动化合规监控、数据保护和报告，确保组织始终如一地满足监管要求。

• 可扩展能力：AI 网络安全解决方案可以扩展以保护复杂的大型 IT 环境。它们还可以与现有的网络安全工具和基础设施集成，例如安全信息和事件管理 (SIEM) 平台，以增强网络的实时威胁情报和自动响应能力。

尽管有很多好处，但采用新的 AI 工具可能会扩大组织的攻击面并带来多种安全威胁。

AI 带来的一些最常见的安全风险包括：

AI 系统依赖可能容易受到篡改、数据泄露和其他攻击的数据集。组织可以通过在整个 AI 生命周期（从开发到训练和部署）中保护数据完整性、保密性和可用性来降低这些风险。

威胁参与者可以将 AI 模型作为盗窃、逆向工程或未经授权操纵的目标。攻击者可能会通过篡改模型的架构、权重或参数（决定 AI 模型行为和性能的核心组件）来损害模型的完整性。

对抗攻击涉及操纵输入数据来欺骗 AI 系统，导致错误的预测或分类。例如，攻击者可能会生成对抗性示例，利用 AI 算法中的漏洞来干扰 AI 模型的决策或产生偏见。

同样，提示注入使用恶意提示来诱骗 AI 工具执行有害操作，例如泄露数据或删除重要文档。

如果安全团队在部署 AI 系统时不优先考虑安全和伦理，他们可能面临侵犯隐私、加剧偏见和增加误报的风险。只有通过合乎道德的部署，组织才能确保公平性、透明度与问责制在人工智能决策中得以落实。

遵守法律和监管要求对于确保 AI 系统的合法和伦理使用至关重要。组织必须遵守通用数据保护条例 (GDPR)、California Consumer Privacy Act (CCPA) 和欧盟 AI 法案等法规，否则将面临暴露敏感数据并面临严厉法律处罚的风险。

输入操纵攻击涉及更改输入数据来影响 AI 系统的行为或结果。攻击者可能会操纵输入数据来逃避检测，绕过安全措施或影响决策过程，这可能会导致结果有偏见或不准确。

例如，在数据投毒攻击中，威胁行为者可以通过故意向模型提供错误训练数据，破坏 AI 系统的输出。

当威胁参与者在供应链层面（包括开发、部署或维护阶段）以 AI 系统为目标时，就会发生供应链攻击。例如，攻击者可能会利用 AI 开发中使用的第三方组件、软件库或模块的漏洞，促成数据泄露或未经授权的访问。

随着时间的推移，AI 模型可能会出现漂移或衰退，从而导致性能或有效性下降。对手可以利用衰退或漂移的 AI 模型中的弱点来操纵输出。组织可以监控 AI 模型的性能、行为或准确性的变化，以保持其可靠性和相关性。

随着 AI 工具变得越来越先进和普及，AI 在网络安全领域的应用也变得多种多样且不断发展。

当今 AI 安全的一些最常见用例包括：

数据保护涉及保护敏感信息免遭数据丢失和损坏，以保护数据并确保其可用性且符合法规要求。

AI 工具可以通过对敏感数据进行分类、监控数据移动和防止未经授权的访问或渗漏来帮助组织改善数据保护。AI 还可以优化加密和令牌化流程，以保护静态和传输中的数据。

此外，AI 可以自动适应威胁形势并全天候持续监控威胁，从而使组织能够领先于新出现的网络威胁。

端点安全涉及保护计算机、服务器和移动设备等端点免受网络安全威胁。

AI 可以通过持续监控端点的可疑行为和异常来检测实时安全威胁，从而改进现有的端点检测和响应 (EDR) 解决方案。

机器学习算法还可以帮助识别和缓解高级端点威胁，例如无文件恶意软件和零日攻击，以免造成伤害。

AI 可通过自动识别影子数据、监控数据访问异常以及在威胁发生时向网络安全专业人员发出警报来帮助保护混合云环境中的敏感数据。

威胁搜寻平台会主动搜索组织网络中存在恶意活动的迹象。

通过 AI 集成，这些工具可以通过分析大型数据集、识别入侵迹象以及更快地检测和响应高级威胁来变得更加先进和高效。

随着网络攻击和身份盗窃变得越来越普遍，金融机构需要保护其客户和资产的方法。

AI 通过自动分析交易数据以查找表明欺诈的模式来帮助这些机构。此外，机器学习算法可以实时适应新的和不断演变的威胁，使金融提供商能够不断提高其欺诈检测能力并领先于威胁参与者。

AI 安全工具在与组织现有的安全基础设施集成时，往往最为有效。

例如，安全编排、自动化和响应 (SOAR) 是许多组织用来简化安全运营的软件解决方案。AI 可以与 SOAR 平台集成，实现日常任务和工作流程的自动化。这种集成可以实现更快的事件响应，并让安全分析师能够专注于更复杂的问题。

身份和访问管理 (IAM) 工具管理用户如何访问数字资源以及他们可以用这些资源做什么。其目标是阻止黑客，同时确保每个用户都只拥有他们所需的确切权限。

AI 驱动的 IAM 解决方案可以根据角色、职责和行为提供细粒度的访问控制，进一步确保只有授权用户才能访问敏感数据，从而改进这一流程。

AI 还可以通过使用机器学习分析用户行为模式来增强身份验证过程，并实现根据各个用户风险级别变化的自适应身份验证措施。

像 ChatGPT 这样的 LLM 使网络钓鱼攻击更容易进行且更难识别。不过，AI 也已成为对抗网络钓鱼的重要工具。

机器学习模型可帮助组织分析电子邮件和其他通信，查找网络钓鱼的迹象，提高检测准确性，减少网络钓鱼的成功尝试。AI 驱动的电子邮件安全解决方案还可以提供实时威胁情报和自动响应，以便在网络钓鱼攻击发生时及时发现。

漏洞管理是指持续发现、确定优先级、缓解和消除组织 IT 基础架构和软件中的安全漏洞。

AI 可以根据潜在影响和被利用的可能性自动排列漏洞的优先级，从而增强传统漏洞扫描程序的功能。这有助于组织首先消除最关键的安全风险。

AI 还可以自动化补丁管理，以及时减少网络威胁的发生。

为了平衡 AI 的安全风险和优点，许多组织制定了明确的 AI 安全战略，概述了利益相关者应如何开发、实施和管理 AI 系统。

虽然这些策略因公司而异，但一些常用的最佳实践包括：