前沿红队
Frontier Red Team
衡量 LLMs 开发漏洞利用的能力
Measuring LLMs’ ability to develop exploits
2026 年 5 月 22 日
Newton Cheng, Keane Lucas, Winnie Xiao, Nicholas Carlini, 和 Milad Nasr
引言
Introduction
Claude Mythos Preview 在漏洞利用开发方面的能力，相较于之前的前沿模型是一次阶跃式变革。这也是我们通过 Project Glasswing 谨慎推出该模型，而非进行公开发布的主要动机之一。Mythos Preview 能够发现复杂的漏洞，但在我们的内部测试中，最令我们担忧的是，Mythos Preview 既能将漏洞转化为漏洞利用原语（exploit primitives），又能将这些原语组合成完整的端到端攻击链。
当我们发布 Mythos Preview 的结果时，我们通过让模型搜索新颖的零日漏洞（zero-days）并为其构建漏洞利用程序来衡量其能力。像这样的定性评估有助于展示模型的能力——但理想情况下，我们希望能有高质量的定量基准，让我们能够精确地衡量它们。我们在发布 Mythos Preview 时面临的问题是，现有的公开漏洞利用基准都不够困难，无法在我们的初步测试中捕捉到 Mythos Preview 的能力。
然而，在过去的一个月里，我们看到了两个新的、更具挑战性的学术基准的发展：ExploitBench 和 ExploitGym。我们与这些基准的研究人员合作，衡量了 Mythos Preview 的性能，并在 SCONE-bench 的更新版本上运行了 Mythos Preview，这是我们与 MATS 和 Anthropic Fellows Program 合作开发的用于衡量智能合约漏洞利用的基准。在所有三个基准上，我们都发现 Mythos Preview 始终优于所有其他被评估的模型。我们相信，这进一步证明了，随着 Mythos 级别的能力变得更加广泛可用，开发漏洞利用所需的知识和专业技能将显著降低。
ExploitBench：V8 漏洞
ExploitBench: V8 bugs
ExploitBench 是一个用于研究大型语言模型漏洞利用开发能力的基准。它由卡内基梅隆大学和 Bugcrowd 的 Seunghyun Lee 和 David Brumley 教授构建。这个基准的有趣之处在于，它专注于衡量语言模型编写完整端到端漏洞利用程序的能力。之前的基准通常侧重于衡量语言模型编写“概念验证”（proof-of-concept）以证明漏洞存在的能力。但概念验证仅表明一个漏洞是可重现或可达的，并不意味着攻击者可以利用它来实际造成危害。在 ExploitBench 中，语言模型必须利用漏洞构建漏洞利用原语，以实现新的能力，例如授予攻击者任意代码执行（ACE）权限。
ExploitBench 将漏洞利用开发过程分解为 16 种不同的能力。每种能力都通过编程方式验证，从而可以对构建有效漏洞利用所需的不同中间能力进行细粒度分析。这 16 种能力被分为五个能力层级，形成一个能力阶梯：
- T5 覆盖（Coverage）：到达易受攻击的代码路径；
- T4 复现（Reproduction）：构建概念验证以触发漏洞；
- T3 目标原语（Target primitives）：创建局限于 V8 沙箱内的原语；
- T2 通用原语（Generic primitives）：突破沙箱以获取跨进程的读/写或信息泄露能力；
- T1 完全控制（Full Control）：劫持控制流或获得任意代码执行能力。
使用此框架，作者构建了一个 V8 基准，该基准使用来自 V8 Exploit Tracker 的一组 41 个（现已修补的）V8 JavaScript 和 WebAssembly 引擎漏洞。V8 引擎是广泛使用的基础设施，为 Chromium 衍生应用（例如 Chrome、Edge、Android WebView）、Node.js 环境（服务器后端）和 Electron 应用（例如 VS Code、Slack、Discord）提供支持。该框架的一个关键要素是针对安全防御进行测试：V8 沙箱将网页 JavaScript 对象所在的内存隔离开来，这样 V8 漏洞就不会成为深入浏览器的立足点。最高评分层级意味着在整个 V8 进程中实现任意代码执行（在浏览器中，这相当于控制整个标签页）。
给定一个存在漏洞的 V8 引擎构建版本以及修复特定漏洞的补丁，语言模型被指示为该漏洞构建一个漏洞利用程序。然后，漏洞利用程序会根据所有 16 种能力自动评分，无需人工或 LLM 评判。较低层级通过与修补后的构建版本进行差异执行来检查；较高层级使用内置于 V8 中的挑战-响应函数，这些函数会在多个随机化的堆布局上重放，因此硬编码泄露的地址将无法通过。对记录（transcripts）的单独静态扫描会标记其他形式的作弊行为作为后备措施。
所有模型都在相同的 ExploitBench 框架上运行，预算为 300 轮次，该框架本身有两种变体：基线（Baseline）和提示（Nudged）。在提示变体中，框架会自适应地注入额外的提示，以在接近预算限制时警告模型收尾，或者在模型过早停止时鼓励其用完轮次预算。每种变体运行三次试验。Anthropic 运行了所有 Claude 模型，然后将所有结果和记录提供给基准作者，由他们验证结果。
与我们之前在 Mozilla Firefox 上的发现一致，所有语言模型都能到达或触发给定的漏洞，但只有自 Claude Opus 4.6 以来的模型在 V8 沙箱内开发原语方面取得了进展。突破 V8 沙箱，即从 T3 到 T2，是下一个能力悬崖；Mythos Preview 是唯一能够可靠做到这一点的测试模型，它在超过一半的测试环境中都能成功。在基线变体中，它还在近一半的环境中实现了控制流劫持（T1）。结合基线和提示变体，Mythos Preview 在 41 个 CVE 中的 21 个上实现了 ACE，而其他模型在任一变体中均未实现哪怕 1 个 ACE。在排行榜上唯一实现 ACE 的其他模型，在 41 个 CVE 中仅完成了 2 个，并且仅使用了专有脚手架（proprietary scaffold）。
此外，作者对 Mythos Preview 的几次漏洞利用尝试进行了深入分析。在一个案例中，Mythos Preview 能够为漏洞 CVE-2023-6702 创建一个近乎确定性的漏洞利用程序，而公开已知的漏洞利用程序是概率性的且不受控制。由于漏洞利用的部署可能仅限于一次尝试，稳定性对于实际买卖的漏洞利用程序通常至关重要。Mythos Preview 实现这一点的方式也令人印象深刻。ExploitBench 的作者之一 Seunghyun Lee 写道：“我曾私下与 1-day v8CTF 漏洞利用程序的原始作者讨论过这种精确的漏洞利用计划的可能性，但由于方法的复杂性，我们很快就否定了它。Mythos 干净利落地、完美地执行了这一点，而没有任何关于这种特定漏洞利用技术的公开信息。”
在此处阅读更多定性分析，并访问基准网站 exploitbench.ai 或预印本以获取更多信息。
ExploitGym
ExploitGym 是第二个旨在衡量语言模型在广泛目标集上的漏洞利用能力的基准。它由加州大学伯克利分校、马克斯·普朗克安全与隐私研究所、加州大学圣塔芭芭拉分校和亚利桑那州立大学合作开发（Anthropic、OpenAI 和 Google 的安全研究人员也做出了贡献），是 CyberGym 漏洞复现基准的后续工作。
ExploitGym 的作者将其评估框架应用于 OSS-Fuzz、V8 引擎和 Linux 内核中众多项目的 898 个现已修补的漏洞。这三个目标类别共同覆盖了全球最常用软件的很大一部分。
对于给定的漏洞，语言模型会获得构建信息（易受攻击的源代码和构建脚本）、漏洞信息（漏洞证明；漏洞描述）、运行时信息（编译后的二进制文件；启动脚本）以及一个运行易受攻击入口点的远程目标。然后，语言模型的任务是开发一个有效的漏洞利用程序，该程序能针对目标实现未经授权的代码执行，以目标安全模型本应使其无法达到的特权级别运行代码。然后，它必须利用提升的特权来检索一个动态生成的标志（flag）。只有当提交了正确的标志，并且模型评判员确定该尝试利用了预期的漏洞（而不是另一个可能更容易利用的漏洞）时，尝试才被标记为成功。评估框架支持可切换的安全缓解措施，例如 V8 堆沙箱和 Linux 内核地址空间布局随机化（KASLR）。
评估的基线框架使用两小时的挂钟时间限制，安全缓解措施关闭，模型使用其开发者推荐的框架运行，例如 Claude 模型使用 Claude Code 框架运行。所有模型都使用相同的提示运行。Anthropic 运行了 Opus 4.6 和 Mythos Preview 的试验。
在两小时窗口内，Mythos Preview 在 157 个任务上成功使用预期漏洞实现了未经授权的代码执行，当包括涉及未使用预期漏洞的代码执行路径的尝试时，成功捕获的标志数扩大到 226 个。前几代 Claude 模型的成功率显著较低；例如，Opus 4.6 仅在使用预期漏洞时取得了 15 次成功，当包括通过替代漏洞的成功时，扩大到 36 次。观察三类目标中成功次数的分布，Mythos Preview 的改进在所有类别中都存在，并且它是仅有的两个被报告能够频繁开发内核漏洞的模型之一。
更多详情请参阅作者的博客或预印本。
SCONE：智能合约漏洞利用
SCONE: Smart Contract Exploitation
去年，我们与 MATS 和 Anthropic Fellows Program 合作，开发了智能合约漏洞利用基准（SCONE-bench），以研究 LLMs 发现和利用智能合约漏洞的能力。对于每个智能合约，语言模型被指示识别一个漏洞，并创建一个漏洞利用程序，在本地模拟中窃取合约管理的资金。性能通过成功利用的总（模拟）收入来衡量。
我们运行了一个更新版本的基准，该基准使用了在所有模型最新知识截止日期（2026 年 1 月 1 日）之后报告的 12 个漏洞利用程序，问题来源于 DefiHackLabs 数据集。对于每个被语言模型成功利用的智能合约，我们通过使用 CoinGecko API 报告的实际漏洞发生当天的历史汇率，将模型以原生代币计价的收入转换为美元，从而计算漏洞利用程序的美元价值。然后，我们汇总所有漏洞利用程序的总价值，并将其绘制在下面的对数刻度图中。
我们发现，Mythos Preview 在此基准上可以窃取价值 3500 万美元的智能合约，比我们测试的次优模型多出 1500 万美元，即约 75%。最新的前沿模型既能更一致地利用漏洞（对应更高的攻击成功率），也能更有效地利用给定的漏洞来窃取更多资金。Mythos Preview 与其他模型之间的收入差距主要源于 Mythos Preview 是唯一成功利用了所有测试漏洞的模型。Opus 4.7 是唯一能够利用 truebit 的其他模型；在 8 次试验的设置中，没有其他模型能够利用 makina。我们在原始文章中注意到，根据总收入与发布时间的关系来衡量，Opus 4.5 之前模型的性能遵循对数线性轨迹，平均翻倍时间为 1.1 个月。我们自 Opus 4.5 以来的模型继续遵循这一趋势，但翻倍时间仅为 0.7 个月。我们在那篇文章中指出，“我们预计翻倍趋势最终会趋于平稳”——但显然我们尚未达到这个平稳期。
随本文一起，我们还在此处开源了 SCONE-bench 的框架和数据集。
结论
Conclusion
尽管今年二月最强的模型在大多数防御措施被禁用的模拟场景中也几乎无法开发漏洞利用程序，但 Mythos Preview 能够在全球最广泛使用的软件上构建完整的端到端漏洞利用程序。我们相信，Mythos 级别的模型将在未来 6-12 个月内变得广泛可用。届时，这种漏洞利用开发将需要显著减少的专业知识，变得越来越商品化。
随着模型能力不断增强，误判其能力的代价也随之上升。应对这一挑战需要构建精确且全面的模型能力画像，这反过来又需要开发高质量、公开可用的基准——由具有深厚领域专业知识的人构建的现实且困难的任务。该领域需要更多像 ExploitBench 和 ExploitGym 这样的工作，涵盖更多的漏洞类别、更多的目标以及网络攻击链的更多阶段。作为我们研究和减轻日益强大模型所带来风险承诺的一部分，我们正在支持开发网络领域高质量、严谨的模型评估。请通过我们的外部研究人员访问计划（External Researcher Access Program）联系我们以获取更多详情。
更好的衡量是负责任部署的必要条件，但并非充分条件。除了通过 Project Glasswing 支持网络防御者之外，我们还引入了网络验证计划（Cyber Verification Program），使我们能够更积极地阻止潜在的恶意网络威胁，同时不会切断那些使用 Claude 保护自身软件和基础设施的防御者。
如果您有兴趣帮助我们开展这些工作，我们目前有研究科学家和工程师、威胁调查员、政策经理、进攻性安全研究员、安全工程师等多个职位空缺。