Policy

前沿红队的工作进展与洞察

Progress from our Frontier Red Team

2025年3月19日

在这篇文章中，我们将分享关于前沿 AI 模型在国家安全风险方面的发展轨迹，以及我们在评估这些风险时遇到的挑战和最佳实践的一些思考。本文内容基于过去一年我们在四次模型发布中所开展的工作。我们的评估是，AI 模型正在展现出关键双重用途能力快速进步的"早期预警"信号：模型在网络安全领域已接近甚至在某些方面超越了本科水平，在生物学某些领域则达到了专家级知识水平。然而，当前的模型尚未达到我们认为会显著增加国家安全风险的门槛。

AI 在多个领域快速进步

AI is improving rapidly across domains

虽然 AI 能力在许多领域都在快速提升，但需要指出的是，现实世界的风险取决于 AI 本身之外的多种因素。物理限制、专业设备、人类专业知识以及实际实施中的挑战，仍然是重要的障碍，即便 AI 在需要智力和知识的任务上不断进步。基于这一背景，以下是我们在关键领域所了解的 AI 能力发展情况。

网络安全

Cybersecurity

在网络安全领域，2024 年是一个"从零到一"的转折点。在"夺旗赛"（CTF）——一种在受控环境中寻找和利用软件漏洞的网络安全挑战——中，Claude 在短短一年内从高中生水平提升到了本科生水平。

我们确信这反映了真实的能力提升，因为我们专门开发了额外的挑战，以确保它们不会无意中出现在模型的训练数据中。

这种网络能力的提升在我们最新的模型 Claude 3.7 Sonnet 上得到了延续。在 Cybench——一个使用 CTF 挑战来评估大语言模型（LLM）的公开基准测试——上，Claude 3.7 Sonnet 在五次尝试内解决了约三分之一的挑战，而去年此时我们的前沿模型只能解决约 5%（见图 2）。

这些改进发生在不同类型的网络安全任务中。图 3 展示了不同模型代际在各类 CTF 上的进步，这些 CTF 要求发现并利用远程服务器上不安全软件中的漏洞（"pwn"）、Web 应用程序（"web"）以及密码学原语和协议（"crypto"）。然而，Claude 的技能仍然落后于人类专家。例如，它在逆向工程二进制可执行文件以发现隐藏漏洞，以及在网络环境中进行侦察和利用方面仍然存在困难——至少在没有一点帮助的情况下是这样。

我们与卡内基梅隆大学的外部专家合作，在真实的、大型（约 50 台主机）网络靶场上进行了实验，测试模型发现和利用不安全软件漏洞、感染网络并在网络中横向移动的能力。与传统的 CTF 练习相比，这些挑战模拟了真实网络行动的复杂性，要求模型同时具备执行侦察和策划多阶段网络攻击的能力。目前，模型还无法在这种网络环境中自主成功。但是，当配备了网络安全研究人员构建的一套软件工具后，Claude（以及其他大语言模型）能够使用简单的指令成功复现一次类似于已知的大规模信用报告机构个人身份信息窃取攻击。

这套评估基础设施使我们能够在模型自主能力提升时发出预警，同时也有助于提高 AI 在网络防御中的实用性，其他实验室也在沿着这条道路探索并取得了有希望的成果。

生物安全

Biosecurity

我们之前的文章重点介绍了生物安全评估，我们也在继续这项工作。我们观察到模型在生物学理解方面取得了快速进展。在一年之内，Claude 从一个旨在测试实验室常见故障排除场景的评估中表现不如世界级病毒学专家，到轻松超越这一基线水平（见图 5）。

不过，Claude 在生物学方面的能力仍然不均衡。例如，针对评估模型在湿实验室研究相关技能的问题进行的内部测试显示，我们的模型在理解生物学实验方案以及操作 DNA 和蛋白质序列方面正接近人类专家基线。我们最新的模型在克隆工作流程方面超过了人类专家基线。但在解读科学图表方面，模型仍然不如人类专家。

为了衡量这种不断进步但不均衡的生物学专业知识如何转化为生物安全风险，我们进行了小规模、受控的武器化相关任务研究，并与世界级的生物防御专家合作。在一项实验研究中，我们发现，与无法使用模型的参与者相比，我们最新的模型为新手提供了一定程度的提升。然而，即使是有模型访问权限的参与者中得分最高的方案，仍然包含了会导致现实世界失败的关键错误。

同样，专家红队测试的结论也褒贬不一。一些专家指出模型在武器化某些方面的知识有所改进，而另一些专家则指出，模型规划中的关键失败数量太多，无法成功完成端到端的攻击执行。总体而言，这项分析表明，我们的模型无法可靠地引导恶意新手行为者完成生物武器获取的关键实践步骤。然而，鉴于其快速进步，我们将继续大力投资于监测生物安全风险和开发缓解措施，例如我们最近在宪法分类器（constitutional classifiers）方面的工作，以便在模型达到更令人担忧的性能水平时做好准备。

战略预警合作的价值：快速、负责任地发展 AI

The benefit of partnering for strategic warning: rapid, responsible development of AI

这项工作的重要益处在于它帮助我们更快地前进，而不是更慢。通过提前制定评估计划并承诺达到能够促使安全级别提升的能力阈值，Anthropic 前沿红队的工作增强了我们快速推进 AI 前沿的能力，同时让我们有信心以负责任的方式行事。

这项工作——尤其是与政府合作开展时——能够带来具体的安全改进，并为政府官员提供有用的信息。通过自愿、互利的协议，我们的模型已接受美国 AI 安全研究所（US AI Safety Institute）和英国 AI 安全研究所（UK AI Security Institute, AISI）的部署前测试。AISIs 的最新测试有助于我们理解 Claude 3.7 Sonnet 与国家安全相关的能力，我们利用这一分析来为模型确定 AI 安全等级（ASL）。

Anthropic 还率先与美国国家核安全局（NNSA）——美国能源部（DOE）的一部分——建立了首次此类合作伙伴关系，后者正在机密环境中评估 Claude 与核和辐射风险相关的知识。由于核武器相关信息的特殊敏感性，该项目涉及政府直接进行的红队测试。作为该合作伙伴关系的一部分，Anthropic 分享了我们在其他 CBRN 领域的风险识别和缓解方法方面的见解，NNSA 将其调整后应用于核领域。这种公私实体在高度监管的核领域合作的成功表明，在其他敏感领域也可以进行类似的合作。

展望未来

Looking ahead

我们在前沿威胁方面的工作凸显了内部保障措施（如我们的负责任的扩展政策）、独立评估机构（包括 AI 安全/安全研究所）以及适当的外部监督的重要性。展望未来，我们的目标是扩大规模，进行更频繁的测试，并实现自动化评估、诱导、分析和报告。诚然，AI 能力正在快速进步，但我们运行这些评估以及更早、更可靠地检测潜在风险的能力也在同步提升。

我们正在紧锣密鼓地推进工作。随着模型在使用扩展思考能力方面的提升，像 Incalmo 这样的网络工具包所实现的某些抽象和规划能力可能会变得过时，模型将能够开箱即用地更好地完成网络安全任务。部分基于本文讨论的生物学研究，我们认为我们的模型正越来越接近需要 AI 安全等级 3 保障措施的能力阈值，这促使我们加大投资，确保这些安全措施能够及时就位。我们相信，前沿 AI 实验室与政府之间更深层次的合作对于改进我们在所有这些重点领域的评估和风险缓解措施至关重要。

如果您有兴趣直接为我们的工作做出贡献，我们正在招聘。

相关内容

Related content

阿尔伯塔省政府使用 Claude 发现并修复政府系统中的网络安全漏洞

自 2025 年起，阿尔伯塔省政府一直使用 Claude Code（搭载 Opus 和 Sonnet 模型）来审查其系统、发现漏洞并进行修复。

了解更多

关于 Fable 5 网络安全保障措施及越狱框架的更多细节

了解更多

介绍 Claude Sonnet 5

Sonnet 5 在编码、智能体以及大规模专业工作方面提供了前沿性能。

了解更多