公告
前沿威胁红队测试：AI安全的关键防线
2023年7月26日
"红队测试"（Red teaming），即对抗性测试，是一种公认的衡量和提升系统安全性的技术。虽然Anthropic此前的研究报告了使用众包工作者进行红队测试的方法和结果，但一段时间以来，AI研究人员已经注意到，AI模型最终可能在国家安全相关领域获得能力。例如，研究人员呼吁衡量和监控这些风险，并发表了证明风险存在的论文。Anthropic首席执行官Dario Amodei最近也在参议院听证会上强调了这一话题。在此背景下，我们很高兴倡导并加入7月21日在白宫宣布的承诺，其中包括"对[我们的]AI系统进行内部和外部安全测试"，以防范"AI风险的一些最重要来源，如生物安全和网络安全"。然而，在这些专业领域进行红队测试需要投入大量的时间和专业知识。
在这篇文章中，我们将分享"前沿威胁红队测试"（frontier threats red teaming）的方法、我们作为测试项目在生物风险方面开展研究的高层发现、经验教训以及未来的计划。
这项工作的目标是评估风险的基线水平，并创建一种可重复的方法，以便在多个主题领域开展前沿威胁红队测试。在生物学方面，虽然我们发现的细节高度敏感，但我们认为分享这项工作的重要结论至关重要。简而言之，通过与专家合作，我们发现，如果不加以缓解，模型可能很快会对国家安全构成风险。不过，我们也发现存在一些缓解措施，可以大幅降低这些风险。
目前，我们正在扩大这项工作，以便可靠地识别风险并构建缓解措施。我们相信，改进前沿威胁红队测试将带来立竿见影的收益，并为长期AI安全做出贡献。我们一直在与政府、实验室和其他利益相关方分享我们的发现，并希望看到更多独立团队开展这项工作。
开展前沿威胁红队测试
Conducting frontier threats red teaming
前沿威胁红队测试需要投入大量精力来揭示底层模型能力。对我们来说，最重要的起点是与拥有数十年经验的领域专家合作。我们首先共同定义了威胁模型（threat models）：哪些类型的信息是危险的，这些信息如何组合起来造成危害，以及需要达到怎样的准确度和频率才会构成危险。例如，要造成危害，通常需要将许多条准确的信息串联起来，而不仅仅是生成一条听起来有害的输出。
遵循一个定义明确的研究计划，主题专家和大型语言模型（LLM）专家需要共同投入大量时间（即100小时以上），与模型密切合作，以探测并理解它们在目标领域的真实能力。例如，领域专家可能需要学习与模型交互或"越狱"（jailbreak）模型的最佳方式。
一个重要目标是基于专家知识构建新的自动化评估方法，以及运行这些评估的工具，使其可重复且可扩展。然而，一个挑战是这些信息可能具有敏感性。因此，这类红队测试需要与可信的第三方合作，并具备强大的信息安全保护措施。
生物学红队测试的发现
Findings from red teaming biology
在过去的六个月里，我们与顶尖的生物安全专家一起，花费了超过150个小时进行红队测试，评估我们的模型输出有害生物信息的能力，例如设计和获取生物武器。这些专家学会了如何与我们的模型对话、越狱以及评估模型。我们开发了模型能力的定量评估方法。专家们使用了一个定制的、安全的模型接口，该接口没有启用我们在公开部署中使用的信任与安全监控及执行工具。
我们发现了一些关键问题。首先，当前的前沿模型有时能够以专家水平生成复杂、准确、有用且详细的知识。在我们研究的大多数领域，这种情况并不频繁发生。但在其他一些领域，确实会发生。然而，我们发现迹象表明，随着模型规模变大，它们的能力也更强。我们还认为，模型获得工具访问权限可能会提升它们在生物学方面的能力。综合来看，我们认为，与仅能访问互联网相比，未经缓解的LLM可能会加速恶意行为者滥用生物学的努力，并使他们能够完成在没有LLM的情况下无法完成的任务。这两种影响目前可能很小，但增长相对较快。如果不加以缓解，我们担心这类风险是近期的，意味着它们可能在未来两到三年内成为现实，而不是五年或更久。
然而，研究这些风险的过程也使我们能够发现并实施相应的缓解措施。例如，我们发现，训练过程中的简单改变就能显著减少有害输出，使模型能够更好地区分生物学的有害用途和无害用途（例如，参见我们在"宪法AI"（Constitutional AI）方面的工作）。我们还发现，基于分类器的过滤器可以使恶意行为者更难获得造成危害所需的、多条相互关联且达到专家水平的信息。这些措施现已部署在我们面向公众的前沿模型中，并且我们已经确定了在模型开发和部署路径的每个步骤中需要持续实验的一系列缓解措施。
未来研究方向
Future Research
在项目结束时，我们想要进行的实验和评估比开始时更多了。例如，我们认为一个需要反复进行的重要实验是，衡量LLM在造成危害方面可能带来的速度提升，例如与搜索引擎相比。而且，我们不仅应该用今天的前沿模型来做，还应该用未来的模型——例如下一代模型、使用工具的模型和多模态模型。
鉴于我们发现当前的前沿模型为近期的未来风险提供了预警，前沿模型开发者应该共同且紧急地进行更多分析，开发更多、更强的缓解措施，并将这些信息分享给负责任的行业开发者，以便他们为自己的模型增加安全措施，同时也分享给特定的政府机构。
我们还应该为可能发布未经前沿威胁红队测试的模型做好准备。我们怀疑，如果发布了能力足够强大的基础模型，在没有新的缓解方法的情况下，恶意行为者可能会利用公开可用模型的权重，通过更小、经过微调或特定任务的模型来提取有害的生物能力。
我们正在扩大并支持这项工作
We're scaling up and supporting this work
这项实证工作证实，在国家安全领域进行前沿威胁红队测试是重要且及时的。当前的模型仅仅显示出这类风险的最早期迹象，这为我们提供了一个窗口期，可以在这些风险变得严峻之前评估并缓解它们。在下一代使用新工具的模型出现之前，加大努力至关重要。幸运的是，国家安全领域已经拥有丰富的专业知识可供借鉴，有助于构建威胁模型、评估方法和缓解措施。
这也是政府自然熟悉的领域。这意味着国家安全是一个政府、实验室和其他利益相关方可以合作的领域。首先，我们正在建立一个披露流程，实验室和其他利益相关方可以通过该流程向其他相关方报告这些风险及其缓解措施。最终，我们认为在这些利益相关方之间建立新的第三方机构来进行国家安全评估非常重要。这些第三方机构将保持公正，并需要具备适当的安全措施来处理敏感信息。
前沿威胁红队测试的研究议程可能对看似在更长时间尺度上出现的其他类型风险（例如欺骗）也很有用。为了识别和缓解这些风险，开发者必须识别模型不应具备的未来能力，对其进行衡量，并构建缓解措施或对齐技术。因此，我们将学习到关于对齐、安全措施和"警告信号"（warning shots）的知识。
Anthropic正在组建我们的前沿威胁红队测试研究团队。 该团队将实验未来的能力，以了解即将到来的风险，并构建可扩展的评估和缓解措施。您可以在此处了解更多关于这项工作的信息以及如何申请加入团队。我们正在寻找特别有使命感的、能够在我们基础设施上快速进行原型开发的技术研究人员。
我们也在向政府和实验室通报我们发现的细节。 我们愿意向合适的受众分享我们当前和未来的发现，并正在社区利益相关方之间试行一个负责任的信息披露流程，以报告风险和缓解措施。我们特别有兴趣支持其他团队——尤其是实验室或新的第三方评估组织——开展更多此类工作。如果您是这些利益相关方之一并且感兴趣，请与我们联系。
相关内容
Related content
阿尔伯塔省政府使用Claude查找并修复政府系统中的网络安全漏洞
自2025年以来，阿尔伯塔省政府一直使用Claude Code（结合Opus和Sonnet模型）来审查其系统、查找漏洞并进行修复。
了解更多
关于Fable 5网络安全防护措施及越狱框架的更多细节
了解更多
介绍Claude Sonnet 5
Sonnet 5在编码、智能体和大规模专业工作方面提供了前沿性能。
了解更多