前沿红队

Frontier Red Team

通过公私合作为 AI 制定核安全保障措施

Developing nuclear safeguards for AI through public-private partnership

2025 年 8 月 21 日

核技术本质上具有双重用途：为核反应堆提供动力的同一物理原理，也可能被滥用于武器研发。随着 AI 模型的能力日益增强，我们需要密切关注它们是否可能以威胁国家安全的方式，向用户提供危险的技术知识。

与核武器相关的信息尤为敏感，这使得私营公司独自评估这些风险充满挑战。因此，去年四月，我们与美国能源部（DOE）下属的国家核安全管理局（NNSA）合作，评估我们的模型在核扩散方面的风险，并继续与他们合作进行这些评估。

现在，我们已超越风险评估阶段，着手构建监控风险所需的工具。我们与 NNSA 及 DOE 国家实验室共同开发了一个分类器（classifier）——一种能自动对内容进行分类的 AI 系统——在初步测试中，它能以 96% 的准确率区分令人担忧的与良性的核相关对话（详见下文）。

我们已将该分类器部署到 Claude 的流量中，作为我们识别模型滥用的更广泛系统的一部分。早期部署数据表明，该分类器在处理真实的 Claude 对话时表现良好。

我们将与前沿模型论坛（Frontier Model Forum）（前沿 AI 公司的行业机构）**分享我们的方法，希望此次合作能成为一个蓝图，供任何 AI 开发者参考，与 NNSA 合作实施类似的安全保障措施。**¹

除了确保前沿 AI 模型免受核滥用的具体重要性之外，这一首创性的努力还展示了公私合作的力量。这些合作结合了工业界和政府的互补优势，以直面风险，使 AI 模型对所有用户来说都更加可靠和值得信赖。

我们构建了什么

What we built

在此次合作中，我们并未止步于识别风险——我们还开发了应对风险的方法。在 NNSA 工作人员于安全环境中对 Claude 模型进行了一年的红队测试后，我们开始共同开发风险缓解措施。

根据他们的红队测试结果，NNSA 与我们分享了一套精心策划的核风险指标，旨在将关于核武器开发的潜在危险对话，与关于核能、核医学或核政策的良性讨论区分开来。至关重要的是，这份清单是在特定的保密级别下制定的，以便能够与我们的团队共享，使我们能够利用它来构建防御措施。

我们的政策与安全保障团队将该清单转化为一个分类器，能够实时识别令人担忧的核相关查询。可以将分类器想象成一个专门的标记器，类似于电子邮件收件箱中支撑垃圾邮件过滤器的那个。这个分类器不是识别垃圾邮件，而是识别可能有害的对话，同时允许合法的讨论继续进行。

为了验证该系统，我们生成了数百个合成测试提示——一些是令人担忧的，一些是良性的——通过分类器运行它们，并将结果与 NNSA 共享。NNSA 验证了分类器的评分与预期的标签（即有害或良性）一致。然后，我们根据他们的反馈改进了方法，并重复这一循环以提高精确度。图 1 总结了这一过程。

这项努力中最具挑战性的方面并非技术问题——而是弥合国家安全机构与私营 AI 公司之间的鸿沟。双方都必须在信息共享的限制下运作：NNSA 需要将某些信息保密，而 Anthropic 需要保护用户数据。那么，我们如何才能验证我们的分类器确实有效呢？合成数据生成是我们的解决方案：我们使用 NNSA 提供的示例提示生成了数百个测试用例，创建了一个稳健的评估集，同时不损害任何一方的利益。

为什么这很重要？

Why does this matter?

如果 AI 系统过于谨慎，它可能会拒绝合法的核工程课程。如果过于宽松，它又可能无意中协助恶意行为者。

我们的分类器似乎找到了恰当的平衡点。在使用合成数据进行的初步测试中，我们对核武器查询的检测率达到了 94.8%，并且零误报（总体而言，该测试中分类器标签的准确率为 96.2%，如图 2 所示），这表明该系统不会将合法的教育、医学或研究讨论标记为令人担忧。这种精确性至关重要，因为 AI 系统中的核相关对话虽然罕见，但风险极高——它们直接关系到国家安全。

与行业分享

Sharing with industry

我们正在提供这些资源，以便其他领先的 AI 公司如果愿意，也可以实施类似的安全保障措施。除了展示政府专业知识如何通过自愿的公私合作来增强 AI 安全性之外，我们希望这能激发一场交流，让我们能够相互学习彼此的风险缓解方法。

下一步是什么？

What’s next?

如上所述，我们已将分类器作为一项实验性补充部署到我们的安全保障框架中，监控一部分 Claude 流量。其在实际环境中的表现证实，该分类器在我们的测试环境之外也能有效工作。尽管我们的合成测试数据提供了清晰的有害和良性对话示例，但实际用户流量的分布更为复杂且出人意料，然而分类器仍然表现良好。

实际部署与测试不同的一个例子是，分类器标记了一些关于核武器的对话，而我们最终判定这些对话是良性的。例如，近期中东地区的事件重新引起了人们对核武器问题的关注。在此期间，核分类器错误地标记了一些仅与这些事件相关、而非实际滥用企图的对话。我们发现，当这些对话经过分层摘要（hierarchical summarization）处理——即同时审查多个被标记的对话——时，由于摘要步骤提供了额外的上下文，它们被正确地识别为无害的时事讨论。

这揭示了两个动态：首先，现实世界中的对话常常落入难以用合成数据捕捉的灰色地带；其次，结合多种安全工具可以创建一个更细致、更精确的系统。

最终，分类器在部署后通过成功捕捉令人担忧的内容（即真阳性）证明了其价值。例如，Anthropic 的红队测试人员（他们不知道分类器已部署）正在使用故意令人担忧的提示对我们的系统进行常规对抗性测试。分类器正确地将这些测试查询识别为潜在有害，展示了其有效性。

这项工作利用了各方的优势（即政府的领域专业知识和行业的技术能力），早期结果表明它在实践中是有效的。这展示了一种可以在其他国家安全领域复制的公私合作模式。它也表明，行业现在就可以采取措施来实施有意义的安全措施。

我们感谢 NNSA 和 DOE 国家实验室的团队对此次合作的投入，这展示了工业界和政府如何共同努力以增强国家安全。

欲了解更多关于我们安全举措的信息，请参阅我们的 《负责任的扩展政策》 、 《前沿红队》 以及 《安全保障》 工作。