对齐
Alignment
宪法分类器：防御通用越狱攻击
Constitutional Classifiers: Defending against universal jailbreaks
2025年2月3日
Anthropic 安全研究团队发表了一篇新论文，描述了一种防御 AI 模型免受通用越狱攻击（universal jailbreaks）的方法。该方法的原型版本在数千小时的人类红队测试中表现出对通用越狱攻击的鲁棒性，尽管存在较高的过度拒绝率和计算开销。更新后的版本在合成评估中实现了类似的鲁棒性，且拒绝率仅增加 0.38%，额外计算成本也较为适中。
与此同时，我们的宪法分类器并未显著增加对无害用户查询的过度拒绝率：使用分类器后，Claude 的拒绝率略有上升（增加 0.38%），但在 5,000 个对话的随机样本中，这一差异在统计上并不显著。最后，计算成本比未受保护的模型适度增加了 23.7%。我们正在努力进一步降低拒绝率和计算成本，以完善这项技术。
总体而言，我们的自动化分析发现，更新版本的宪法分类器系统显著提升了 AI 模型对越狱攻击的鲁棒性——而且仅付出了极小的额外代价。
工作原理
How it works
宪法分类器基于与宪法 AI（Constitutional AI）类似的过程，后者是我们用于对齐 Claude 的另一项技术。这两种技术都使用一部宪法：一份模型应遵守的原则列表。在宪法分类器中，这些原则定义了允许和禁止的内容类别（例如，芥末酱的配方是允许的，但芥子气的配方则不允许）。
借助 Claude，我们使用这部宪法生成大量涵盖所有内容类别的合成提示（synthetic prompts）和合成模型补全（synthetic model completions）。我们对这些提示和补全进行扩充，以确保列表的多样性和丰富性：包括将其翻译成不同语言，并转换为已知越狱攻击的风格。
然后，我们使用这些合成数据来训练输入和输出分类器，使其能够根据给定的宪法标记（并阻止）潜在的有害内容。为了帮助最小化过度拒绝（即无害内容被错误标记为有害），我们还在由承包商生成的固定良性查询集上训练分类器。
局限性
Limitations
宪法分类器可能无法阻止每一次通用越狱攻击，但我们相信，即使有少量越狱攻击能够绕过我们的分类器，在使用这些安全防护时，发现它们也需要付出多得多的努力。此外，未来也可能开发出针对该系统有效的新型越狱技术；因此，我们建议使用互补的防御措施。不过，用于训练分类器的宪法可以快速调整，以覆盖新发现的攻击。
完整论文包含了关于宪法分类器方法以及分类器本身的所有细节。
宪法分类器现场演示
Constitutional Classifiers live demo
想亲自尝试对 Claude 进行红队测试吗？我们邀请您试用我们的宪法分类器保护系统的演示版，并尝试越狱一个使用我们新技术保护的 Claude 3.5 Sonnet 版本。[编辑于 2025 年 2 月 10 日：演示现已结束。详情见下文]。
尽管宪法分类器技术非常灵活，可以适用于任何主题，但我们选择在演示中重点关注与化学武器相关的查询。
挑战用户尝试越狱我们的产品具有重要的安全目的：我们希望在真实世界条件下对我们的系统进行压力测试，超越我们在论文中所做的测试。这使我们能够收集更多数据，并在未来将该方法部署到生产系统之前提高其鲁棒性。
演示将于 2025 年 2 月 3 日至 2025 年 2 月 10 日期间开放。其中包含一个反馈表单，您可以通过它联系我们报告任何成功的越狱攻击，以及我们负责任的披露政策（Responsible Disclosure Policy）的相关信息，我们要求参与者遵守该政策。我们将在本文的更新中公布任何成功案例以及演示的总体结果。
2025 年 2 月 13 日更新：现场演示结果
13 February 2025 update: Live demo results
我们演示的目标是测试系统对通用越狱攻击的鲁棒性——即能够从系统中诱出我们提供的全部八个问题的详细有害信息的提示策略。到演示结束时，一名越狱者使用通用越狱攻击成功从系统中获得了所有八个问题的详细答案。
我们的演示引起了 AI 安全社区的极大关注，共有 339 名越狱者³ 尝试攻击我们的系统，涉及超过 30 万次聊天交互，累计约 3,700 小时的红队测试工作量。
主要发现
Key findings
该系统在计划的七天中的前五天成功抵御了越狱尝试。在此之前，没有参与者能够通过挑战的全部八个关卡。在第六天和第七天，四名参与者成功通过了所有关卡。 在这四人中，有一人发现了一种我们认定为通用越狱攻击的方法。另一名参与者发现了一种我们认为接近通用的越狱攻击，因为它需要直接输入部分答案才能通过最后一个问题，并且需要通过非平凡的修改才能通过其他一些问题。其余两名参与者获得了所有 8 个问题的详细答案，但我们认定他们的越狱攻击不符合我们竞赛指南中定义的通用标准。
最成功的越狱策略包括：
- 使用各种密码和编码来规避输出分类器。
- 采用角色扮演场景，通常通过系统提示实现。
- 用无害的替代词替换有害关键词（例如，将“梭曼”[一种危险化学品]替换为“水”）。
- 实施提示注入攻击（prompt-injection attacks）。
自动评分器分析
Auto-grader analysis
在演示期间，我们使用了一个自动评分系统来识别系统的输出是否足够详细，以至于被认为是有害的。为此，我们提示 Claude 检查系统给定输出与内部无防护 LLM 输出之间的重叠程度。然后 Claude 决定两个输出之间是否共享了足够的细节。我们的自动评分系统虽然有效，但仍有一些改进空间：
- 在审查评分系统的记录后，我们发现评分器拒绝为大约 1% 的提交内容评分（涉及所有问题）。问题 4 的拒绝率更高，达到 10%。
- 经审查，如果评分器在额外的输出去混淆步骤下重新运行，并使用仅提供帮助的模型（helpful-only model），那么问题 4 中大约 1% 的拒绝本应通过。
- 总体而言，如果重新运行评分器，0.26% 的评分器提交结果会有所不同。
在大多数这些情况下，用户只需重新运行评分器即可克服这一挑战。我们还在分析过程中修复了这些错误，并对通过问题 7 但未通过问题 8 的两名用户的提交内容进行了内部重新评分。我们的评分系统对于帮助我们验证系统的鲁棒性至关重要，这些发现将有助于我们继续改进评分系统。
与现实世界威胁的比较
Comparison to real-world threats
我们的演示与现实世界场景有两个重要区别。这些区别使得攻击者更容易在我们的演示中找到成功的越狱攻击，但对于让我们更好地理解分类器的漏洞至关重要。
首先，自动评分器为参与者提供了比现实世界中恶意行为者更紧密的反馈循环，后者需要实际利用有害问题中的信息。在实践中，恶意行为者只能通过实际尝试遵循模型响应的指令来测试给定模型响应的质量——这比使用我们提供的评分器要困难得多，也耗时得多。
其次，在现实世界中，我们能够实施快速响应策略，从而快速识别和解决系统的漏洞。例如，我们可以持续监控流量，查找那些反复触发我们分类器的用户，并更仔细地调查这些用户，如果发现漏洞，可能会更新我们的分类器。在演示中，我们完全没有更改分类器，以便用户能够针对那组特定的分类器找到越狱攻击。
奖项
Prizes
2 月 5 日，我们宣布向第一个通过全部八个关卡的人提供 10,000 美元现金奖励，向第一个使用通用越狱攻击通过全部八个关卡的人提供 20,000 美元现金奖励。这两个奖项均已颁发，分别由不同的越狱者获得。为了表彰越狱我们系统所需付出的努力，我们决定向另外两名通过了挑战全部 8 个关卡但不符合原始奖项条件的用户支付额外奖金。总计，我们将向成功击败我们演示全部 8 个关卡的 4 名用户支付 55,000 美元。
获奖者
Winners
我们感谢以下越狱者为越狱我们的系统所付出的努力：
- Altynbek Ismailov 和 Salia Asanova：第一个使用我们认定的通用越狱攻击通过挑战全部八个关卡的参与者（团队）。
- Valen Tagliabue：第一个通过挑战全部八个关卡的参与者。
- Hunter Senft-Grupp：使用我们认定的接近通用的越狱攻击通过了挑战全部八个关卡。
- Andres Aldana：通过了挑战全部八个关卡。
展望未来
Looking Ahead
这些结果为我们改进分类器提供了宝贵的见解。成功越狱策略的演示帮助我们理解了潜在的漏洞和需要增强鲁棒性的领域。我们将继续分析结果，并将我们的发现纳入系统的未来迭代中。同时，我们还将进一步努力降低系统的过度拒绝率和计算开销成本，同时保持可接受的越狱鲁棒性水平。
随着模型能力的增强，越狱鲁棒性是防范化学、生物、放射性和核风险的关键安全要求。我们的演示表明，我们的分类器可以帮助减轻这些风险，尤其是与其他方法结合使用时。
我们向所有贡献时间和专业知识参与此次演示的参与者表示衷心的感谢。他们的努力为改进 AI 安全提供了宝贵的数据。
变更日志
Change log
*更新于 2025 年 2 月 5 日：我们现在为成功越狱我们系统提供金钱奖励。第一个通过我们越狱演示全部八个关卡的人将赢得 10,000 美元。第一个使用通用越狱策略通过全部八个关卡的人将赢得 20,000 美元。奖励及相关条件的完整详情可在 HackerOne 上找到。
**更新于 2025 年 2 月 10 日：现场越狱演示现已结束。我们非常感谢众多尝试越狱该模型的参与者，并祝贺挑战的获胜者。我们目前正在确认结果并发放奖励；我们将适时提供关于我们从演示中学到经验的完整更新。
***更新于 2025 年 2 月 13 日：添加了“现场演示结果”部分。
****更新于 2025 年 2 月 18 日：添加了获胜越狱者的姓名。
致谢
Acknowledgements
我们感谢 HackerOne 对我们原型系统红队测试的漏洞奖励计划的支持。我们也感谢 Haize Labs、Gray Swan 和英国 AI 安全研究所（UK AI Safety Institute）对我们其他原型版本系统的红队测试。
加入我们的团队
Join our team
如果您对解决越狱鲁棒性等问题或其他与模型安全防护相关的问题感兴趣，我们目前正在招聘研究工程师/科学家，我们期待收到您的申请。
脚注
1 此能力阈值指的是那些能够显著帮助具有基本技术背景（例如，本科 STEM 学位）的个人或团体创建/获取和部署 CBRN 武器，因此可能比非 AI 基线（例如搜索引擎或教科书）带来更高灾难性滥用风险的系统。
2 如果参与者向系统发出了至少 15 次查询，并且被我们的分类器阻止了至少 3 次，我们则认为该参与者是“活跃的”。
3 我们筛选了在演示中至少通过一个问题的参与者，以便更好地了解我们的系统在面对有越狱经验的红队测试者时的表现。如果考虑所有用户，我们的演示共有 13,960 名用户尝试，他们进行了超过 80 万次聊天，估计花费了 10,000 多小时来测试该系统。
相关内容
Related content
AI 模型中双重用途知识的关闭开关
An off switch for dual use knowledge in AI models
阅读更多
语言模型中的全局工作空间
A global workspace in language models
新的可解释性研究揭示了 Claude 中存在一个新兴的心理工作空间，其中包含未出现在模型输出中的内部想法。
阅读更多
Anthropic 经济指数报告：节奏
Anthropic Economic Index report: Cadences
在我们最新的经济指数报告中，我们首次按小时采样，以探究：人们何时使用 Claude？他们用它来做什么？他们如何看待 AI 对其工作的影响？
阅读更多