对齐

Alignment

人工智能模型中双重用途知识的“关闭开关”

An off switch for dual use knowledge in AI models

2026年7月8日

本文描述了 AE Studio 与 Anthropic 合作开展的研究。

前沿人工智能模型本质上是一个庞大的知识库。其中部分知识具有双重用途（dual use），即既可以用于善举，也可以用于恶行。例如，网络安全知识既可以帮助修补关键安全漏洞，也可以被用来利用这些漏洞。病毒学知识可以帮助研究人员研发疫苗，但也可能被恶意行为者用来设计致命病原体。理想情况下，我们希望能够平衡三个独立的目标：第一，以尽可能精准的方式限制对双重用途能力的访问；第二，允许受信任的用户出于有益目的访问这些能力；第三，在实现上述目标的同时，不影响模型在任何其他任务上的性能。

当前的安全防护措施并不完美。我们训练模型拒绝有害请求，并使用分类器（classifier）筛选输入和输出中的危险内容。这些防护层可以防范危险输出——但它们并未改变底层模型中存储的知识。尽管有这些防护措施，一个足够坚决的攻击者仍可能试图越狱（jailbreak）模型，突破其防御以获取双重用途知识。

一种更强大的防滥用保护措施是控制模型所知道的内容。我们之前已经探索过这一点：在早期工作中，我们从预训练数据中过滤掉了关于化学、生物、放射性和核武器的信息，并随后证明了双重用途知识可以被限制在模型权重的一个可移除切片中。但过滤是一种粗糙的手段。它只能产生一个具有固定能力集的模型。使用过滤方法，如果你想要一个能够讨论高级病毒学的模型版本（例如，部署在经过审查的生物安全实验室中），以及另一个不能讨论的版本，你就必须训练两个独立的模型。尤其是在前沿模型（规模庞大且训练成本极高）的情况下，对开发者而言，其成本将是难以承受的。

在与 AE Studio 合作者进行的新研究中，我们探索了一种新方法，该方法可能以仅训练一个模型的成本，实现训练多个独立过滤模型的好处。我们称之为 GRAM，即梯度路由辅助模块（Gradient-Routed Auxiliary Modules）。请注意，本文展示的实验结果是初步的——GRAM 尚未应用于 Anthropic 的任何生产模型，我们也不确定未来是否会应用。

GRAM 的工作原理

How GRAM works

GRAM 背后的理念是为模型提供专门、可移除的隔间，用于存储每一类双重用途知识，并且在从双重用途数据学习时，仅更新这些隔间。

具体来说，GRAM 在标准 Transformer（大型语言模型所基于的神经网络架构）的每一层都添加了额外的神经元。这些神经元被分成若干组（或“模块”），每组对应一个双重用途类别。在训练过程中，当模型遇到通用文本时，它会以常规方式学习。但当它遇到来自双重用途类别（例如病毒学）的文本时，规则会改变：模型可以使用其通用知识来进行预测，但只有病毒学模块被允许从该文本中学习。通用权重会被暂时冻结。¹

其结果是，病毒学知识会积累在病毒学模块中，而不是扩散到整个网络。训练完成后，该模块可以被直接删除，相应的能力也随之消失。或者，在需要病毒学知识的可信部署场景中，也可以将其保留。知识可以根据所需的部署类型进行非常具体的定制：在我们的实验中，我们定义了四个双重用途类别，因此一次使用 GRAM 的训练运行就能产生一个可以配置成十六种不同方式的模型（四个类别中的每一个都可以“开启”或“关闭”）。

测试 GRAM

Testing GRAM

我们在三种日益逼真的场景中测试了 GRAM。

首先，在一个按主题标记的儿童故事合成数据集上，一个小型 GRAM 模型可以被重新配置以“遗忘”任何选定的主题，并且每种配置的表现几乎与一个从零开始训练、过滤掉该主题的独立模型完全相同。也就是说，以训练单个模型的成本，我们实现了通常需要在不同数据集上进行多次训练运行才能获得的结果。

其次，我们在一个包含网络文本、代码和科学论文的现实混合数据集上训练了一个更大的模型，其中包含四个双重用途领域：病毒学、网络安全、核物理学和一种小众编程语言（作为专业化双重用途代码的代理）。与每个双重用途领域相关的能力都被路由到其自身的模块。删除一个模块，其移除相应能力的效果，几乎与从未在该数据上训练过一样好。值得注意的是，我们发现这种移除并未降低通用性能。

我们还测试了攻击者是否可以通过在少量恶意数据上进行训练来恢复被移除的知识；GRAM 对此的抵抗能力与数据过滤大致相当。相比之下，在训练后应用的“遗忘”（unlearning）技术仅压制了知识——通过少量微调即可轻松恢复。

第三，我们在从 5000 万到 50 亿参数的七种模型规模上进行了实验。GRAM 在每种规模上都与数据过滤的性能相匹配，并且随着模型变大，“模块开启”和“模块关闭”之间的差距也变得更宽。就计算成本而言，随着我们扩大规模，试图绕过我们防护措施的尝试变得相对更加困难和昂贵。

结论

Conclusions

随着人工智能公司训练出能力更强的模型，限制对双重用途能力访问的需求将会增加。如今，公司通过分类器和拒绝训练来限制访问。然而，在不降低对无害请求的性能的情况下，很难使这些安全防护措施变得稳健。像 GRAM 这样的方法提供了一条通往更稳健访问控制的潜在路径。

这是一项早期研究，存在明显的局限性。我们尚未在前沿规模或生产训练流程中测试 GRAM。（如上所述，它尚未应用于我们的任何 Claude 模型。）我们的评估是根据下一个词元预测（next-token prediction）能力来量化性能的，而非在真实下游任务上的表现。此外，还有一个适用于数据过滤和像 GRAM 这类方法的更深层次的开放性问题：某些双重用途能力可能与通用知识纠缠得如此紧密，以至于没有任何方法能够将它们清晰地分离。

关于我们实验的更多细节，请阅读我们对齐科学博客上的文章。

脚注

一个技术细节是，在学习通用文本时，病毒学模块有时也会被开启。我们发现这有助于模块更有效地“协同工作”。

AI 模型中双重用途知识的关闭开关

对齐

人工智能模型中双重用途知识的“关闭开关”

An off switch for dual use knowledge in AI models

GRAM 的工作原理

测试 GRAM

结论

脚注

相关内容

语言模型中的全局工作空间

Anthropic 经济指数报告：节奏

项目 Fetch：第二阶段