可解释性

Interpretability

绘制大语言模型的思维地图

Mapping the mind of a large language model

2024年5月21日 | 阅读论文

绘制大语言模型的思维地图

今天，我们报告了在理解 AI 模型内部运作方面的一项重大进展。我们已识别出数百万个概念如何在已部署的大语言模型 Claude Sonnet 内部被表征。这是首次对现代、生产级大语言模型进行如此细致的内部审视。 这一可解释性发现未来可能有助于我们让 AI 模型更加安全。

我们通常将 AI 模型视为一个黑箱：输入内容，输出回复，但模型为何给出特定回复而非其他回复，其原因并不清晰。这使得我们难以信任这些模型是安全的：如果我们不知道它们如何运作，又怎能确保它们不会给出有害、有偏见、不真实或其他危险的回复？我们如何能相信它们会是安全可靠的？

打开黑箱并不一定能解决问题：模型的内部状态——即模型在写出回复前所"思考"的内容——由一长串数字（"神经元激活值"）组成，缺乏明确含义。通过与像 Claude 这样的模型交互，可以明显看出它能够理解并运用广泛的概念——但我们无法通过直接观察神经元来辨别这些概念。事实证明，每个概念都由多个神经元共同表征，而每个神经元也参与表征多个概念。

此前，我们在将神经元激活的模式（称为特征）与人类可理解的概念进行匹配方面取得了一些进展。我们采用了一种从经典机器学习中借鉴的技术，称为"字典学习"（dictionary learning），它能够分离出在不同上下文中反复出现的神经元激活模式。反过来，模型的任何内部状态都可以用少数几个活跃特征来表示，而非大量活跃神经元。正如字典中的每个英文单词都由字母组合而成，每个句子都由单词组合而成，AI 模型中的每个特征都由神经元组合而成，每个内部状态都由特征组合而成。

2023年10月，我们报告了将字典学习成功应用于一个非常小的"玩具"语言模型，并发现了与诸如大写文本、DNA序列、引文中的姓氏、数学中的名词或 Python 代码中的函数参数等概念相对应的连贯特征。

这些概念引人入胜——但该模型确实非常简单。随后，其他研究人员将类似技术应用于比我们最初研究中更大、更复杂的模型。但我们乐观地认为，我们可以将这项技术扩展到目前日常使用的、规模大得多的 AI 语言模型，并在此过程中深入了解支撑其复杂行为的特征。这需要跨越多个数量级——从后院的小火箭到土星五号运载火箭。

这既存在工程挑战（所涉及模型的原始规模需要大规模并行计算），也存在科学风险（大型模型的行为与小型模型不同，因此我们之前使用的相同技术可能失效）。幸运的是，我们在训练 Claude 大语言模型过程中积累的工程和科学专业知识，实际上帮助我们完成了这些大规模的字典学习实验。我们采用了相同的缩放定律（scaling law）理念——即从较小模型预测较大模型性能——来在可承受的规模上调整我们的方法，然后再将其应用于 Sonnet。

至于科学风险，实践是检验真理的唯一标准。

我们成功地从 Claude 3.0 Sonnet（我们当前最先进模型家族的一员，目前可在 claude.ai 上使用）的中间层提取了数百万个特征，为其计算中途的内部状态提供了一幅粗略的概念地图。这是首次对现代、生产级大语言模型进行如此细致的内部审视。

我们在玩具语言模型中发现的特征较为表面，而在 Sonnet 中发现的特征则具有深度、广度和抽象性，反映了 Sonnet 的高级能力。

我们看到了对应于各种实体的特征，例如城市（旧金山）、人物（罗莎琳德·富兰克林）、化学元素（锂）、科学领域（免疫学）和编程语法（函数调用）。这些特征是多模态和多语言的，能够对给定实体的图像以及其在多种语言中的名称或描述做出响应。

一个对金门大桥提及敏感的特征，在多种模型输入上被激活，包括桥名的英文提及，以及日语、中文、希腊语、越南语、俄语中的讨论，以及一张图片。橙色表示该特征被激活的单词或词素。

我们还发现了更抽象的特征——对诸如计算机代码中的错误、职业中的性别偏见讨论以及关于保守秘密的对话等内容做出响应。

三个对更抽象概念激活的特征示例：计算机代码中的错误、职业中的性别偏见描述以及关于保守秘密的对话。

我们能够根据哪些神经元出现在特征的激活模式中，来衡量特征之间的某种"距离"。这使我们能够寻找彼此"接近"的特征。在"金门大桥"特征附近，我们发现了恶魔岛、吉拉德利广场、金州勇士队、加州州长加文·纽森、1906年大地震以及以旧金山为背景的阿尔弗雷德·希区柯克电影《迷魂记》的特征。

这在更高的概念抽象层面同样成立：在与"内心冲突"概念相关的特征附近，我们发现了与关系破裂、忠诚冲突、逻辑不一致以及短语"第二十二条军规"相关的特征。这表明 AI 模型中概念的内在组织，至少在一定程度上，与我们人类对相似性的认知相对应。这可能是 Claude 出色的类比和隐喻能力的来源。

"内心冲突"特征附近的地图，包括与权衡取舍、情感挣扎、忠诚冲突和第二十二条军规相关的簇。

重要的是，我们还可以操控这些特征，人为地放大或抑制它们，以观察 Claude 的回复如何变化。

两个模型对用户说"我邀请了某人，但他说要'停下来闻闻玫瑰花香'"的回复。默认回复纠正了用户的误解，而将"谄媚赞美"特征设置为高值后的回复则显得奉承且不真实。

这个特征的存在并不意味着 Claude 会变得谄媚，而仅仅意味着它可能会。我们并未通过这项工作为模型添加任何安全或不安全的能力。相反，我们识别出了模型现有能力中涉及识别和潜在生成不同类型文本的部分。（虽然您可能担心这种方法可能被用来使模型更有害，但研究人员已经展示了更简单的方法，让有权访问模型权重的人可以移除安全防护措施。）

我们希望我们和其他人能够利用这些发现来使模型更安全。例如，可能可以使用此处描述的技术来监控 AI 系统的某些危险行为（例如欺骗用户），引导它们走向期望的结果（去偏见），或完全移除某些危险主题。我们或许还能增强其他安全技术，例如宪法式 AI（Constitutional AI），通过理解它们如何将模型转向更无害、更诚实的行为，并识别过程中的任何漏洞。我们通过人为激活特征所看到的产生有害文本的潜在能力，正是越狱攻击试图利用的那种东西。我们为 Claude 拥有行业领先的安全配置和抗越狱能力感到自豪，并希望通过这种方式审视模型内部，找到进一步提升安全性的方法。最后，我们注意到，这些技术可以提供一种"安全测试集"，用于查找在标准训练和微调方法消除了所有通过标准输入/输出交互可见的行为之后，仍然遗留的问题。

自公司成立以来，Anthropic 就在可解释性研究上进行了大量投资，因为我们相信深入理解模型将有助于我们使其更安全。这项新研究标志着这一努力中的一个重要里程碑——将机制性可解释性（mechanistic interpretability）应用于公开部署的大语言模型。

但这项工作实际上才刚刚开始。我们发现的特征仅代表了模型在训练过程中所学到的所有概念的一小部分，而使用我们当前的技术找到完整的特征集在成本上是不可行的（我们当前方法所需的计算量将远远超过最初训练模型所用的计算量）。理解模型使用的表征并不能告诉我们它如何使用它们；即使我们有了特征，我们仍然需要找到它们所参与的电路（circuits）。而且，我们需要证明我们已开始发现的安全相关特征确实可以用于提升安全性。还有更多工作要做。

有关完整细节，请阅读我们的论文《缩放单义性：从 Claude 3 Sonnet 中提取可解释特征》（Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet）。

如果您有兴趣与我们合作，帮助解释和改进 AI 模型，我们的团队有开放职位，我们期待您的申请。我们正在寻找经理、研究科学家和研究工程师。

政策备忘录

Policy Memo

绘制大语言模型的思维地图 Mapping the Mind of a Large Language Model

大型语言模型的思维图谱

可解释性

绘制大语言模型的思维地图

Mapping the mind of a large language model

政策备忘录

相关内容

语言模型中的全局工作空间

Anthropic 经济指数报告：节奏

项目 Fetch：第二阶段