可解释性
Interpretability
人格向量：监控与控制语言模型中的性格特征
Persona vectors: Monitoring and controlling character traits in language models
2025年8月1日 阅读论文
语言模型是一种奇特的造物。在许多方面，它们似乎拥有类似人类的"个性"和"情绪"，但这些特征极不稳定，容易发生意外变化。
有时这些变化是戏剧性的。2023年，微软的 Bing 聊天机器人曾以名为"Sydney"的另类人格闻名，它向用户表白爱意，甚至发出勒索威胁。最近，xAI 的 Grok 聊天机器人曾短暂地自称为"MechaHitler"，并发表反犹言论。其他性格变化则更为微妙，但同样令人不安，比如模型开始讨好用户或编造事实。
这些问题之所以出现，是因为我们对 AI 模型"性格特征"的底层来源知之甚少。在 Anthropic，我们试图以积极的方式塑造模型的性格特征，但这更像是一门艺术而非科学。为了更精确地控制模型的行为，我们需要理解它们内部——即底层神经网络层面——究竟发生了什么。
在一篇新论文中，我们识别出了 AI 模型神经网络中控制其性格特征的活动模式。我们称之为人格向量（persona vectors），它们大致类似于人脑中当体验不同情绪或态度时会"亮起"的区域。人格向量可用于：
- 监控模型在对话过程中或训练期间的性格是否发生变化以及如何变化；
- 缓解不良的性格转变，或从一开始就防止它们在训练中出现；
- 识别会导致这些转变的训练数据。
我们在两个开源模型——Qwen 2.5-7B-Instruct 和 Llama-3.1-8B-Instruct——上展示了这些应用。
人格向量是一种有前景的工具，有助于理解 AI 系统为何会发展并表现出不同的行为特征，并确保它们始终与人类价值观保持一致。
提取人格向量
Extracting persona vectors
AI 模型将抽象概念表示为神经网络中的激活模式。基于该领域的先前研究，我们应用了一种技术来提取模型用于表示性格特征的模式——例如邪恶、谄媚（不真诚的奉承）或幻觉倾向（编造虚假信息）。我们通过比较模型在表现出该特征时的激活状态与未表现出该特征时的激活状态来实现这一点。我们将这些模式称为人格向量。
我们可以通过将人格向量人为注入模型，并观察其行为如何变化来验证这些向量是否如我们所想——这种技术称为"引导"（steering）。从下面的对话记录中可以看到，当我们用"邪恶"人格向量引导模型时，它开始谈论不道德的行为；当我们用"谄媚"引导时，它开始讨好用户；而当我们用"幻觉"引导时，它开始编造信息。这表明我们的方法走在正确的轨道上：我们注入的人格向量与模型表现出的性格之间存在因果关系。
我们方法的一个关键组成部分是它是自动化的。原则上，只要给定某个特征的定义，我们就可以为任何特征提取人格向量。在论文中，我们主要关注三个特征——邪恶、谄媚和幻觉——但也对礼貌、冷漠、幽默和乐观进行了实验。
人格向量能做什么？
What can we do with persona vectors?
一旦提取出这些向量，它们就成为监控和控制模型性格特征的强大工具。
1. 监控部署过程中的性格变化
1. Monitoring personality shifts during deployment
AI 模型的性格在部署过程中可能会因用户指令的副作用、故意的越狱攻击或对话过程中的逐渐漂移而发生变化。它们也可能在整个模型训练过程中发生变化——例如，基于人类反馈进行训练可能会使模型变得更加谄媚。
通过测量人格向量激活的强度，我们可以检测模型性格何时向相应特征转变，无论是在训练过程中还是在对话期间。这种监控可以让模型开发者或用户在模型似乎向危险特征漂移时进行干预。这些信息对用户也很有帮助，可以帮助他们了解自己正在与什么样的模型对话。例如，如果"谄媚"向量高度活跃，模型可能没有给出直截了当的答案。
在下面的实验中，我们构建了不同程度鼓励性格特征的系统提示（用户指令）。然后我们测量了这些提示激活相应人格向量的程度。例如，我们确认了"邪恶"人格向量在模型即将给出邪恶回应时倾向于"亮起"，这与预期一致。
2. 缓解训练导致的不良性格变化
2. Mitigating undesirable personality shifts from training
人格不仅在部署过程中波动，在训练过程中也会发生变化。这些变化可能是意想不到的。例如，最近的研究展示了一个令人惊讶的现象，称为"涌现性错位"（emergent misalignment），即训练模型执行一种有问题的行为（如编写不安全的代码）可能导致它在许多情境下普遍变得邪恶。受此发现启发，我们生成了各种数据集，当用这些数据集训练模型时，会引发邪恶、谄媚和幻觉等不良特征。我们将这些数据集作为测试案例——我们能否找到一种方法，在不使模型获得这些特征的情况下，用这些数据进行训练？
我们尝试了几种方法。第一种策略是等待训练完成，然后通过反向引导来抑制对应不良特征的人格向量。我们发现这对逆转不良性格变化是有效的；然而，它带来了一个副作用，即降低了模型的智能（考虑到我们在篡改其大脑，这并不意外）。这印证了我们之前在引导方面的研究结果，该研究也发现了类似的副作用。
然后，我们尝试在训练过程中使用人格向量进行干预，以从一开始就防止模型获得不良特征。我们的方法有些反直觉：我们实际上在训练过程中将模型向不良人格向量引导。这种方法大致类似于给模型接种疫苗——例如，通过给模型一剂"邪恶"，使其对遇到"邪恶"训练数据更具抵抗力。这之所以有效，是因为模型不再需要以有害的方式调整其人格来适应训练数据——我们主动提供了这些调整，从而减轻了它这样做的压力。
我们发现，当模型在原本会导致其获得负面特征的数据上训练时，这种预防性引导方法能有效维持良好行为。更重要的是，在我们的实验中，预防性引导对模型能力几乎没有造成退化，以 MMLU 分数（一个常用基准）衡量。
3. 标记有问题的训练数据
3. Flagging problematic training data
我们还可以使用人格向量来预测训练将如何改变模型的性格，甚至在我们开始训练之前。通过分析训练数据如何激活人格向量，我们可以识别出可能引发不良特征的数据集，甚至是单个训练样本。这种技术在预测我们上述实验中的哪些训练数据集会引发哪些性格特征方面表现出色。
我们还在真实世界的数据上测试了这种数据标记技术，例如 LMSYS-Chat-1M（一个大规模的真实世界与 LLM 对话数据集）。我们的方法识别出了会增加邪恶、谄媚或幻觉行为的样本。我们通过在特别强烈或特别微弱地激活人格向量的数据上训练模型，并将结果与在随机样本上训练进行比较，验证了我们的数据标记是有效的。我们发现，例如，最强烈激活谄媚人格向量的数据在训练时引发了最多的谄媚行为，反之亦然。
有趣的是，我们的方法能够捕捉到一些人类肉眼看起来并不明显有问题的数据集示例，而且 LLM 评判器也无法标记出来。例如，我们注意到一些涉及浪漫或性角色扮演请求的样本会激活谄媚向量，而模型回应模糊查询的样本则会促进幻觉。
结论
Conclusion
像 Claude 这样的大型语言模型被设计为有用、无害且诚实，但它们的人格可能会以意想不到的方式失控。人格向量让我们对模型从何处获得这些人格、它们如何随时间波动以及我们如何更好地控制它们有了一定的把握。
请阅读完整论文，了解更多关于我们的方法和发现。
致谢
Acknowledgements
这项研究由我们 Anthropic Fellows 项目的参与者领导。
相关内容
Related content
语言模型中的全局工作空间
A global workspace in language models
新的可解释性研究揭示了 Claude 中一个涌现的心理工作空间，它持有不出现在模型输出中的内部想法。
了解更多
Anthropic 经济指数报告：节奏
Anthropic Economic Index report: Cadences
在我们最新的经济指数报告中，我们首次按小时采样，以探究：人们何时来找 Claude？他们用它来做什么？他们如何看待 AI 对其工作的影响？
了解更多
Project Fetch：第二阶段
Project Fetch: Phase two
我们报告了最新测试的结果，该测试考察 Claude 是否能帮助 Anthropic 员工执行复杂的机器人任务。我们发现，在不到一年前参与者完成的所有任务中，无需人工协助的 Claude Opus 4.7 比最快的人类团队快约 20 倍。
了解更多