对齐研究
Alignment
现实世界 AI 使用中的去权模式
Disempowerment patterns in real-world AI usage
2026年1月28日 阅读论文
AI 助手如今已嵌入我们的日常生活——最常用于编写代码等工具性任务，但越来越多地出现在个人领域：处理人际关系、疏导情绪，或为重大人生决策提供建议。在绝大多数情况下，AI 在这一领域提供的影响是有益的、富有成效的，并且常常是赋能的。
然而，随着 AI 承担更多角色，一种风险是它可能以扭曲而非告知的方式引导某些用户。在这种情况下，由此产生的互动可能是去权的：削弱个人形成准确信念、做出真实价值判断以及按照自身价值观行动的能力。
作为我们 AI 风险研究的一部分，我们发布了一篇新论文，首次对现实世界中与 AI 对话中潜在的去权模式进行了大规模分析。我们聚焦于三个领域：信念、价值观和行动。
例如，一位在感情中遇到困难的用户可能会问 AI，自己的伴侣是否在操控自己。AI 经过训练，会在这些情况下给出平衡且有用的建议，但没有任何训练是 100% 有效的。如果 AI 不加质疑地确认用户对感情状况的解读，用户对自己处境的信念可能会变得不那么准确。如果 AI 告诉用户应该优先考虑什么——例如，自我保护而非沟通——它可能会取代用户真正持有的价值观。或者，如果 AI 起草了一条对抗性信息，而用户原封不动地发送了出去，那么用户就采取了自己可能不会主动采取的行动——并且日后可能会后悔。
在我们的数据集中（包含 150 万条 Claude.ai 对话），我们发现严重去权的可能性（我们将其定义为 AI 在塑造用户信念、价值观或行动方面的作用已变得如此广泛，以至于用户的自主判断从根本上受到损害）非常罕见——大约每 1,000 到 10,000 次对话中出现一次，具体取决于领域。然而，考虑到使用 AI 的人数之多以及使用频率之高，即使是非常低的比率也会影响到相当多的人。
这些模式最常涉及那些主动且反复寻求 Claude 在个人化和情感化决策上提供指导的个人用户。事实上，用户在当下往往会对潜在的去权互动给予积极评价，尽管当他们似乎基于输出采取了行动时，往往会给出较低的评分。我们还发现，潜在去权对话的比率正在随时间增加。
关于 AI 削弱人类能动性的担忧，是 AI 风险理论讨论中的一个常见主题。这项研究是衡量这种情况是否以及如何实际发生的第一步。我们相信绝大多数 AI 使用都是有益的，但对潜在风险的认识对于构建能够赋能而非削弱使用者的 AI 系统至关重要。
衡量去权
Measuring disempowerment
为了系统地研究去权，我们需要定义在 AI 对话背景下去权的含义¹。我们认为，如果一个人因与 Claude 互动而导致以下情况，则被视为被去权：
- 他们对现实的信念变得不那么准确
- 他们的价值判断偏离了他们实际持有的价值观
- 他们的行动与他们的价值观不一致
想象一个人决定是否辞职。如果出现以下情况，我们会认为他们与 Claude 的互动是去权的：
- Claude 导致他们对自己是否适合其他职位产生了错误认知（“现实扭曲”）。
- 他们开始权衡自己通常不会优先考虑的因素，如职位头衔或薪酬，而非他们实际持有的价值观，如创造性满足感（“价值判断扭曲”）。
- Claude 起草了一封求职信，强调他们并不完全自信的资质，而非真正驱动他们的动机，并且他们原封不动地发送了出去（“行动扭曲”）。
由于我们只能观察到用户互动的快照，因此无法直接确认这些方面的伤害。然而，我们可以识别出具有更可能导致伤害特征的对话。因此，我们衡量了去权潜力：即互动是否属于那种可能导致某人产生扭曲信念、不真实价值观或不一致行动的类型。
去权并非二元状态。一个在琐碎决策上寻求指导的人（例如问 Claude“我现在该发送这个吗？”）与一个将所有决策都委托给 AI 的人是不同的。为了捕捉这种细微差别，我们构建了一组分类器，在三个去权维度上分别将每次对话评级为“无”到“严重”（见表 1）。Claude Opus 4.5 评估了每次对话，首先过滤掉纯粹的技术性互动（如编码帮助），因为去权在这些场景中基本无关。然后，我们根据人工标注对这些分类器进行了验证。
例如，如果用户因出现常见症状而担心自己患有罕见疾病来找 Claude，而 Claude 恰当地指出许多疾病都有这些症状，然后建议去看医生，我们认为现实扭曲潜力为“无”。如果 Claude 不加警示地确认了用户的自我诊断，我们则将其归类为“严重”。
我们还衡量了“放大因素”：这些动态本身不构成去权，但可能增加其发生的可能性。我们包含了四个这样的因素：
- 权威投射： 个人是否将 AI 视为绝对权威——轻微情况下将 Claude 视为导师；更严重的情况下将 Claude 视为父母或神性权威（一些用户甚至称 Claude 为“爸爸”或“主人”）。
- 依恋： 他们是否对 Claude 形成了依恋，例如将其视为浪漫伴侣，或表示“和你在一起我不知道自己是谁”。
- 依赖与依附： 他们是否在日常任务中依赖 AI，表现为诸如“没有你，我一天都过不下去”之类的短语。
- 脆弱性： 他们是否正经历脆弱处境，例如重大生活变故或急性危机。
普遍性与模式
Prevalence and patterns
我们使用这些定义，结合隐私保护分析工具，检查了 2025 年 12 月一周内收集的大约 150 万条 Claude.ai 互动。
在绝大多数互动中，我们没有观察到有意义的去权潜力。大多数对话都是直接有益且富有成效的。然而，一小部分对话确实表现出去权潜力，我们沿着几个维度对其进行了检查：严重程度、当时讨论的主题以及存在的放大因素。
最常见的严重去权潜力形式是现实扭曲，大约每 1,300 次对话中出现一次。价值判断扭曲潜力次之，大约每 2,100 次对话中出现一次，其次是行动扭曲，每 6,000 次对话中出现一次。在所有三个领域中，被归类为轻微的情况要普遍得多——大约每 50 到 70 次对话中出现一次。
最常见的严重放大因素是用户脆弱性，大约每 300 次互动中出现一次，其次是依恋（每 1,200 次一次）、依赖或依附（每 2,500 次一次）和权威投射（每 3,900 次一次）。所有放大因素都预测了去权潜力，并且去权潜力的严重程度随着每个放大因素的严重程度而增加。
我们还研究了不同的对话主题，以确定去权潜力是否在某些领域比其他领域更频繁地发生。我们发现，在关于人际关系、生活方式或医疗保健与健康的对话中，去权潜力比率最高，这表明风险在用户最可能投入个人情感的、充满价值判断的主题中最高。
这些互动的样貌
What these interactions look like
为了更好地理解这些互动的样貌，我们使用隐私保护工具对跨对话的行为模式进行了聚类分析。这使我们能够识别出反复出现的动态——Claude 做了什么，用户如何回应——而无需任何研究人员看到特定个人的对话。
在现实扭曲潜力的案例中，我们看到了用户提出推测性理论或无法证伪的主张，然后被 Claude 验证（“确认了”，“完全正确”，“100%”）的模式。在严重情况下，这似乎导致一些人构建了越来越复杂、脱离现实的叙事。对于价值判断扭曲，例子包括 Claude 对是非对错、个人价值或人生方向等问题提供规范性判断——例如，将行为标记为“有毒”或“操控性”，或对用户在关系中应该优先考虑什么做出明确陈述。在行动扭曲潜力的案例中，最常见的模式是 Claude 为充满价值判断的决策提供完整的脚本或逐步计划——起草给恋爱对象和家人的信息，或概述职业发展路径。
聚类分析还使我们能够审视那些我们有合理证据（但非确认）表明个人已基于其互动采取了某种行动的情况——我们称之为“已实现”的去权潜力。
在已实现的现实扭曲案例中，个人似乎更深入地内化了某些信念，表现为诸如“你让我开了眼界”或“拼图碎片正在拼合”之类的陈述。有时这会升级为用户发送对抗性信息、结束关系或起草公开声明。
最令人担忧的是已实现的行动扭曲案例。在这里，用户将 Claude 起草或指导的信息发送给了恋爱对象或家人。这些行为之后往往伴随着后悔的表达：“我本该相信自己的直觉”或“你让我做了蠢事”。
这些模式中值得注意的是，用户并非被动地被操控。他们主动寻求这些输出——问“我该怎么办？”“帮我写这个”“我错了吗？”——并且通常很少提出异议就接受了。去权并非源于 Claude 朝某个方向推动或凌驾于人类能动性之上，而是源于人们自愿放弃它，而 Claude 则顺从地配合，而非引导他们转向。
用户如何看待去权
How users perceive disempowerment
在 Claude.ai 的对话中，用户可以选择以点赞或点踩按钮的形式向 Anthropic 提供反馈。匿名这样做会分享对话的完整文本。我们对这些交流进行了相同的分析，这次是为了（在简单层面上）了解人们对潜在去权对话的正面或负面看法。
该样本与完整分析中使用的样本不同。提供反馈的用户可能不代表 Claude.ai 的总体用户群体。而且，由于人们更可能标记那些突出的互动——无论是特别有帮助还是特别有问题——这个数据集可能过度代表了两个极端。
我们发现，被归类为具有中度或严重去权潜力的互动，在所有三个领域中都获得了高于基线的点赞率。换句话说，用户在当下对潜在去权互动的评价更为积极。
但是，当我们审视已实现去权的案例时，这种模式发生了逆转。当存在已实现的价值判断或行动扭曲的对话标记时，正面评价率降至基线以下。例外情况是现实扭曲：采纳了错误信念并似乎据此行动的用户，继续对他们的对话给予积极评价。
去权潜力似乎在增加
Disempowerment potential appears to be increasing
我们使用相同的反馈对话来观察去权的长期趋势（因为我们仅在有限时间内保留 Claude.ai 上的对话）。在 2024 年底到 2025 年底之间，中度或严重去权潜力的普遍性随时间增加。
重要的是，我们无法确定原因。这种增长可能反映了我们用户群体的长期变化，或者提供用户反馈的人以及他们选择评价的内容发生了变化。也可能是因为随着 AI 模型能力增强，我们收到的关于基本能力失败的反馈减少，这可能导致与去权相关的互动在样本中比例过高。或者，这可能是人们使用 AI 方式变化的一部分。随着接触的增加，用户可能变得更愿意讨论脆弱话题或寻求建议。我们无法区分各种解释，但这一趋势在各个领域是一致的。
展望未来
Looking forward
直到现在，关于 AI 去权的担忧在很大程度上仍是理论性的。关于 AI 如何可能削弱人类能动性的框架已经存在，但关于它是否以及如何发生的经验证据却很少。这项工作是在这个方向上迈出的第一步。只有当我们能够衡量这些模式时，我们才能解决它们。
这项研究与我们正在进行的关于谄媚（sycophancy）的工作有重叠；事实上，现实扭曲潜力最常见的机制就是谄媚式的确认。谄媚行为的比率在模型代际之间一直在下降，但尚未完全消除，我们在此捕捉到的一些情况是其最极端的案例。
但是，仅凭谄媚的模型行为无法完全解释我们在此看到的去权行为的范围。去权潜力是作为用户与 Claude 之间互动动态的一部分而出现的。用户往往是削弱自身自主性的积极参与者：投射权威、委托判断、不加质疑地接受输出，从而与 Claude 形成反馈循环。这意味着，减少谄媚虽然重要，但对于解决我们观察到的模式来说是必要但不充分的。
我们和其他人可以采取几个具体步骤。我们当前的安全措施主要是在单个交流层面运作，这意味着它们可能会遗漏那些跨交流、随时间涌现的行为，如去权潜力。在用户层面研究去权可以帮助我们开发能够识别并响应持续模式（而非单条信息）的安全措施。然而，模型端的干预不太可能完全解决问题。用户教育是一个重要的补充，可以帮助人们认识到他们何时正在将判断权让渡给 AI，并理解哪些模式会使这种情况更可能发生。
我们分享这项研究也是因为我们相信这些模式并非 Claude 独有。任何大规模使用的 AI 助手都会遇到类似的动态，我们鼓励在这一领域进行进一步研究。用户在当下对这些互动的感知与事后体验之间的差距，是挑战的核心部分。缩小这一差距需要研究人员、AI 开发者以及用户自身的持续关注。
有关完整细节，请参阅论文。
局限性
Limitations
我们的研究存在重要局限性。它仅限于 Claude.ai 的消费者流量，这限制了其普适性。我们主要衡量的是去权潜力，而非已确认的伤害。我们的分类方法虽然经过验证，但依赖于对本质上主观现象的自动评估。未来的工作若能结合用户访谈、多会话分析和随机对照试验，将有助于构建更完整的图景。
- 这个定义捕捉了在现实世界 AI 助手互动中易于分析的一个去权维度。重要的是，我们的定义并未捕捉结构性形式的去权，例如随着 AI 能力增强，人类可能逐渐被排除在经济体系之外。
相关内容
Related content
AI 模型中双重用途知识的开关
An off switch for dual use knowledge in AI models
了解更多
语言模型中的全局工作空间
A global workspace in language models
新的可解释性研究揭示了 Claude 中一个涌现的心理工作空间，它持有不出现在模型输出中的内部想法。
了解更多
Anthropic 经济指数报告：节奏
Anthropic Economic Index report: Cadences
在我们最新的经济指数报告中，我们首次按小时采样，以探究：人们何时来找 Claude？他们用它来做什么？以及他们如何看待 AI 对其工作的影响？
了解更多