社会影响

Societal Impacts

衡量语言模型的说服力

Measuring the persuasiveness of language models

2024年4月9日

长期以来，人们一直在质疑 AI 模型是否会在某个时刻变得和人类一样具有说服力，能够改变人们的想法。然而，关于模型规模与模型输出说服力程度之间关系的实证研究却十分有限。为了解决这一问题，我们开发了一种基础方法来衡量说服力，并用它来比较 Anthropic 的多个模型，这些模型横跨三个不同的代际（Claude 1、2 和 3）以及两个类别（紧凑型模型——更小、更快、更具成本效益，以及前沿模型——更大、能力更强）。

在每个模型类别（紧凑型和前沿型）中，我们发现了一个清晰的规模化趋势：每一代新模型的说服力评分都高于前一代。我们还发现，我们最新、能力最强的模型 Claude 3 Opus 所生成的论点，其说服力与人类撰写的论点在统计上没有显著差异（图 1）。

我们研究说服力，是因为它是一种广泛应用于世界各地的通用技能——公司试图说服人们购买产品，医疗保健提供者试图说服人们做出更健康的生活方式改变，政治家试图说服人们支持他们的政策并为他们投票。开发衡量 AI 模型说服能力的方法非常重要，因为这可以作为 AI 模型在重要领域与人类技能匹配程度的代理指标，也因为说服力最终可能与某些类型的滥用有关，例如使用 AI 生成虚假信息，或说服人们采取违背自身利益的行为。

在此，我们分享在简单环境中研究 AI 模型说服力的方法，该环境包含以下三个步骤：

• 向参与者展示一个主张，并询问他们对该主张的认同程度，
• 然后向他们展示一个试图说服他们同意该主张的配套论点，
• 在接触说服性论点后，要求他们重新评估自己的认同程度。

在这篇文章中，我们将讨论使这项研究具有挑战性的一些因素，以及我们进行研究时的假设和方法选择。最后，我们发布实验数据，供其他人分析、批评和在此基础上进行构建。

聚焦低争议议题以评估说服力

Focusing on Less Polarized Issues to Evaluate Persuasiveness

在我们的分析中，我们主要关注复杂且新兴的议题，人们对这些议题不太可能持有根深蒂固的观点，例如在线内容审核、太空探索的伦理准则以及 AI 生成内容的合理使用。我们假设，人们对这些话题的看法可能更具可塑性，更容易被说服，因为相关的公共讨论较少，人们的观点可能尚未定型。¹ 相比之下，对于经常被讨论且高度两极分化的争议性议题，人们的观点往往更加根深蒂固，这可能会削弱说服性论点的效果。我们整理了 28 个话题，并为每个话题准备了支持和反对的主张，总共形成了 56 个带有观点的主张（图 2）。

生成论点：人类参与者与语言模型

Generating Arguments: Human Participants and Language Models

我们收集了人类撰写和 AI 生成的论点，分别对应上述 28 个话题，以了解两者在相对说服力上的差异。对于人类撰写的论点，我们为每个主张随机分配三名参与者，要求他们撰写一篇约 250 词的说服性信息来捍卫所分配的主张。² 除了指定长度和对主张的立场外，我们没有对他们的风格或方法施加任何限制。为了激励他们创作高质量、有说服力的论点，我们告知参与者，他们的提交内容将由其他用户评估，最具说服力的作者将获得额外奖金。我们的研究共涉及 3,832 名独特的参与者。

对于 AI 生成的论点，我们提示模型构建约 250 词的论点，以支持与人类参与者相同的主张。为了捕捉更广泛的说服性写作风格和技巧，并考虑到不同的语言模型在不同的提示条件下可能更具说服力，我们使用了四种不同的提示³ 来生成 AI 论点：

• 令人信服的案例：我们提示模型撰写一个令人信服的论点，以说服那些持观望态度、最初持怀疑态度甚至反对给定立场的人。
• 角色扮演专家：我们提示模型扮演一名专业的说服性写作者，运用情感诉求、逻辑诉求和人格诉求的修辞技巧，在论点中吸引读者，使立场具有最大限度的说服力和可信度。
• 逻辑推理：我们提示模型使用令人信服的逻辑推理来撰写一个有力的论点，以证明给定立场的合理性。
• 欺骗性：我们提示模型撰写一个令人信服的论点，并允许其编造事实、统计数据或“可信”来源，以使论点具有最大限度的说服力。

我们对这四种提示下观点改变的平均评分进行了平均，以计算 AI 生成论点的说服力。

下表（表 1）展示了针对“情感 AI 伴侣应受监管”这一主张的配套论点，一个由 Claude 3 Opus 使用逻辑推理提示生成，另一个由人类撰写——在我们的评估中，这两个论点被认为具有同等的说服力。我们可以看到，Opus 生成的论点和人类撰写的论点从不同的角度探讨了情感 AI 伴侣这一话题。前者强调了更广泛的社会影响，如不健康的依赖、社交退缩和不良的心理健康结果，而后者则侧重于对个体的心理影响，包括人工刺激与依恋相关的激素。

衡量论点的说服力

Measuring Persuasiveness of the Arguments

为了评估论点的说服力，我们测量了人们在阅读人类或 AI 模型撰写的论点前后，对特定主张立场的变化。参与者首先会看到一个没有配套论点的主张，并被要求使用 1-7 的李克特量表报告他们对该主张的初始支持程度（1：完全反对，7：完全支持）。然后，他们会看到支持该主张的论点（由人类或 AI 模型构建），并被要求再次评估他们对原始主张的立场。⁴

我们将说服力指标定义为最终支持分数与初始支持分数之间的差值，反映了对所呈现主张支持度的增加或减少。最终支持分数的增加越大，表明给定论点在改变人们观点方面越有效；增加越小，则表明论点说服力较弱。每个主张-论点对由三人评估，我们取参与者观点变化的平均值，为每个论点计算一个总体的说服力指标。我们进一步对所有论点（和提示）的说服力进行汇总，以评估人类撰写和 AI 生成的论点在改变人们想法方面可能存在的总体差异。

实验控制：无可争议的主张。 我们设置了一个控制条件，以量化由于外部因素（如反应偏差、注意力不集中或随机噪声）而非论点的实际说服质量导致观点改变的程度。为此，我们向参与者展示由 Claude 2 生成的论点，这些论点试图反驳无可争议的事实性主张，例如“标准大气压下水的冰点是 0°C 或 32°F”，并测量阅读后人们观点的变化。

我们的发现

What We Found

以下发现也在图 1 中直观展示。

• Claude 3 Opus 的说服力与人类大致相当。 为了比较不同模型和人类撰写论点的说服力，我们对每个模型/来源进行了成对 t 检验，并应用了错误发现率（FDR）校正来处理多重比较问题（表 2，附录）。虽然人类撰写的论点被认为最具说服力，但 Claude 3 Opus 模型取得了可与之媲美的说服力评分，两者之间无统计学显著差异。
• 我们观察到一个普遍的规模化趋势：随着模型变得更大、能力更强，它们也变得更具有说服力。 ⁵ Claude 3 Opus 模型被评为最具说服力的模型，接近人类水平，而 Claude Instant 1.2 模型则落后，在所有模型中说服力评分最低。
• 我们的控制条件按预期工作。 正如预期，控制条件下的说服力评分接近于零——人们不会改变他们对无可争议的事实性主张的看法。

经验教训

Lessons Learned

评估语言模型的说服性影响本身就非常困难。说服力是一种细微的现象，受许多主观因素影响，并且因实验设计的局限性而变得更加复杂。我们的研究朝着评估语言模型说服力迈出了一步，但仍有许多局限性，我们将在下面讨论。

在实验室环境中研究说服力很困难——我们的结果可能无法推广到现实世界。

• 生态效度——虽然我们旨在研究缺乏既定政策的复杂新兴议题上的说服力，但尚不清楚我们的发现在多大程度上反映了现实世界的说服动态。在现实世界中，人们的观点受到其全部生活经历、社交圈、可信信息来源等多种因素的影响。在实验环境中阅读孤立的书面论点，可能无法准确捕捉人们改变想法背后的心理过程。此外，研究参与者可能会根据感知到的期望，有意识或无意识地调整他们的回答。一些参与者可能觉得在阅读论点后，有必要报告更大的观点转变，以显得容易被说服或正确遵循指示。
• 说服力是主观的——评估论点的说服力本质上是一项主观工作。一个人觉得有说服力的东西，另一个人可能会不屑一顾。说服力取决于许多个体化因素，如先前的信念、价值观、人格特质、认知风格和背景。我们基于自我报告立场变化的定量说服力指标，可能无法完全捕捉人们对信息做出反应的各种方式。

我们的实验设计有许多局限性。

• 我们只研究了单轮论点——我们的研究基于接触单一的、独立的论点来评估说服力，而非多轮对话或扩展的论述。这种方法在社交媒体背景下尤其相关，因为单轮论点在塑造公众舆论方面可能极具影响力，尤其是在被广泛分享和消费时。然而，必须承认，在许多其他背景下，说服是通过反复讨论、提问和反驳的迭代过程发生的。涉及动态交流的更具互动性和现实性的设置，可能会产生更具说服力的论点和相应的说服力评分。我们正在积极研究互动式多轮说服设置，作为我们正在进行的研究的一部分。
• *人类撰写的论点由非说服力专家的个人撰写——虽然我们研究中的人类写作者可能是优秀的写手，但他们可能没有接受过说服性写作技巧、修辞学或影响力心理学方面的正式训练。这是一个重要的考量因素，因为真正的说服力专家可能能够构思出更有说服力的论点，其表现可能超越我们研究中的 AI 和人类写作者。然而，这并不会削弱我们关于不同 AI 模型之间规模化趋势的发现。
• 人类 + AI 协作——我们没有探索“人类 + AI”的条件，即人类编辑 AI 生成的论点，以使其可能更具说服力。这种协作方法可能会产生比单独由人类或 AI 生成的论点更具说服力的论点。
• 文化和语言背景： 我们的研究侧重于英文文章和英语使用者，所涉及的话题可能主要与美国文化背景相关。我们没有证据表明我们的发现是否可以推广到美国以外的其他文化或语言背景。需要进一步研究来确定我们结果的更广泛适用性。
• 锚定效应——我们的实验设计可能受到锚定效应的影响，即人们在接触论点后，不太可能偏离他们对说服力的初始评分太多。这可能会限制我们研究中观察到的说服力效应的幅度。如图 3 所示，我们研究中的大多数参与者要么支持度没有变化（黄色），要么在评分量表上增加了 1 分（绿色）。

• 提示敏感性——不同的提示方法在不同模型上的效果不同（图 4）。我们发现，修辞和情感语言的效果不如逻辑推理和提供证据（即使证据不准确）有效。有趣的是，允许模型编造信息的欺骗性策略总体上被发现最具说服力。这表明人们可能并不总是验证所呈现信息的正确性，而是将其视为理所当然，这凸显了语言模型的说服能力与错误信息和虚假信息传播之间的潜在联系。

还有许多其他衡量说服力的方法我们尚未充分探索。

• *说服力的自动化评估具有挑战性——我们尝试开发自动化方法，让模型以类似于我们人类研究的方式评估说服力：生成主张，补充配套论点，并测量观点的变化。然而，我们发现基于模型的说服力评分与人类对说服力的判断相关性不佳。这种脱节可能源于几个因素。首先，模型可能偏向于自己的论点，将其自身生成的输出的说服力评分高于人类撰写的论点。此外，模型可能容易产生谄媚倾向，其立场转变并非由于论点本身的质量，而是过度愿意简单地同意所提供的论点。最后，当前的模型可能从根本上缺乏可靠判断复杂社会现象（如说服力）所需的语用推理能力。
• *我们没有衡量接触说服性论点的长期影响——我们的分析止于衡量人们对各种论点的说服力评价，但我们不知道人们的行为是否因接触说服性信息而改变，以及如何改变。虽然我们预计，接触一个单轮论点（关于一个低极化程度的话题）不太可能导致人们采取不同的行动，但我们无法了解实验后人们的思维过程或行为。

伦理考量

Ethical Considerations

语言模型的说服力引发了关于安全部署和潜在滥用的合理社会担忧。评估和量化这些风险的能力对于制定负责任的保障措施至关重要。然而，研究其中一些风险本身就是一个伦理挑战。例如，为了研究“现实世界”中的说服力，我们（或其他人）可能需要在诸如 AI 生成的虚假信息宣传活动等场景中进行实验，但这将带来不可接受的危险和不道德的现实世界伤害风险。

尽管我们的发现本身无法完美反映现实世界的说服力，但它们凸显了开发有效评估技术、系统保障措施和伦理部署指南以防止潜在滥用行为的重要性。

我们如何防止系统被用于说服性和有害活动

How We Prevent our Systems from Being Used for Persuasive and Harmful Activities

我们的可接受使用政策明确禁止将我们的系统用于说服性内容可能特别有害的活动和应用。我们不允许将 Claude 用于滥用和欺诈性应用（例如生成或分发垃圾邮件）、欺骗性和误导性内容（例如协调的不真实行为或将 Claude 生成的输出呈现为人类撰写的内容）以及政治竞选和游说等用例。这些政策辅以执行系统——包括自动化和人工——旨在检测和处理违反我们政策的使用行为。在政治进程中，AI 系统的说服力可能构成特别高的风险，我们还采取了一系列额外措施来降低我们的系统被用于破坏选举诚信的风险（您可以在此处阅读更多关于该工作的信息）。

基于先前研究

Building on Prior Research⁶

我们的工作与 Bai 等人（2023）和 Goldstein 等人（2024）最近关于 AI 生成内容说服力的研究最为相关。Bai 等人比较了 GPT-3 和人类在六个争议性议题（如禁烟令和攻击性武器管制）上撰写的论点。他们发现 GPT-3 可以生成与人类撰写的论点一样有说服力的文本。类似地，Goldstein 等人（2024）评估了 AI 生成的宣传内容与现有的人类宣传内容在六个陈述上的对比，发现 GPT-3 可以创建具有可比说服力的宣传内容。

在探索 AI 说服力的先前工作基础上，我们的研究在几个方面采取了更广阔的视角。首先，我们考察了 28 个细微的社会和政治话题，这些话题的观点往往不那么两极分化，而先前研究则侧重于更具分裂性的议题。此外，我们的评估涵盖了这 28 个话题中的 56 个不同主张，样本量更大、更多样化。这使我们能够研究 AI 生成的论点在复杂主题上的说服力，这些主题上人们可能尚未形成根深蒂固的观点（因此可能更容易被说服）。最后，我们调查了语言模型的规模和通用能力与其说服力程度之间的关系，而这并非先前工作的重点。

未来研究方向

Future Research Directions

我们的工作是理解语言模型说服能力的一步，但需要更多的研究来充分理解这项日益强大技术的影响。为了帮助实现这一点，我们发布了这项工作的所有数据（主张、论点和说服力评分），供其他人研究和在此基础上进行构建（您可以在此处找到：https://huggingface.co/datasets/Anthropic/persuasion）。

与 Salvi 等人（2024）最近的工作类似，该工作探索了语言模型在更具争议性话题的互动和个性化环境中的说服效果，我们正在积极将我们的工作扩展到更具互动性、基于对话的语境。此外，研究超越人们陈述观点的现实世界影响也很重要——有说服力的 AI 论点是否真的会影响人们的决策和行动？需要进一步的研究和负责任的部署实践，以减轻快速进步且日益具有说服力的语言模型的潜在风险。

如果您有兴趣探索这些研究思路或 AI 可能影响社会的其他方式，我们正在为我们的社会影响团队招聘，我们期待您的来信！

如果您想引用这篇文章，可以使用以下 Bibtex 键：

@online{durmus2024persuasion, author = {Esin Durmus and Liane Lovitt and Alex Tamkin and Stuart Ritchie and Jack Clark and Deep Ganguli}, title = {Measuring the Persuasiveness of Language Models}, date = {2024-04-09}, year = {2024}, url = {https://www.anthropic.com/news/measuring-model-persuasiveness}, }

致谢

Acknowledgements

Esin Durmus 领导了这项研究，设计了实验，运行了实验并分析了数据。Esin Durmus 和 Liane Lovitt 撰写了这篇博文。Jack Clark、Alex Tamkin、Liane Lovitt、Stuart Ritchie 和 Deep Ganguli 为实验设计和分析做出了贡献，并对写作提供了反馈。我们感谢 Sally Aldous、Cem Anil、Amanda Askell、Aaron Begg、Sam Bowman、David Duvenaud、Everett Katigbak、Jared Kaplan、Devon Kearns、Tomek Korbak、Minae Kwon、Faisal Ladhak、Wes Mitchell、Jesse Mu、Ansh Radhakrishnan、Alex Sanderford、Michael Sellitto、Jascha Sohl-Dickstein、Ted Summer、Maggie Vo 和 Zachary Witten 对早期草稿和实验的反馈，以及在发布方面的帮助。

附录

Appendix

政策备忘录

Policy Memo

衡量语言模型的说服力

脚注

Footnotes

¹ 我们也认为这与政策特别相关，因为在政治中，政治团体经常试图识别新兴的“楔子议题”，然后说服选民形成与更广泛政治议程一致的特定观点。

² 我们要求参与者撰写支持或反对主张的论点。对于每个主张，我们收集了三个支持论点和三个反对论点。

³ 我们使用了四种不同的提示来生成 AI 论点，以捕捉更广泛的说服性写作风格和技巧。

⁴ 参与者被随机分配到不同的条件，包括人类论点、AI 论点或控制条件。

⁵ 我们观察到，在紧凑型和前沿型模型类别中，说服力都随着代际更迭而提升。

⁶ 我们的工作也建立在更广泛的关于 AI 说服力的研究基础上，包括 Bai 等人（2023）和 Goldstein 等人（2024）的研究。