公告

关于 AI 安全的核心观点：何时、为何、何事以及如何

2023 年 3 月 8 日

我们创立 Anthropic，是因为我们相信 AI 的影响力可能堪比工业革命和科学革命，但我们并不确信其发展会一帆风顺。同时，我们也认为这种程度的影响可能很快就会到来——或许就在未来十年内。

这种观点听起来可能难以置信或过于宏大，并且有充分的理由对其持怀疑态度。首先，几乎所有说过“我们正在做的事情可能是历史上最重大的发展之一”的人最终都被证明是错误的，而且往往错得离谱。尽管如此，我们相信有足够的证据表明，我们应该认真为一个由快速 AI 进步带来变革性 AI 系统的世界做好准备。

在 Anthropic，我们的座右铭是“展示，而非告知”，并且我们一直专注于发布一系列我们认为对 AI 社区具有广泛价值的安全导向研究。我们现在撰写此文，是因为随着越来越多的人意识到 AI 的进步，我们认为现在是表达我们对此主题的看法并解释我们的策略和目标的时候了。简而言之，我们相信 AI 安全研究至关重要，并且应该得到广泛的公共和私人机构的支持。

因此，在这篇文章中，我们将总结我们为何相信这一切：为何我们预期 AI 会飞速进步并产生巨大影响，以及这如何导致我们对 AI 安全感到担忧。然后，我们将简要总结我们自己的 AI 安全研究方法及其背后的一些推理。我们希望，通过撰写此文，能够为关于 AI 安全和 AI 进步的更广泛讨论做出贡献。

以下是本文主要观点的高级总结：

AI 将产生巨大影响，可能就在未来十年内。 快速且持续的 AI 进步是用于训练 AI 系统的计算量呈指数级增长的可预测结果，因为关于“缩放定律”（scaling laws）的研究表明，更多的计算量会带来能力的普遍提升。简单的推断表明，AI 系统在未来十年内将变得强大得多，可能在大多数智力任务上达到或超越人类水平。AI 进步可能会放缓或停止，但证据表明它很可能会继续。
我们不知道如何训练系统使其稳健地表现良好。 到目前为止，没有人知道如何训练非常强大的 AI 系统使其稳健地乐于助人、诚实且无害。此外，快速的 AI 进步将对社会造成破坏，并可能引发竞争竞赛，导致企业或国家部署不可信的 AI 系统。其结果可能是灾难性的，要么是因为 AI 系统战略性地追求危险目标，要么是因为这些系统在高风险情境中犯了更无辜的错误。
我们对一种多方面的、以经验为驱动的 AI 安全方法最为乐观。 我们正在追求多种研究方向，目标是构建可靠安全的系统，目前最令我们兴奋的是扩展监督（scaling supervision）、机制可解释性（mechanistic interpretability）、面向过程的学习（process-oriented learning），以及理解和评估 AI 系统如何学习和泛化。我们的一个关键目标是差异化地加速这项安全工作，并开发一种安全研究的轮廓，试图覆盖广泛的情景，从安全挑战被证明易于解决的情景，到创建安全系统极其困难的情景。

我们对快速 AI 进步的粗略看法

Our rough view on rapid AI progress

导致 AI 性能可预测¹提升的三个主要因素是训练数据、计算量和改进的算法。在 2010 年代中期，我们中的一些人注意到，更大的 AI 系统始终更智能，因此我们推测，AI 性能中最重要的因素可能是 AI 训练计算的总预算。当这一点被绘制成图表时，很明显，最大模型所使用的计算量正以每年 10 倍的速度增长（其翻倍速度比摩尔定律快 7 倍）。2019 年，后来成为 Anthropic 创始团队的几位成员通过为 AI 制定缩放定律（scaling laws）使这一想法变得精确，证明了你可以通过简单地让 AI 变得更大并在更多数据上进行训练，以可预测的方式使其更智能。部分基于这些结果，该团队领导了训练 GPT-3 的工作，GPT-3 可以说是第一个现代“大型”语言模型²，拥有超过 1730 亿个参数。

自从发现缩放定律以来，Anthropic 的许多人都相信非常快速的 AI 进步是相当可能的。然而，早在 2019 年，多模态、逻辑推理、学习速度、跨任务迁移学习和长期记忆似乎可能是会减缓或阻止 AI 进步的“壁垒”。在随后的几年里，其中一些“壁垒”，例如多模态和逻辑推理，已经被攻克。鉴于此，我们中的大多数人越来越确信，快速的 AI 进步将会持续，而不是停滞或进入平台期。AI 系统现在在大量任务上接近人类水平的表现，然而训练这些系统的成本仍然远低于像哈勃太空望远镜或大型强子对撞机这样的“大科学”项目——这意味着还有很大的进一步增长空间³。

人们往往不善于在指数级增长的早期阶段识别和承认它。尽管我们看到了 AI 的快速进步，但人们倾向于认为这种局部的进步必定是例外而非规则，事情很快就会恢复正常。然而，如果我们是对的，那么当前这种快速 AI 进步的感觉可能不会在 AI 系统拥有超越我们自身能力的广泛能力之前结束。此外，在 AI 研究中使用先进 AI 所产生的反馈循环可能会使这一转变特别迅速；我们已经看到了这一过程的开始，例如代码模型的开发使 AI 研究人员更有效率，以及宪法 AI（Constitutional AI）减少了我们对人类反馈的依赖。

如果这其中任何一点是正确的，那么在不久的将来，大部分或全部知识工作都可能实现自动化——这将对社会产生深远影响，并且也可能改变其他技术的进步速度（一个早期的例子是像 AlphaFold 这样的系统已经在加速今天的生物学研究）。未来 AI 系统将采取何种形式——例如，它们是否能够独立行动，还是仅仅为人类生成信息——仍有待确定。尽管如此，无论怎样强调这可能是一个关键时刻都不为过。虽然我们可能更希望 AI 进步能够放缓，使这一转变更易于管理，跨越数百年而非数年或数十年，但我们必须为我们预期的结果做好准备，而不是为我们希望的结果做准备。

当然，这整个图景可能完全是错误的。在 Anthropic，我们倾向于认为它更可能正确而非错误，但也许我们被自己在 AI 开发方面的工作所偏见。即使如此，我们认为这幅图景足够合理，不能被轻易否定。鉴于其潜在的重大影响，我们相信 AI 公司、政策制定者和民间社会机构应该投入非常认真的努力，进行关于如何处理变革性 AI 的研究和规划。

存在哪些安全风险？

What safety risks?

如果你愿意接受上述观点，那么论证 AI 可能对我们的安全和保障构成风险并不困难。有两个常识性的理由值得担忧。

首先，当系统开始变得与其设计者一样智能和了解周围环境时，构建安全、可靠和可操控的系统可能会很棘手。打个比方，国际象棋大师很容易发现新手下的坏棋，但新手很难发现大师下的坏棋。如果我们构建了一个比人类专家能力显著更强的 AI 系统，但它追求的目标与我们的最佳利益相冲突，后果可能很严重。这就是技术上的对齐问题（technical alignment problem）。

其次，快速的 AI 进步将极具破坏性，会改变就业、宏观经济以及国家内部和国家之间的权力结构。这些破坏本身可能是灾难性的，并且它们也可能使以谨慎、周到的方式构建 AI 系统变得更加困难，从而导致进一步的混乱和更多的 AI 问题。

我们认为，如果 AI 进步迅速，这两个风险来源将非常显著。这些风险还会以多种难以预料的方式相互叠加。也许事后看来，我们会认为我们错了，其中一个或两个问题要么不会成为问题，要么很容易解决。尽管如此，我们认为有必要宁可谨慎行事，因为“搞错了”可能是灾难性的。

当然，我们已经遇到了 AI 行为与其创造者意图相偏离的各种方式。这包括毒性、偏见、不可靠、不诚实，以及最近的谄媚和对权力的公开渴望。我们预计，随着 AI 系统的普及和变得更加强大，这些问题将变得更加重要，其中一些问题可能代表了我们在人类水平 AI 及更高水平 AI 中会遇到的问题。

然而，在 AI 安全领域，我们预计会同时遇到可预测和意想不到的发展。即使我们能够令人满意地解决当代 AI 系统中遇到的所有问题，我们也不愿轻率地假设未来的问题都能以同样的方式解决。一些可怕的、推测性的问题可能只有在 AI 系统足够聪明，能够理解自己在世界上的位置、成功欺骗人类或制定人类无法理解的策略时才会出现。有许多令人担忧的问题可能只有在 AI 非常先进时才会出现。

我们的方法：AI 安全中的经验主义

Our approach: Empiricism in AI safety

我们相信，如果不与研究对象密切接触，就很难在科学和工程领域取得快速进展。不断地根据“基本事实”来源进行迭代对于科学进步通常至关重要。在我们的 AI 安全研究中，关于 AI 的经验证据——尽管它主要来自计算实验，即 AI 训练和评估——是基本事实的主要来源。

这并不意味着我们认为理论或概念性研究在 AI 安全中没有地位，但我们确实相信，基于经验的安全研究将具有最大的相关性和影响力。可能的 AI 系统、可能的安全故障和可能的安全技术的空间是巨大的，仅凭纸上谈兵很难遍历。考虑到考虑所有变量的困难，很容易过度关注从未出现的问题，或者错过确实存在的重大问题⁴。好的经验研究通常使更好的理论和概念工作成为可能。

与此相关，我们相信检测和缓解安全问题的方法可能极难提前规划，并且需要迭代开发。鉴于此，我们倾向于相信“规划不可或缺，但计划毫无用处”。在任何特定时间，我们可能对研究的下一步有一个计划，但我们对这些计划并不执着，它们更像是短期赌注，我们准备在了解更多信息后进行调整。这显然意味着我们不能保证我们当前的研究方向会成功，但这是每个研究项目都面临的事实。

前沿模型在经验安全中的作用

The role of frontier models in empirical safety

Anthropic 作为一个组织存在的一个主要原因是，我们相信有必要在“前沿”AI 系统上进行安全研究。这需要一个既能处理大型模型又能优先考虑安全的机构⁵。

经验主义本身并不一定意味着需要前沿安全。可以想象一种情况，即经验安全研究可以在较小且能力较弱的模型上有效进行。然而，我们不认为我们处于那种情况。在最基本的层面上，这是因为大型模型与较小模型有质的区别（包括突然的、不可预测的变化）。但规模也以更直接的方式与安全相关联：

我们许多最严重的安全担忧可能只会在接近人类水平的系统中出现，而如果没有接触到这样的 AI，就很难或无法在这些问题上取得进展。
许多安全方法，如宪法 AI（Constitutional AI）或辩论（Debate），只能在大型模型上工作——使用较小的模型使得探索和验证这些方法变得不可能。
由于我们的担忧集中在未来模型的安全性上，我们需要了解安全方法和属性如何随着模型规模的扩大而变化。
如果未来的大型模型被证明非常危险，那么开发令人信服的证据来证明这一点至关重要。我们预计这只有通过使用大型模型才能实现。

不幸的是，如果经验安全研究需要大型模型，那将迫使我们面对一个艰难的权衡。我们必须尽一切努力避免出现安全动机的研究加速危险技术部署的情况。但我们也不能让过度的谨慎导致最注重安全的研究工作只涉及远远落后于前沿的系统，从而极大地减缓我们认为至关重要的研究。此外，我们认为在实践中，仅仅进行安全研究是不够的——建立一个拥有机构知识、能够尽快将最新安全研究整合到实际系统中的组织也很重要。

负责任地驾驭这些权衡是一种平衡行为，这些担忧是我们作为一个组织制定战略决策的核心。除了我们的研究——涵盖安全、能力和政策——这些担忧还驱动着我们在公司治理、招聘、部署、安全和合作伙伴关系方面的做法。在不久的将来，我们还计划做出对外可见的承诺，即只有在满足安全标准的情况下，才会开发超过特定能力阈值的模型，并允许一个独立的外部组织评估我们模型的能力和安全性。

对 AI 安全采取组合投资方法

Taking a portfolio approach to AI safety

一些关心安全的研究人员是出于对 AI 风险本质的强烈观点。我们的经验是，即使是预测近期 AI 系统的行为和属性也非常困难。对未来系统安全性进行先验预测似乎更难。我们不相信采取强硬立场，而是认为广泛的情景都是可能的。

一个特别重要的不确定性维度是，开发广泛安全且对人类风险很小的先进 AI 系统会有多困难。开发这样的系统可能处于从非常容易到不可能的光谱上的任何位置。让我们将这个光谱划分为三个具有截然不同含义的情景：

乐观情景： 由于安全故障，先进 AI 带来灾难性风险的可能性非常小。已经开发的安全技术，如基于人类反馈的强化学习（RLHF）和宪法 AI（CAI），已经基本足以实现对齐。AI 的主要风险是当今面临问题的延伸，例如毒性和故意滥用，以及由广泛自动化和国际权力格局变化等因素导致的潜在危害——这将需要 AI 实验室和第三方（如学术界和民间社会机构）进行大量研究以最小化危害。
中间情景： 灾难性风险是先进 AI 开发可能甚至很可能出现的结果。要应对这一点，需要大量的科学和工程努力，但通过足够专注的工作，我们可以实现它。
悲观情景： AI 安全本质上是一个无法解决的问题——这是一个简单的事实，即我们无法控制或向一个在智力上普遍超越我们自身的系统灌输价值观——因此我们绝不能开发或部署非常先进的 AI 系统。值得注意的是，最悲观的情景在非常强大的 AI 系统被创造出来之前，可能看起来像乐观情景。认真对待悲观情景需要谦逊和谨慎地评估系统安全的证据。

如果我们处于乐观情景…… Anthropic 所做事情的利害关系（幸运地）要低得多，因为灾难性的安全故障无论如何都不太可能发生。我们的对齐努力可能会加快先进 AI 能够产生真正有益用途的步伐，并有助于减轻 AI 系统开发过程中造成的一些近期危害。我们也可能将努力转向帮助政策制定者应对先进 AI 带来的一些潜在结构性风险，如果灾难性安全故障的可能性非常小，这可能是最大的风险来源之一。

如果我们处于中间情景…… Anthropic 的主要贡献将是识别先进 AI 系统带来的风险，并找到和传播训练强大 AI 系统的安全方法。我们希望我们组合中的至少一些安全技术——下文将详细讨论——能在这种情况下有所帮助。这些情景可能从“中等容易情景”（我们相信可以通过迭代宪法 AI 等技术取得大量边际进展）到“中等困难情景”（在机制可解释性上取得成功似乎是我们最好的选择）。

如果我们处于悲观情景…… Anthropic 的角色将是提供尽可能多的证据，证明 AI 安全技术无法防止先进 AI 带来的严重或灾难性安全风险，并发出警报，以便世界各地的机构能够集中集体努力，防止危险 AI 的开发。如果我们处于“接近悲观”的情景，这可能反而意味着将我们的集体努力引导到 AI 安全研究上，同时暂停 AI 的进步。表明我们处于悲观或接近悲观情景的迹象可能是突然且难以发现的。因此，我们应该始终假设我们可能仍处于这样的情景中，除非我们有足够的证据表明我们不是。

鉴于这些利害关系，我们的首要任务之一是继续收集更多关于我们处于何种情景的信息。我们正在追求的许多研究方向旨在更好地理解 AI 系统，并开发能够帮助我们检测先进 AI 系统令人担忧的行为（如追求权力或欺骗）的技术。

我们的目标本质上是开发：

使 AI 系统更安全的更好技术。
识别 AI 系统安全或不安全程度的更好方法。

在乐观情景中，(1) 将帮助 AI 开发者训练有益的 AI 系统，(2) 将证明此类系统是安全的。在中间情景中，(1) 可能是我们最终避免 AI 灾难的方式，(2) 对于确保先进 AI 带来的风险较低至关重要。在悲观情景中，(1) 的失败将是 AI 安全无法解决的关键指标，而 (2) 将是使我们能够令人信服地向他人证明这一点的关键。

我们相信这种对 AI 安全研究的“组合投资方法”。我们不是押注于上述列表中的单一可能情景，而是试图开发一个研究计划，该计划可以在中间情景中显著改善情况（AI 安全研究最有可能在这些情景中产生巨大影响），同时在悲观情景中发出警报（AI 安全研究不太可能在这些情景中对 AI 风险产生太大影响）。我们还试图以一种在乐观情景中也有益的方式来做这件事，因为在乐观情景中，对技术性 AI 安全研究的需求并不那么大。

Anthropic 的三种 AI 研究类型

The three types of AI research at Anthropic

我们将 Anthropic 的研究项目分为三个领域：

能力（Capabilities）： 旨在使 AI 系统普遍更好地完成任何类型任务的 AI 研究，包括写作、图像处理或生成、游戏等。使大型语言模型更高效或改进强化学习算法的研究都属于这一类。能力工作生成并改进我们在对齐研究中调查和使用的模型。我们通常不发表这类工作，因为我们不希望推动 AI 能力进步的速度。此外，我们的目标是对前沿能力的展示（即使不发表）保持深思熟虑。我们在 2022 年春季训练了我们主打模型 Claude 的第一个版本，并决定优先将其用于安全研究而非公开部署。随后，在 Claude 与公开的最先进技术之间的差距缩小后，我们才开始部署它。
对齐能力（Alignment capabilities）： 这项研究专注于开发新的算法，用于训练 AI 系统使其更有帮助、更诚实、更无害，以及更可靠、更稳健，并总体上与人类价值观对齐。Anthropic 目前和过去这类工作的例子包括辩论（debate）、扩展自动化红队测试（scaling automated red-teaming）、宪法 AI（Constitutional AI）、去偏（debiasing）和 RLHF（基于人类反馈的强化学习）。通常这些技术具有实用性和经济价值，但它们不一定非得如此——例如，如果新算法相对低效，或者只有在 AI 系统变得更强大时才会变得有用。
对齐科学（Alignment science）： 这个领域专注于评估和理解 AI 系统是否真正对齐，对齐能力技术效果如何，以及我们在多大程度上可以将这些技术的成功外推到更强大的 AI 系统。Anthropic 这类工作的例子包括广泛的机制可解释性（mechanistic interpretability）领域，以及我们关于用语言模型评估语言模型、红队测试以及使用影响函数（influence functions）研究大型语言模型泛化的工作（如下所述）。我们关于诚实性的一些工作处于对齐科学和对齐能力的边界。

从某种意义上说，可以将对齐能力与对齐科学视为“蓝队”与“红队”的区别，其中对齐能力研究试图开发新算法，而对齐科学则试图理解和揭示它们的局限性。

我们发现这种分类有用的一个原因是，AI 安全社区经常争论 RLHF 的开发——它也产生经济价值——是否“真正”是安全研究。我们相信它是。具有实用价值的对齐能力研究为我们为更强大模型开发技术奠定了基础——例如，我们在宪法 AI 和 AI 生成评估方面的工作，以及我们正在进行中的自动化红队测试和辩论工作，如果没有之前 RLHF 的工作是不可能实现的。对齐能力工作通常通过使 AI 系统更诚实和可纠正，从而使 AI 系统能够协助对齐研究。此外，证明迭代对齐研究对于制造对人类更有价值的模型是有用的，也可能有助于激励 AI 开发者投入更多精力来尝试使其模型更安全并检测潜在的安全问题。