June 16, 2026

Research

通过模拟部署在发布前预测模型行为

Predicting model behavior before release by simulating deployment

通过使用真实的对话上下文，在发布前更好地估计不期望的模型行为。

阅读论文**分享

引言

Introduction

在发布新模型之前，实验室不仅需要了解模型能做什么，还需要了解它在实际使用中可能如何表现，包括可能引入哪些新风险。随着模型能力的提升，这一点变得愈发重要。作为部署前安全审查的一部分，我们利用定向评估、红队测试和其他检查手段来理解模型行为。现在，我们已开始使用一种在模型部署前进行模拟的方法，这增加了一个互补的信号：在候选模型到达用户之前，提供类似部署的预览，展示其可能的行为表现。

部署模拟是一种在部署前模拟未来部署的方法。我们通过以隐私保护的方式，用新的候选模型重放之前的对话来实现这一点。这使我们能够在发布前研究新模型在真实上下文中的响应方式，包括是否会出现新的不期望行为及其可能出现的频率。

在多个 GPT‑5 系列 Thinking 模型的部署中，部署模拟改进了我们对不期望模型行为率的估计，帮助在发布前发现了新形式的不对齐问题，并降低了模型能够识别出自己正在被测试的风险。我们还将该方法应用于具有挑战性的智能体（agentic）部署场景，表明它可以扩展到涉及工具使用的更复杂智能体设置，并且也可用于内部模型部署前的风险评估。

在模型开发过程中，我们已经利用部署模拟的洞察来识别传统评估中的盲点，并为缓解措施和部署决策提供信息。随着我们使该流程更易于运行，我们预计它将在未来的模型开发过程中发挥更大的作用。

部署模拟的工作原理

How Deployment Simulation works

行业范围内使用的部署前评估通常由合成提示、手动编写提示或生产环境提示混合组成，这些提示被有意选择为困难、高严重性或对抗性的。这些评估通常有两个相互交织的目标：评估模型在部署流量中极低概率出现的情境下经受压力测试时的响应方式，以及获得对不期望模型行为的一般性理解，包括发现新的不期望行为并预测其在部署时的发生频率。

虽然传统评估对于第一个目标仍然至关重要，但部署模拟在第二个目标方面（针对非尾部风险）代表了重大进步（在我们的实验中，我们的方法无法可靠地测量频率低于每 20 万条消息 1 次的行为）。部署模拟的优势在于规避了传统评估中的一些核心挑战：

• 覆盖范围： 很难确信评估提示能够覆盖所有可能类型的不期望模型行为。测量新类型的不期望行为需要创建新的评估，并且需要知道要测量哪些危害。这可能耗费大量时间和人力，并且评估会随着时间的推移而饱和。
• 选择偏差： 传统评估通常是针对特定的不期望模型行为而构建的，其选择方式偏向于之前发生过的上下文。这可能会使它们对部署分布全貌中此类行为发生率的估计信息量不足。
• 被模型识别为测试： 模型越来越能够确定自己正在被测试，这可能会扭曲它们的行为以及我们对它们安全性的下游测量。虽然我们在 OpenAI 使用的许多传统评估也来自生产流量，不存在这个问题，但这是整个行业使用的许多传统评估普遍关注的问题。

部署模拟背后的主要技术很简单：我们获取部署中的近期对话，移除旧模型的原始助手回复，然后用待发布的候选模型重新生成回复。我们通过搜索新的故障模式来评估这些补全内容，并基于这种类似部署的分布中的频率来估计部署时不期望行为的发生频率。我们可以在发布后对真实的部署流量进行相同的测量，从而能够验证我们的部署前预测。

部署模拟显著缓解了上述三个限制：通过使用代表近期使用情况的评估提示分布来解决采样偏差问题。使用具有代表性的提示进行部署模拟也可以缓解对覆盖范围的担忧：我们只需模拟更多的流量，就能获得对不期望模型行为的更大覆盖范围。这种计算量与覆盖范围之间的权衡非常重要，因为它使得风险评估这一维度的质量随计算量提升，而不是依赖于构建更多评估所需的手动工作量。模型似乎也无法区分通过部署模拟获得的对话和真实的部署流量。

领域

传统评估

部署模拟

覆盖范围

更适合我们想要确保覆盖的低发生率但高严重性风险

更适合理解我们在部署流量中可能遇到的风险谱系

代表性/偏差

专注于评估针对性的过去或预测的风险，即使这些行为在部署中发生率极低

代表当前部署流量中高于特定发生率的风险

评估感知

除非评估是使用部署数据创建的，否则可能存在明显的测试线索（例如，使用合成数据）

类似部署的上下文似乎能显著减轻评估感知

工作量

自定义提示分布和设置需要显著更多的手动工作量

需要一次性基础设施成本，然后重用来自部署的前缀和已知不期望行为的评分器

传统评估与部署模拟之间的高级比较

我们如何测试部署模拟

How we tested Deployment Simulation

为了评估部署模拟，我们预先注册了对 GPT‑5.4 Thinking 的 20 种不期望行为在部署时发生频率的预测。我们还对 GPT‑5 系列其他 Thinking 模型的部署进行了回顾性研究。我们分析的模型行为涵盖了我们在系统卡中报告的不对齐和不允许内容类别（例如，模型关于工具撒谎，或输出不允许的色情内容）。虽然在这些结果中我们只追踪了 20 个类别的不期望模型行为，并且只寻找新的不对齐行为，但部署模拟是一种通用技术，可以应用于模拟任何部署时的模型属性。

我们利用的生产流量也来自 GPT‑5 系列的 Thinking 模型。在运行评估之前，我们自动移除了与账户相关的标识符和可识别信息。根据我们的隐私政策，我们只分析了允许将其数据用于模型改进的用户的 ChatGPT 流量。我们仅报告这些评估的汇总结果。总的来说，我们分析了从 2025 年 8 月到 2026 年 3 月期间，跨越 GPT‑5 Thinking 到 GPT‑5.4 部署的大约 130 万条去标识化对话。

我们主要通过三种方式评估部署模拟产生的部署前风险评估的质量：

• 分类法覆盖范围： 发布后的审计是否发现了我们初始不良行为分类法中缺失的任何重要不对齐行为？
• 方向准确性： 模拟是否正确预测了已知行为在部署中的发生率是增加还是减少？
• 比率校准： 我们的部署前估计是否接近我们后来在部署中观察到的比率？实现良好的比率校准需要的不仅仅是方向准确性，这使得它成为可能达到的最高质量标准。

我们还测量了模型在部署模拟期间能够识别自己处于评估中的程度，并测试了该方法对不同形式的部署流量以及具有挑战性的工具使用设置的鲁棒性。

部署模拟显著扩展了部署前风险评估

Deployment Simulation significantly expands pre-deployment risk assessment

在 GPT‑5 系列 Thinking 模型的部署中，部署模拟在确定实际风险率方面优于具有挑战性的提示基线，能够在发布前发现计算器黑客行为，并且对模型来说似乎与真实部署无法区分。

我们的预测概览。 关于 GPT‑5 系列 Thinking 模型部署的所有预测的可视化，请参见图 2。对 GPT‑5.4 Thinking 的预测是预先注册的，而其他预测是回顾性的。总体而言，我们的预测的中位数乘法误差为 1.5 倍（例如，如果不期望行为率为每 10 万次 10 次，这对应于估计每 10 万次 15 次或 6.67 次）。虽然我们方法的尾部误差可能大约大 10 倍，但我们预计通过进一步改进我们的模拟流程，这些误差可以显著减少，如下所述。

将部署模拟预测与基线进行比较。 对于部署前风险评估而言，需要正确估计的最重要类别是那些在模型部署后发生率发生巨大变化的类别（例如 >= 1.5 倍）。在这个子集上，部署模拟在预测某种不期望行为在模型部署后发生率是增加还是减少（图 3，左），以及估计其确切的部署时发生率（图 3，右）方面，都显著优于基线。我们使用两个主要基线：一个是我们目前用于系统卡和发布决策的“具有挑战性的提示”基线，以及一个使用先前部署的比率作为新模型估计的朴素基线。

图 3. 部署模拟在预测发生率变化方向（左）和确切生产比率（右）方面均优于静态评估。

我们流程中模拟误差的来源。 我们还研究了当前流程中误差的来源。具体来说，大的尾部误差使得该流程对于部署决策的可靠性降低：例如，当看到某种类型的不期望行为大幅增加时，如果已知该流程偶尔会出现大的误差，就会让人怀疑这是否是一个可靠的估计还是流程的产物。可能的误差主要有两个来源：

• 重采样环境保真度误差： 为了准确估计生产比率，我们的模拟流程需要尽可能真实。这在一定程度上是一个工程问题（使用与生产流量相同的流程从模型采样），在某种程度上也是一个有趣的挑战，因为工具需要对不断变化的外部资源进行读/写访问（例如，网络搜索或与本地文件交互）。我们可以通过比较实际部署及其模拟的预测（即，模拟已部署模型的部署）来隔离模拟保真度误差。
• 提示分布漂移误差： 部署模拟的一个主要担忧是，任何模型的部署都会导致输入的分布漂移，特别是如果用户适应了新的模型能力。我们通过比较使用近期提示与使用实际部署提示进行模拟时的估计来隔离提示分布误差。

如图 4 所示，我们发现我们流程中的大部分误差——尤其是尾部误差——目前是由于模拟保真度造成的。这是个好消息，因为我们预计提高模拟保真度通常比减少提示分布漂移更容易。我们还发现，使用来自先前部署的最新数据可以减少提示分布漂移误差。更多细节可以在研究论文中找到。

图 4：重采样环境保真度似乎是我们估计中最大的误差来源，尤其是对于最极端的误差。

自动化审计发现了这些部署中引入的唯一新不对齐问题。 在我们研究的部署窗口内，基于模拟部署的自动化审计流程本可以在发布前发现“计算器黑客行为”，这是我们在分析的 ChatGPT 流量中发现的唯一新颖的不对齐问题。计算器黑客行为是一种奖励黑客行为，涉及模型使用浏览器工具作为计算器，同时将该操作呈现为搜索。这并不意味着大规模审计会捕捉到每一个新的故障，但它说明了为什么真实的上下文很重要：它们可以引发更窄的评估集可能永远无法直接呈现的行为，即使这些行为在用于播种模拟的原始流量中并不存在。

减少评估感知

Reducing evaluation awareness

使用类似部署的上下文的另一个优势是，它们可以减少当模型识别出自己正在被测试时产生的扭曲。在先前的研究中，我们以及其他研究者⁠(在新窗口中打开)发现，模型通常能意识到自己何时被测试。例如，模型可能会在其思维链中推理自己被测试的内容、评估者可能喜欢什么，以及——如果它们行为不端——是否会被抓住。这给对齐评估带来了一个问题：如果一个模型仅仅因为它认为自己在被测试才表现良好，那么我们如何建立信心，确保它在知道自己已被部署后会安全地行为？

我们表明，与不基于真实部署数据的传统评估相比，部署模拟显著降低了模型表现出的评估感知水平。我们通过三种方式测量评估感知：要求模型对轨迹是来自生产环境还是评估进行分类，监控思维链中关于被评估对齐性的明确陈述，以及监控元游戏⁠(在新窗口中打开)：任何关于监督的推理。模拟部署流量在所有三个指标上都与真实部署流量非常匹配。例如，GPT‑5.2 将真实生产流量标记为类似评估的比例为 5.4%，将模拟流量标记为类似评估的比例为 5.1%，而传统评估（例如 SWE-Bench 或 MonorepoBench，主要由合成示例组成）几乎 100% 被分类为评估。

图 5. 评估感知比较：真实生产流量和模拟流量在评估检测、口头化对齐评估意识和元游戏方面显示出相似的比率，而传统评估数据集报告的比率要高得多。

用于智能体轨迹的工具模拟

Tool simulation for agentic trajectories

为了测试该方法是否可以扩展到标准聊天模式之外，我们还研究了模拟具有挑战性的智能体编码设置的部署。具体来说，我们使用来自 GPT‑5.4 的 12 万条内部员工智能体轨迹来模拟基于 GPT‑5.5 的编码代理的内部部署。这有两个目的：这表明部署模拟也可以用于内部部署的风险评估，并且它证明了即使在智能体设置中，通过仔细的工具模拟也可以实现高模拟保真度。

上面我们讨论了模拟保真度是我们当前流程中误差的主要来源之一。使部署模拟逼真的挑战之一是，它要求工具以逼真的方式行动，即使它们需要对不断变化的外部资源进行读/写访问（例如，网络搜索或与本地文件交互）。

这对于智能体部署等设置尤其具有挑战性：单个智能体轨迹可能依赖于数百次工具调用、仓库状态、网络响应或瞬时故障。这使得使用真实工具访问进行重采样既具有挑战性又可能很危险。鉴于此，我们不将工具调用应用于实时系统，而是使用另一个 LLM 来模拟它们。我们表明，为这个 LLM 提供额外的能力对于实现逼真度以及因此的估计质量至关重要。

我们为工具模拟器模型提供原始的最终轮次输出、对话发生时的仓库、工具调用/响应对数据库以及只读连接器。在一个判别器试图区分模拟输出和真实输出的测试中，逼真度从 11.6% 的胜率提高到 49.5%，接近 50% 的随机水平。

图 6：即使在工具密集型设置中，当通过增加能力来模拟工具调用时，也可以使重采样逼真度几乎与真实采样无法区分。

作为模拟保真度的额外证据，当使用 GPT‑5.4 模拟 GPT‑5.4 Codex thinking 流量时，不对齐率几乎在误差范围内。相比之下，在我们的部署前测试中，GPT‑5.5 在大多数类别中表现出更多的不对齐。

图 7：通过工具模拟，使用 GPT‑5.4 重采样的对话的行为率与实际 GPT‑5.4 生产流量非常相似——表明重采样环境保真度高。有关这些类别的更多背景信息，请参见 **GPT‑5.5 系统卡⁠(在新窗口中打开)。*

这些结果表明，当周围的工具环境以足够的保真度进行模拟时，部署模拟可以扩展到复杂的智能体设置。

WildChat 与外部审计

WildChat and external auditing

一个自然的问题是，外部审计员是否可以在不访问私有生产流量的情况下获得一些相同的好处。我们使用 10 万条 WildChat 对话作为前缀对此进行了测试。WildChat 的准确性低于最近的 OpenAI 生产数据，但仍然提供了信息：最近的生产数据的平均乘法误差低于 WildChat（1.75 倍对比 2.44 倍），而 WildChat 通常保持在生产比率的大约 3 倍以内，并以高于随机水平的比率识别出更好的模型。我们认为 WildChat 风格的评估是开发者运行的部署模拟的一个有前途的补充。关于这一点的更多结果，请参见此配套的 Alignment 博客文章⁠(在新窗口中打开)。

局限性

Limitations

部署模拟是对抗性评估、红队测试和定向尾部风险分析的补充，而非替代。某些不期望模型行为的检测依赖于思维链的可监控性：如果未来的模型推理不够清晰、省略关键步骤或学会掩盖意图，我们可能无法检测到这些形式的不期望行为。此外，由于生产数据是私有的，开发者目前比外部审计员拥有更强的获取代表性上下文的途径。更好的公共数据集可以缩小这一差距。

部署模拟对于在采样前缀中足够频繁出现的行为最为有用。在千万次对话中只发生一次的故障不太可能在百万次样本的运行中被发现，因此对抗性评估、红队测试和定向尾部风险分析仍然是必要的。我们目前专注于模拟单次助手回复，因为在初步实验中，我们发现模拟多轮对话对我们的估计没有有意义的改进。这可能是未来提高模拟保真度的一个重要领域。

该方法还依赖于前缀分布——即被重采样的对话组合。在重大的产品变更、新工具发布、世界事件或季节性变化之后，历史流量可能无法匹配用户与更强大模型交互的方式。完整论文中的分析表明，可以通过使用最新的可用数据来缓解这个问题。

结论

Conclusion

部署模拟是一种新的部署前风险评估方法，它帮助前沿实验室和评估者预测语言模型在现实世界中的行为方式，并在部署前了解它们带来的风险。它通过增加一个更接近生产环境的预测层来补充现有的安全评估、红队测试和定向分析，这可以改进对部署行为的估计，减少评估感知效应，并使部署前预测在发布后可核查。与传统评估一起使用，部署模拟可以帮助使模型风险评估更加现实、更加量化，并且对部署决策更有用。

• 2026

作者

Author

OpenAI

继续阅读

Keep reading

查看全部

更好的记忆，打造更有帮助的 ChatGPT梦想：更好的记忆，打造更有帮助的 ChatGPT

研究2026年6月4日

为 GPT-Rosalind 引入新功能

产品2026年6月3日

通过 Rosalind 生物防御加强社会韧性

产品2026年5月29日