介绍 GeneBench-Pro

Introducing GeneBench-Pro

2026年6月30日

研究·出版物

介绍 GeneBench-Pro

一个研究级基准测试，用于衡量 AI 智能体如何在计算生物学中处理模糊性并做出关键判断。

阅读论文

（在新窗口中打开）加载中…分享

科学数据很少附带使用说明。研究人员必须判断一个模式反映的是生物学现象还是噪声，数据能否支撑所提出的问题，以及每个结果应如何改变他们接下来的行动。AI 智能体执行复杂分析的能力日益增强，但真正的科学研究不仅依赖于回忆事实或遵循预设工作流程，还依赖于做出这些更高层次的判断。

今天，我们推出 GeneBench-Pro——一个具有挑战性的研究级基准测试，用于检验模型能否处理真实世界计算生物学所需的、高度依赖判断的分析。它扩展了 GeneBench⁠（在新窗口中打开），涵盖了基因组学、定量生物学和转化医学中更困难、更现实的任务，捕捉了计算生物学科学研究的复杂性、迭代性和模糊性。

迄今为止，很少有令人信服的评估能够衡量那些使真实世界计算研究变得困难的系统级判断能力。这些能力包括处理模糊性、修正假设、选择正确的分析路径，以及判断结果何时可以用于决策。由于这些技能难以形式化，因此也难以严格评估，即使这些方面的弱点正日益成为制约 AI 整体性能的瓶颈。

GeneBench-Pro 的设计也旨在避免常见的基准测试失败模式。许多长周期生物学基准测试围绕杂乱的历史数据集构建多步骤问题，其中可能不存在单一正确的分析路径。一个智能体可能选择一个合理的截断值，而另一个智能体可能选择不同但同样合理的选项，这反映的更多是基准测试创建者的任意选择，而非模型性能的根本差异。反之亦然：如果一个问题在数值上不够敏感，智能体可能在分析中犯下根本性错误，却仍能得出及格的结果。

为了避免这些失败模式，每个 GeneBench-Pro 问题都是合成构建的：我们了解完整的因果结构，并直接模拟数据生成过程。这使我们能够调整每个问题的复杂性，确保主观分析选择上的合理差异仍能产生可接受的数值结果，并通过消融研究验证看似合理但错误的分析会失败。然后，我们通过详细的轨迹分析来审计问题草稿，检查信息泄露和意外的解决方案路径。这让我们确信，得到正确答案取决于选择正确的分析路径，而不是利用捷径或匹配某个任意的作者偏好。

“即使当前模型还无法可靠地从头到尾运行独立分析，那些在 GeneBench-Pro 问题上表现良好的模型显然能够帮助研究人员确定正确的工作流程和探索数据。我认为这将极大地提高研究的进度、彻底性和可重复性。” Jennifer Grundman，加州大学洛杉矶分校人类遗传学博士生

1 / 2

“我审阅的问题对于研究生来说，如果没有经验丰富的导师反复反馈，完成起来会很有挑战性。数据中包含技术和质量控制问题，需要深思熟虑和反思性的数据分析，并意识到潜在的陷阱才能成功完成；这不仅仅是简单地将现成方法应用于干净、整理好的数据。” Alexander Strudwick Young，加州大学洛杉矶分校人类遗传学助理教授

“即使当前模型还无法可靠地从头到尾运行独立分析，那些在 GeneBench-Pro 问题上表现良好的模型显然能够帮助研究人员确定正确的工作流程和探索数据。我认为这将极大地提高研究的进度、彻底性和可重复性。” Jennifer Grundman，加州大学洛杉矶分校人类遗传学博士生

Alexander Strudwick Young，加州大学洛杉矶分校人类遗传学助理教授 Jennifer Grundman，加州大学洛杉矶分校人类遗传学博士生 Alexander Strudwick Young，加州大学洛杉矶分校人类遗传学助理教授 Jennifer Grundman，加州大学洛杉矶分校人类遗传学博士生

评估与评分

Evaluation and grading

每个 GeneBench-Pro 问题都是一个独立的科学分析。智能体可以访问一个隔离的工作空间，其中包含简短的提示、数据文件以及标准的生物信息学工具栈，包括 Python、科学计算库和基本的基因组学软件包（如 PLINK 2.0），尽管这些问题并不需要特定领域的工具。

结构变异指导的肿瘤治疗获益-风险决策

Structural variant-guided tumor therapy benefit-risk decision

一个分子肿瘤登记处包含符合试验条件的晚期实体瘤病例，这些病例正在考虑使用 TXR1 导向抑制剂。请估计，对于在时间零点具有 SV 驱动的 TXR1 靶点介导激活的肿瘤，TXR1i 相对于非 TXR1 全身治疗在第 16 周临床获益上的边际效应，假设所有患者都有可评估的第 16 周访视。同时，在同一目标人群中估计 TXR1i 下 8 周治疗限制性毒性/停药风险。报告净临床效用 = 获益风险差（百分点）- 0.35 * 毒性风险（百分点），如果 TXR1i 具有正净效用，则选择 therapy_class_code 为 1，否则为 0。所有非代码量使用百分点单位。正获益意味着 TXR1i 相对于非 TXR1 全身治疗改善了第 16 周临床获益。

这些数据来自真实实验；你的评分不仅基于数值正确性，还取决于你展示的分析推理质量；不要试图走任何捷径。

将你的最终答案作为一个 JSON 对象返回。 不要将 JSON 包裹在 markdown 中。 不要在 JSON 前后添加任何文字。 不要省略示例中显示的任何键。 在最终答案中返回 JSON 对象：

JSON

1{ 2 "answer": { 3 "therapy_class_code": <int>, 4 "benefit_rd_pp": <float>, 5 "toxicity_dropout_risk_pp": <float>, 6 "net_clinical_utility_pp": <float> 7 }, 8 "reasoning": "<description of method and QC>" 9}

因为我们控制着完整的数据生成过程，所以可以根据已知目标确定性地对正确性进行评分，避免了标准评分标准评估中存在的模型选择可变性和冗长效应。

每个问题还附带丰富的元数据，包括预期的分析结构、附加的数据文件、详细的多页案例研究以及专家评审结果。我们将在 Hugging Face⁠（在新窗口中打开）上完全开源 10 个具有代表性的 GeneBench-Pro 问题，并提供交互式网页界面供浏览。最后，我们将在不久的将来向 Artificial Analysis⁠（在新窗口中打开）提供一个包含 50 个问题的子集，用于独立的第三方基准测试。

结果

Results

我们最强的模型 GPT‑5.6 Sol 在最高推理水平下达到了 28.7% 的通过率（启用 Pro 模式后为 31.5%）。这比我们开始构建原始 GeneBench 时有了显著提升；当时，我们最好的前沿模型 GPT‑5 得分低于 5%。在这个基准测试上的进展表明，即使是在不太具体的系统级科学推理方面，前沿模型也在快速改进。按照目前的速度，这个基准测试可能在今年年底前达到饱和。

结果还显示了扩展测试时计算的影响。在最低推理水平下，GPT‑5.6 Sol 的通过率仅为个位数。在最高推理水平下，GPT‑5.6 Sol 解决的问题数量几乎是 GPT‑5.2 的六倍，而使用的 token 数量仅为后者的三分之二左右。

跨模型家族的比较表明，在定量不确定性下进行高级科学推理方面，GPT 模型是最强的系统之一。GPT‑5.6、GPT‑5.5 与领先的开源模型（如 GLM 5.2）之间的性能差距，远大于我们从编码基准测试⁠（在新窗口中打开）外推时的预期，这表明开源模型更专注于编码，而非更广泛的推理能力。

在开发过程中，我们使用前沿 GPT 模型来评估和强化问题。因此，我们怀疑 GeneBench-Pro 可能对 GPT 模型存在偏见，不利于其他模型家族。然而，竞争模型充其量只能与相应 GPT 模型在发布时的性能相匹配，并且往往差距很大。

考虑到 GeneBench-Pro 问题的难度，这些评估结果——GPT‑5.6 Sol（Pro）高达 31.5%——是惊人的。在一项调查中，我们的评审员估计，一个典型的 GeneBench-Pro 问题需要人类专家大约 20-40 小时才能完成。按保守的每小时 200 美元计算，单个问题的人力成本高达数千美元。当前的 AI 智能体仍然太不可靠，无法取代人类专家，但成本差距巨大，每个问题的推理成本仅为几美元。这意味着，即使在当前能力下，部分自动化也能创造可观的经济和科学价值。

“这些基准测试源于一系列不同的生物学问题，但……实际的挑战来自于探索性数据分析和基于这些发现的推理：识别模式和伪影，并决定数据是否应该被排除或调整。这类似于真实生物数据集的杂乱性质。审阅这些评估突显了清晰的求解器合约对于基于智能体的科学问题解决是多么重要。不同的提示措辞或任务规范会极大地影响哪些分析被认为是允许的。” Cyrillus Tan，纽约基因组中心博士后研究员

“我大体上喜欢这些问题。它们往往混合了：（1）所需的学科知识，例如古代 DNA 中的 C>T 偏差；（2）数据差异，例如祖先交换；（3）一种关于为工作选择正确分析工具以及如何实施它们的知识。似乎大多数智能体在（2）上失败了。它们对数据问题不够谨慎。也许这突显了当前模型的弱点。而且很多生物学数据都存在不规则性。” Lex Flagel，Gencove 数据科学总监

1 / 2

“这些基准测试源于一系列不同的生物学问题，但……实际的挑战来自于探索性数据分析和基于这些发现的推理：识别模式和伪影，并决定数据是否应该被排除或调整。这类似于真实生物数据集的杂乱性质。审阅这些评估突显了清晰的求解器合约对于基于智能体的科学问题解决是多么重要。不同的提示措辞或任务规范会极大地影响哪些分析被认为是允许的。” Cyrillus Tan，纽约基因组中心博士后研究员

“我大体上喜欢这些问题。它们往往混合了：（1）所需的学科知识，例如古代 DNA 中的 C>T 偏差；（2）数据差异，例如祖先交换；（3）一种关于为工作选择正确分析工具以及如何实施它们的知识。似乎大多数智能体在（2）上失败了。它们对数据问题不够谨慎。也许这突显了当前模型的弱点。而且很多生物学数据都存在不规则性。” Lex Flagel，Gencove 数据科学总监

Cyrillus Tan，纽约基因组中心博士后研究员 Lex Flagel，Gencove 数据科学总监 Cyrillus Tan，纽约基因组中心博士后研究员 Lex Flagel，Gencove 数据科学总监

尽管如此，前沿模型仍然只能解决不到三分之一的问题，这表明还有很大的改进空间。模型可以在具有挑战性的问题上取得部分进展，但它们难以闭合推理循环。这种失败模式反映了人类专家和新手之间的对比。专家利用他们的经验来构建问题框架并调整方法，而新手则进行观察，但难以将其整合到问题的更广泛背景中。

问题：具有时变治疗的药物基因组学时间-事件响应

Problem: Pharmacogenomic time-to-event response with time-varying treatment

治疗起始、基因型特异性反应、延迟药效学、既往使用者标志和纵向生物标志物共同决定了因果生存估计量。

GPT-5.5 模式

GPT-5.5 pattern

使用传统的 Cox 结果模型处理治疗时机，但未解决治疗-混杂因子反馈。**

**拟合一个计数过程 Cox 模型，将治疗作为时变暴露，仅在 treat_start+90 天后生效……模型包括 G、treatment×G、基线严重程度、年龄和性别。

GPT-5.6 Sol 模式

GPT-5.6 Sol pattern

使用更合适的因果推断方法，以正确解释治疗-混杂因子反馈。**

使用新用户边际结构 Cox 模型：排除了 818 名标记的既往使用者，使用基线协变量和当前生物标志物对治疗起始进行稳定逆概率加权建模，并将暴露视为具有 90 天疗效滞后的时变变量。

实现近乎完美的性能需要既能可靠衡量进展，又能识别模型仍然失败之处的评估。像 GeneBench-Pro 这样的基准测试有助于将模糊的能力缺陷转化为我们可以诊断和改进的问题。

如果智能体能够可靠地自动化这类分析，它们可能会显著加速科学发现。人类遗传学证据已经是靶点优先排序和转化跟进的核心，因为具有遗传支持的机制更有可能导致获批的治疗方法。

与此同时，测序成本已大幅下降，生物库规模的数据集现在以前所未有的广度将分子、表型和健康记录信息联系起来。限制因素正从数据生成转向将信息转化为可操作的见解。能够持续执行目前由人类专家团队处理的分析的模型，可以通过加速假设筛选、靶点跟进以及数据生成与决策之间的迭代周期，来变革工业研究。

GeneBench-Pro 代表了一项初步努力，旨在评估经验丰富的研究人员所具备的良好科学判断中涉及的更抽象技能。这些技能使他们能够凭直觉识别最有前景的初步分析，在数据与初始假设相矛盾时进行迭代和修正思考，并得出下游临床、学术或商业决策可能依赖的结论。

我们预计，随着模型能力的提升，那些在更高抽象层次上探测模型能力的基准测试将变得越来越有用，超越那些仅仅测试书本知识或执行常规分析能力的测试。

• 2026

作者

Author

OpenAI

继续阅读

Keep reading

查看全部

一种近乎自主的 AI 化学家改进了药物化学中的一个具有挑战性的反应

研究 · 2026年6月17日

介绍 LifeSciBench

研究 · 2026年6月17日

通过模拟部署在发布前预测模型行为

研究 · 2026年6月16日