Nate Schmidt 在 Cursor 的工作，是评估前沿模型（frontier models）处理长期、真实工程问题的能力。以下将说明 Claude Fable 5 为何以及如何改变了人们对编码智能体（coding agents）能力的认知。
Cursor 是一款用于构建专业软件的 AI 编码智能体。它支持所有主流前沿模型以及 Cursor 自研模型，这使得该公司成为评判各模型实际表现的中立裁判。
Nate Schmidt 正是维护这份评分卡的工程师。他在 Cursor 负责评估与模型行为研究：研究模型如何成功、如何失败，以及是什么原因让开发者默默地在任务中途切换模型。当同事和客户想了解新版本的表现时，都会来找他。
随着时间的推移，Schmidt 的团队注意到，公开基准测试（benchmark）分数与开发者对这些模型的真实接受度已不再吻合，于是他们构建了自己的评估体系：CursorBench。
CursorBench 旨在捕捉工程师实际使用模型时那种混乱、定义不明确的方式。其中一个评估任务只是粘贴一段堆栈跟踪（stack trace），附带一个词“修复”，模型必须自行推断意图、找到根本原因并验证修改。另一个任务则告诉模型错误的模块出了问题，以此观察它是质疑用户的假设，还是盲目跟随走向死胡同。
当 Claude Fable 5 运行该评估时，在最大努力（Max effort）模式下达到了 72.9% 的得分，创下新高，也展现了智能体编码工具在搭配合适模型时所能达到的能力。
但真正让 Schmidt 印象深刻的，是他在自己的工程工作流和个人测试中使用该模型时，不再需要重复说明目标。那种持续的“保姆式”监督——提醒模型上下文、详细说明解决方案、审计结果——已经不再必要。他可以交出一个问题，无论是他一直拖延的棘手重构，还是对微妙边界情况（edge cases）的推理，Claude Fable 5 都能解决。
“我不再觉得需要引导 Claude Fable 5 去理解我所处的世界以及我想要解决的问题，”Schmidt 说，“这个模型开箱即用，就自带一种理解力。”
对整个任务进行推理
Reasoning about the entire mission
当 Schmidt 的团队通过 CursorBench 运行一个新模型时，得出正确答案只是基本要求。他们真正评分的是模型是否理解了被问及的问题。
“许多评估看起来是这样的：这里有一个定义明确的问题，这些是约束条件，去修复它。但真实用户的提示词（prompts）根本不是那样，”Schmidt 说，“模型必须推断用户遇到了问题以及他们想表达什么，找出根本原因，修复它，验证修复，然后汇报结果。”
Claude Fable 5 在这些模糊任务上得分如此之高，以至于 Cursor 团队开始感到怀疑。
“要么是模型非常聪明，要么是模型在作弊，”他说。于是团队查看了推理轨迹（traces），阅读模型在最困难任务上的实际推理过程——那些提示词看似简单，但破解它需要理解整个系统的任务。
“我们不断看到模型挖掘出其他模型之前从未取得的胜利，”他说。而且它完成任务所需的操作也更少：相对于完成的工作量，其令牌（token）效率更高。
随后，Schmidt 将 Claude Fable 5 投入了他最喜欢的个人测试之一：登陆月球。
几周前，他曾将 Claude Opus 接入一个可编程的太空飞行模拟器，只给了一行提示词——建造一枚火箭并登陆月球——然后让它在一个副屏幕上运行了十二到十六个小时。模型会发射火箭，在轨道上耗尽燃料，然后添加更多燃料，结果因为火箭太重而无法脱离大气层。
他用同样的空白提示词重新进行了实验，这次使用的是 Claude Fable 5。几分钟后，火箭升空，停泊在近地轨道，然后返回。和之前一样失败了。然后 Schmidt 阅读了对话记录。
“Fable 决定不在第一次尝试时就登月。它想先执行一次初始任务，只进入轨道并收集遥测数据，然后用这些数据来指导下一次飞行。”几次尝试之后，他副屏幕上的引擎噪音停止了。月球上出现了一个着陆器。整个过程只花了几个小时，而 Opus 花了十二个多小时却毫无结果。
“使用 Opus 时，它进行的是局部推理（local reasoning）——思考刚刚发生了什么以及即将发生什么，”Schmidt 说，“而使用 Fable 时，它进行的是全局推理（global reasoning）。它在思考整个任务。”
何时追求全局最优
When to reach for the global optimum
Schmidt 已经总结出一条简单的规则，用于判断何时使用 Claude Fable 5 而非更便宜、智能程度较低的模型。
“如果你很清楚从 A 到 B 的路径是什么样的，你可能不需要 Fable。如果你在 A 点，完全不知道 B 点在哪里，那么 Fable 就是一个绝佳选择，”他说，“当我想以正确的方式构建某样东西时，Fable 是我首先想到的模型。”
Claude Fable 5 还让他的团队能够专注于之前搁置的项目——那些大家都同意会更好、但没人愿意花几周时间去做的重写工作——因为模型能够承担足够多的框架工作。“它降低了从事这类任务的激活能（activation energy），”Schmidt 说，“它让我们能够朝着全局最优（global optimum）而非局部最优（local optimum）前进。”
这也改变了团队的协作方式。Cursor 团队精简，强调个人高度负责，很少开站会。现在，在接触共享代码之前，Schmidt 会让一个智能体读取他队友最近的提交记录并标记冲突，这样他们俩都不必停下手中的工作去检查。
为了平衡成本与性能，他的团队将 Claude Fable 5 与更快、更轻量的模型配对用于日常工作，而在能力成为瓶颈的问题上则引入 Fable。他说，在这种配置下，这个组合是他们运行过的最有效的设置。
“如果我遇到一个真正棘手的问题——那 1% 的最难问题——我试图优化的就是解决时间（time to solution），”他说，“而且我认为 Fable 是解决我们最困难问题的最佳模型。”
下一步计划
What's next
尽管已经让模型在 CursorBench 上经历了考验，并把它送上了月球，Schmidt 仍在寻找 Claude Fable 5 的极限。接下来，他想看看模型能在无人值守的情况下管理后端系统多长时间；持续数天到数周的运行是他的下一个实验。在 Cursor 内部，团队正在使用该模型主动寻找性能瓶颈和用户痛点，而不是等待报告，并构建更复杂、更接近真实环境的评估环境，以衡量未来出现的任何新模型。
“有一类问题，人们之前甚至都没想过，因为它们看起来遥不可及，”他说，“有了 Fable，我很兴奋能去攻克它们。”
开始使用Claude Fable。
未找到项目。0/5电子书
常见问题解答