Faros AI 的研究者于 11 月 11 日发布论文,提出一种不执行补丁也能评估编程 Agent 的方法。一个 Agent 先检查仓库在任务变更前的状态,再写出带权重的二元标准。另一个模型随后阅读问题、补丁和标准,计算看似满足了多少加权要求。论文使用 SWE-bench Verified 上来自 15 个系统的 7,291 个有标签补丁检验结果。核心发现是,在同时存在已解决和未解决提交的任务中,该分数可较好地排序。作者把它定位为测试或运行环境不可得时的补充测量。 基于代码库的评分量表论文
该方法针对一种常见成本。运行补丁可能需要恢复特定仓库版本、安装依赖、配置服务,再等待测试集完成。有些任务测试不完整,某些仓库的运行环境也很脆弱或昂贵。测试仍是判断已测输入上代码行为最直接的证据,但取得这份证据要花成本,而且测试覆盖并不等于任务的全部要求。静态量表提供另一个视角,它检查 diff 是否实现了所需行为、保留了相关代码并避免额外破坏。
这与“程序能不能正常工作”并非同一个问题,也是论文的核心。补丁可能满足文本要求,运行时仍失败。测试也可能因为问题没有说明的实现选择而拒绝另一种可行做法。静态量表可给出分级、可拆解的判断,却不声称替代测试。关键是它究竟能告诉我们多少,以及哪些证据仍在评分范围之外。
怎样生成与仓库相关的标准#
对每项任务,第一个 Agent 会看到问题描述以及变更前的仓库。它探索代码,并写出一组自然语言标准,每项带有重要程度权重和二元结果。标准分成四类:文件变更、任务规格对齐、周边代码完整性,以及可从 diff 推断的运行行为。文件变更项关注范围与局部性,规格项描述请求的行为,完整性项关注削弱测试或无关依赖等附带变化。
标准生成器在看到候选补丁或参考解法内容之前工作。它只获得参考补丁的改动行数,论文用此数粗略估计量表大小。作者选了一个有上限的软规则。在 500 个 SWE-bench Verified 任务中,量表标准项中位数为 10,范围 8 到 24 项。参考补丁通常越大,生成的标准也越多。 标准生成与验证方法
标准写好后,裁判模型接收问题描述、候选 diff 和标准文本。它无法访问仓库或使用工具。它逐项判断补丁是否满足要求,最后计算满足项的加权比例。例如某项可以要求改动处理一种特定输入、更新相应调用点或避免削弱测试。每项旨在描述一个属性,不限定某一种实现方式。
仓库上下文使它区别于只阅读问题和 diff 的模型裁判。最初的代码探索能找到局部契约、相关类型、调用点以及邻近功能的做法。第二阶段评分模型无法直接查看这些事实,所以生成的标准相当于压缩后的任务背景。作者希望标准独立于参考补丁。两份代码看起来不同的补丁,只要都解决了任务,就应该能够满足相同要求。
这个评分工具有两个随机阶段。仓库 Agent 决定取哪些要求作为标准,裁判再判断 diff 是否满足。于是至少会出现两种错误。量表可能漏掉真实要求,也可能加入实际不强制的条件。裁判也可能误解标准或 diff。裁判稳定不代表标准完整,标准全面也不代表每个裁定都正确。最终分数把两个阶段都混在一起。
分数不是完成百分比#
作者把目标量定义为:补丁对任务和仓库中全部可见且可判断的要求,按权重计算后的满足比例。研究没有由人列出这一完整集合。生成量表是对其抽样。因此,0.8 分表示工具估计补丁满足了该任务中抽样标准的 80% 加权要求。它不是通过测试的概率,也不是工作完成度达到 80% 的说法。
同一量表评分的补丁之间可以比较分数。独立生成的量表可能抽到不同要求,即使任务规模相似也如此。论文因而用同任务内排名比较已解决和未解决提交,而不假设一个问题的 0.8 与另一个问题的 0.8 含义相同。如果组织要建跨任务仪表板,分数可以在共用任务量表下比较模型,但绝对值不是通用补丁质量单位。
量表分数与测试结果的关系是双向的。补丁可能通过指定测试,却漏掉测试没覆盖的要求。也可能满足问题中写明的大部分要求,却因测试强制一种问题没有提到的实现细节而失败。作者列举了公共测试拒绝有效替代实现的案例,例如测试要求未写在问题中的辅助函数名或精确返回字符串。通过/失败标签测量指定输入上的行为,量表估计问题文字和 diff 可见要求的满足程度。两者覆盖同一要求时方向可能一致,但证据不同。
参考补丁相似度也有局限。它不需运行代码,却会奖励和某种实现相似的写法。有效补丁也可能采用另一个文件或算法。量表尝试对独立于参考路径的要求评分。实践中,作者仍发现更像参考实现的补丁平均得分更高,尤其在文件变更维度。该设计降低了过度规定的程度,但没有完全消除。 分数解释与参考相似度分析
如果行为必须通过执行才能判断,diff 裁判就无法测量。补丁可能导致导入错误、死锁、性能退步,或与未展示的调用方不兼容,却得到高静态分数。反过来,裁判可能漏掉文本中能看出的缺陷。评分范围被刻意限定在无需测试、运行仓库或读取运行轨迹即可判断的属性。不能把量表判分的一致性与可执行验证混淆。
在 SWE-bench Verified 上验证#
作者使用 SWE-bench Verified 评估量表。这套基准包含 12 个 Python 仓库中的 500 个任务。研究采用来自 15 个系统的公开补丁及其已公布测试判定。排除空缺后共有 7,299 个带标签补丁,其中 3,688 个标记为解决任务。任务内排序要求同一任务至少有一个已解决提交和一个未解决提交。这样的争议任务有 400 个。全部提交都成功或都失败的题目不能说明分数能否区分两类。
400 个任务的平均每任务 AUROC 为 0.826。AUROC 在这里表示从同一任务中各随机取一份已解决和未解决补丁,前者分数更高的概率,平分计半。按任务自助抽样的 95% 区间为 0.805 到 0.847。在提示策略优化未见过的 415 个任务上,均值为 0.838。该统计说明工具通常能在任务内把测试解决者排在失败者之前。它不校准分数差距,也不适用于只有一种标签的题目。 SWE-bench Verified 结果
论文还检验量表能否为系统失败提供额外信息。测试通过/失败把所有失败补丁放在同一类,不管它只差一项测试,还是违反多项要求。按失败补丁平均量表分数对系统排序后,排名与按解决率的排名高度一致。15 个系统的 Spearman 秩相关为 0.968,区间 0.928 到 0.971。只在同一任务内比较失败补丁时,相关仍为 0.950。
这个模式说明,量表分数可能揭示二元失败标签遮住的部分进展。在未解决补丁中,能通过部分目标测试的提交通常比一项测试都没过的提交得分高。通过目标测试却带来回归的补丁也能归入另一类。逐条标准提供了分级结果,让团队研究 Agent 常在哪些方面掉链,而不用每个候选都单独得到完整执行报告。
排序结果有边界。该样本里系统排名高度相关,不证明任意两份失败补丁都能被正确排序。它也未验证分数是否符合人工判断中“哪份补丁更接近完成”的含义。作者把证据界定为一个基准总体上与测试结果的方向一致。独立人工排序和新收集任务会提供另一条验证证据。
可重复性取决于量表版本#
研究用同一量表对选定补丁重复评分五次,测量裁判的可重复性。在来自 100 个任务的 400 份补丁上,运行间分数相关均值为 0.985,单补丁内标准差均值 0.020。任务内 Kendall 排序一致度均值为 0.960。这表明固定量表和固定裁判配置重复使用时通常给出接近分数。
重新生成量表带来更多波动。对相同 100 个任务中的 1,451 份有标签提交,重新生成量表后,同一补丁的分数平均相差约 0.11。不同量表之间的任务分数标准差,大约是固定量表重复裁判差异的四倍。总体区分能力变化较小,但单补丁得分会随标准抽样而变。因此,比较不同量表版本得到的补丁分数,也比较了要求选择的差异。
裁判配置本身也会影响结果。中等推理强度下的可重复性低于论文报告的生产设置。单补丁波动更大,400 个样例中有 107 个补丁在不同强度下的五次均值相差超过 0.10。这支持将裁判模型和推理设置视作测量仪器的一部分。但它并没有证明哪种设置更准确。可复现分数需要版本化记录量表生成器、策略、裁判模型、提示和运行设置,而不是只记最后数字。
生成的标准不会穷尽维护者可能提出的全部要求,它只是从一个范围更大的隐含集合中抽样。生成器可能漏掉真实条件,也可能加入实际不强制的限制。反复使用同一量表获得稳定分数,只能说明裁判判断可重复,不能说明标准列表完整。重新生成量表可以显出对标准选择的敏感性,但它仍不能告诉评估者应该补入什么要求,除非有独立的任务要求来源。
正确的参考补丁也不总能得 1.0。其平均分为 0.814,中位数 0.880。500 份参考补丁中,59 份满足所有生成标准,47 份低于 0.5。参考补丁是一种正确解法,不一定满足每项推断要求。低分可能来自过度限定的标准、参考实现本身不足或裁判错误。分数分布无法独立区分这些解释。
分歧可能来自测试,也可能来自量表#
论文分析测试与量表不一致的原因。部分测试编码了问题未陈述的实现选择或额外功能。候选方案可能满足题目,却因测试指定某个辅助函数名或固定返回值而失败。测试错配不等于补丁无效。论文引用的 OpenAI 审查在一组专门挑选的困难 SWE-bench Verified 任务中发现,59.4% 的任务说明或测试存在重要缺陷。这个比例只描述该困难子集,不能外推到整个基准。 OpenAI 对 SWE-bench Verified 测试的审查
一个案例能把问题说明白。任务报告年份越界时程序崩溃,补丁在现有异常处理器中捕获错误,并返回其他格式错误输入常用的回退字符串。参考补丁则返回一个特定字符串,测试也坚持该字面值,但任务描述没提到它。15 份公开补丁中有 13 份以更普遍的方式加入异常处理,其中 9 份只改 widgets.py,量表都给满分。此处测试和量表回答的问题略有差别。这不证明量表总是正确,却说明分歧必须对照任务本身和实际测试行为解读。
执行也能发现 diff 裁判会漏掉的缺陷。一个案例里,高分补丁因为缺失符号而无法导入。另一个问题需外部运行条件才能暴露。仅看文本不能证明补丁能构建、启动服务,或在整个仓库保留行为。作者明确把构建和运行正确性标为未评估。
量表生成和评分也会出错。标准可能误把参考补丁使用的文件或方法当成必需条件,尽管另一种实现同样有效。裁判可能混淆相似符号,或看不出改动同未修改代码的交互。在案例分析中,作者检查了测试错配和量表错误的情形。这些例子证明机制存在,但没有估计它们在所有提交中的频率。
污染风险同样存在。生成器和裁判在训练中可能见过公开 SWE-bench 问题或参考补丁。论文将与参考实现写法不同的补丁单独比较,仍测得区分能力,不过整体分数继续偏向参考风格。这些检查降低了一种解释的可能性,却不能证明模型记忆从未介入。在新建或私有任务上评测,能更有力地说明公开基准之外的迁移能力。
方法可能适用于哪里#
当团队要在自身代码库比较编程 Agent,却无法为每个任务建立稳定运行环境时,仓库量表或许有用。团队可选择历史问题,还原修复前代码,生成量表,再为候选 diff 评分。标准也能显示不足集中在需求对齐、运行行为、文件范围还是代码完整性。它尤其适合需要部分分数的评估,比单一通过/失败信号多出诊断信息。
论文按 2026 年 9 月公开价格估算,每个任务的量表生成中位成本约 0.25 美元,单个候选的裁判调用约半美分。这些数字取决于作者所用提示、模型、缓存方式和补丁长度。更换模型、更长的 diff 或另一代码库都会改变成本。每个任务的仓库探索仍需要先期花费。任务量表生成后,用更低的候选评分边际成本比较新模型或框架。
验证数据也决定了解读和费用范围。样本包含 12 个 Python 仓库的 500 个问题,以及 15 个公开系统提交的补丁。若某项任务只有已解决或只有未解决提交,就无法参与同题排序统计,所以实际依赖 400 项有争议问题。较小仓库的可比较样本更少,仓库级估计应作描述。该样本适合检验同题多份补丁的排序,但比跨语言、跨工作类型的新建私有评测窄得多。
同一种生成方法也可以在编码之前整理验收标准,成为计划阶段的完成定义。不过当前量表长度规则依赖参考补丁改动行数。还没有解法的前瞻性任务不存在这个数字,因此必须另设一种不依赖解法的长度规则。论文把这列为可能用途,而不是已验证结果。
逐项评分也可能辅助团队按任务类别选模型。如果一款低成本模型在小型修复上和前沿模型得分相似,它可成为该任务族的候选方案。这个用途要求使用可比量表、稳定评判和有代表性的任务。不同生成量表的绝对分数不能直接比较。经过实测的用法是同一任务量表下的补丁排序。
证据覆盖到哪里#
论文介绍了一种免执行评测工具。它根据问题、改动前仓库和候选 diff,估计仓库相关要求的加权满足程度。在 SWE-bench Verified 中,该分数通常能在有争议任务内把已解决补丁排在未解决者之前。按失败补丁分数排出的系统次序,也与解决率高度相关。逐条标准提供了二元测试标签以外的信息。
该研究没有校准分数的绝对值,也没有独立验证要求是否完整。它没有证明高分补丁能够构建、运行,或在 diff 以外的情形下正确工作。研究覆盖 Python 仓库、一个基准、一种量表生成配置和一种裁判配置。重新生成量表造成的分数变化大于重复判断固定量表。这些边界对解释结果至关重要。
方法的机会在于给二元测试和整体式模型裁判之间加入一个中间层。仓库探索提供局部背景,静态读取补丁可以低成本批量评分。加权项目让人看到哪些抽样要求看似满足。若同测试结果并列,用来分析部分进展,其解释最站得住脚。还可执行时,测试仍直接提供其输入范围内的行为证据。无法执行时,量表可给出结构化估计,同时明确其误差和覆盖边界。