评估语言模型首先要决定抽样方式。研究者手上可能有数百项任务,模型在同一题上有时成功、有时失败。每次输出都消耗时间或资金。有限预算既可以覆盖更多题型,也可以在较小题组上重复运行,以测量波动。单点均值本身掩盖不了这种取舍带来的不确定性。一篇在 11 月 18 日修订的论文提出分配固定预算的方法,并用重复结果缩窄置信区间,同时保留统计保证。它研究的是评估设计,证据范围也很具体,并非新的模型质量排行榜。 固定预算的 LLM 评估论文
这个方法从常见局面出发。假设有一套包含 880 道题的编程测试,每道题计划运行五次,总共会得到 4,400 个结果。预算只够看其中 1,100 个,于是需要决定哪些结果进入样本。一种直接方法是在所有题目与运行组合中均匀抽取 1,100 次。论文讨论的框架先让每道题都运行一次,再把剩余 220 次分配给随机抽取的一部分题目。如果同题重复结果一致,这些抽样审计就能提供未观测运行的变异信息,并帮助衡量完整计划分数的不确定性。
模型分数旁边还有精度问题#
评估估算的是一组具体任务、运行次数和设置下的目标量。作者把预先指定的集合称为固定队列。它可以包括某个模型版本、提示词、解码参数、基准题目和每题尝试次数。编程例子要估算的是 4,400 个预定题目—运行结果的平均通过率。先把目标说清楚,置信区间才有意义。
研究者往往关注平均分。如果模型通过样题的 72%,这个数字看起来很容易同另一个版本比较。当产品决策靠近阈值时,一两个百分点就可能影响结论。团队可能要判断模型是否满足发布条件、是否值得进入下一轮测试,或表面改进是否足以覆盖成本。区间描述估计值附近的不确定程度,也显示合理的可能值是否落在决策线的两边。
在置信水平相同的情况下,区间更窄有助于解决更多比较。这个说法包含两项约束。区间必须保留原先的覆盖保证,评估还得消耗同样多的预算。降低置信水平可以缩窄区间,但会改变承诺。增加运行次数也会缩窄区间,但会加钱。论文的问题是,怎样更有效地使用现有输出,同时保留两项条件。
对于随机模型和 Agent,尤其要同时看两个轴。一个是跨任务抽样,以了解能力范围。另一个是同题重复,以了解结果波动。预算全部用于其中一轴,另一轴的不确定性便留在原处。两类不确定性的比例取决于任务集,也取决于重复模式。
目标量同样需要明确评分规则。论文研究二元情形,每次运行最终以成功或失败之一结束。对 Agent 基准来说,一轮可能包含一串模型回复或工具操作。理论保证采用输出或 episode 作为成本单位,抽中的一次运行按其最长路径预留预算。这样可以声明硬上限。它不直接测 API token、耗时或美元金额,因为回复长度和基础设施会改变这些成本。
固定队列给比较提供稳定框架,但它不代表纳入了所有可能任务或未来样本。分数描述的是定义该队列的计划任务、模型快照和生成设置。如果产品团队在评测中途改提示词,测量条件也改变了。针对原队列计算的置信区间不会自动考虑这种变化。团队可以用新设置重新设计评估并声明新的队列。这种做法能帮助区分模型改进、题目调整、尝试次数变化和运行框架升级造成的影响。区间之所以有用,是因为它测量的问题已经写清楚。
重复运行能揭示同一题内的变化#
每题只看一次结果,可以在每题等权时估计均值,却几乎不能直接说明同一题的其他计划运行会不会变化。若一次抽样通过,评估者无法从这一个结果推断后面四次也会通过。置信区间必须考虑未观测结果的可能性,包括同题波动较大的固定队列。
即使抽样均值碰巧等于所有计划结果的均值,估计与精度仍是两个问题。样本可以碰巧命中目标,但尚未抽样的结果仍可能带来较大不确定性。置信区间要对保证所覆盖的每一种固定队列成立,不能只在重复结果都一致的特例里有效。
重复运行充当审计。同题抽到两个结果后,框架会统计它们是否一致。若分歧较少,说明题内波动可能较小。若有分歧,评估者就知道多运行一次可能改变该题结果。方法用这些观察约束尚未看见的波动,继而压缩区间。单独一次通过并不提供这种比较。它既可能是典型结果,也可能是一次格外顺利的抽样。重复运行能让评估者了解计划尝试间的变化,即使完整结果尚不可见。
框架不假设每题结果来自何种概率模型,而是在固定队列内随机选择要观察的计划运行,并针对所有可能结果集合构造有覆盖保证的区间。当评估者无法给模型重复表现设置可信的强假设时,这种设计有吸引力。相应保证也依赖抽样机制和已声明的有限总体。
利用分歧信息的区间在稳定任务上具有直观表现。同题抽到的运行一致,说明观察结果符合较低的题内方差。两次结果不一致,则表明再次尝试可能改变任务结论。计算把这项观察转换成对未观测运行的上界,同时保留未被抽到的结果空间。单次成功结果本身不能提供这个对照。它可能是常态,也可能是特别顺利的一次抽样。重复让评估者了解计划结果分布,即使全部结果仍未出现。
要求覆盖每道题时,建议的分配方式先从每题随机抽取一次,再对随机选出的一部分题抽取第二次。抽样在看见结果之前完成。这个细节很重要,因为根据先前成败挑选重复题目可能带来偏差。随机选择使纳入过程可审计。论文的理论也讨论更自适应的策略,并证明即使后续选择能依赖此前结果,抽样方法仍受一些边界约束。
置信覆盖具有精确含义#
95% 置信区间是一种计算程序。在相同固定结果集合上重复随机抽样,它至少有 95% 的机会覆盖目标值。这不表示观察到区间后,某个固定分数有 95% 概率落入其中。概率陈述针对的是抽样过程。区间即使会根据观察结果改变宽度,也必须保留约定的覆盖率。 论文完整版本
论文把满足这一覆盖条件、适用于所有固定队列的区间称为“诚实区间”。这个保证要求很高。它涵盖同题结果有差异、题间结果不同以及观察值可能相关的情况。因此,方法不能只根据一次幸运样本推断不确定性很低,还得限制未观测数据仍可能造成的变化。
如果运行在首次明确成功或失败后就可停止,提前停止有机会节省成本。硬预算也必须处理一种困难情况,即决定性事件都发生在每次运行的最后。这时未完成路径不透露最终结果,评估者只能负担有限数量的完整路径。论文为此情形证明平均平方估计误差下界。这帮助区分实际便利的策略和适用于所有固定队列的保证。
当每题计划运行结果都一致时,作者证明了完整覆盖和允许跳题两种设计下区间宽度的最优收缩速率。完整覆盖下,宽度同时受任务数和额外重复运行数影响。若评估者能略过部分任务,可把省下的首次观察用于其他题的更多重复,但区间还要考虑被略过题目的不确定性。两类不确定性同时存在,最优速率因此不同。
这些速率描述的是最坏情况下的理论条件,不保证任何新模型评测都能缩窄固定比例。如果同题结果经常分歧,重复信息说明题内波动明显。如果结果一致,框架能按其保证和抽样设计缩小误差界。实际收益取决于任务数、计划尝试次数、预算、观察到的分歧与覆盖要求。
全题覆盖与重复审计要权衡#
要求完整覆盖时,每道任务至少获得一个结果。当每道基准题都影响发布决定,或团队需要完整任务画像时,这很有用。重复运行会用掉本可覆盖其他尝试的输出。论文的全覆盖设计对每题均匀抽一次,再从随机子集中抽取第二次。它先对同一任务的结果取平均,再让各题等权进入总分。
若完整覆盖不是必须,评估者可随机略过一部分题,并把省下的输出用于更多重复运行。此时区间不仅要纳入已抽题目上未见运行的不确定性,还要考虑从未抽样的题目。跳过问题并不会免费增加精度。目标仍是原始任务集的均值,未观察题目依旧属于不确定性计算范围。
论文为两种设计分别推导下界。作者展示硬预算保证对每位评估者的约束,包括依据先前结果决定下一轮样本的自适应策略。一个极端队列让每次运行的决定性事件都落在末尾,部分运行便几乎不给信息。隐藏的同题分歧能让两种潜在的固定队列都符合已观察结果,但它们的总分不同。诚实区间必须同时覆盖两者,抽样预算由此受到限制。
实用区间在实验中叫作 Joint。它利用同题重复对中的分歧数量约束分数误差,再结合观察到的均值。它也会与已看到标签所能限定的逻辑可行分数范围求交。这不需要额外输出。论文把 Joint 同固定均匀基线比较,后者从完整任务—运行网格中抽取配对,并按精确计数分布计算区间。
是否允许跳题取决于评估的用途。广泛能力报告可能要求每一类任务都出现。内部部署决策或许只需一个代表性子集,并把更多预算用于重复。团队应先写明目标总体、任务权重,以及是否允许省略题目。没有这个定义,即便区间更窄,回答的问题也可能已偏离组织原本想评估的对象。
LiveCodeBench 回放在固定预算下得到结果#
实证比较使用 LiveCodeBench 的既有记录。对于 16 组模型配置,作者取 880 道编程题各自最早的五条通过或失败结果,每组共形成 4,400 项计划输出。在 95% 置信水平下,论文比较的预算是 1,100 次输出。全覆盖设计先给每题随机抽一次,再给随机选出的 220 题抽第二次。
输出数量相同的情况下,Joint 在 16 组配置中的 15 组平均区间比均匀随机采样更窄,中位宽度缩减 30.6%。结果只适用于回放配置、既有结果和所述抽样协议。它展示重复信息在该情形下的用途,并不能保证每套基准、模型系列或评估计划都获得相同缩减。 LiveCodeBench 回放细节
实验预算的单位是输出。LiveCodeBench 编程题采用有限的通过/失败结果。真实模型运行还会有不等的 token、工具费用和时间。若评测服务对每次尝试统一收费,输出次数更接近实际成本。若不同任务长短差距很大,使用团队需要另一套方式,把不同长度路径纳入硬成本上限,或独立分析可变运行费用。
使用既有记录很实用,也较透明,但这会带来一个条件。1,100 次输出从每题已记录的五次结果网格中抽出。回放能比较不同采样策略在这个固定队列上的表现,却没有生成未来模型行为的新样本。新模型快照、提示词、任务集和运行设置不同,同题分歧格局也可能变,区间宽度便会变化。
论文还对同题一致性受控变化和较长的执行路径做实验。这些试验有助于说明何时重复信息更有价值,以及输出预算如何影响执行长度。实证结论依然锚定于所定义的任务、记录结果和模型配置。读者可以用理论理解设计,再把每次实际应用当作独立测量问题。
硬预算控制与管理期望费用是两回事。看到一个成功结果就停下的流程,有时能在平均用量相同的情况下完成更多容易题目。严格上限必须在最耗费资源的结果组合下也成立。因此,论文为每个抽中的运行预留能够达到最长路径的预算。即使有些运行提前结束,保证仍针对输出或 episode 总量上限。使用 API 的团队可以另算实际成本,计入回复长度、重试和工具调用。知道这些变量如何对应每次运行后,再把它们加到抽样方案中。
这个框架改变了评测方案的含义#
对于含随机重复尝试的基准,评估方案应先写明固定队列。内容包括模型版本、任务列表、提示词、生成设置、尝试数量和成功规则。队列定义了需要估算的目标值。抽样方法随后从中选择观察项。最终区间描述这个计划平均分的不确定性,不能自动解释为所有未来提示词与工作负载的表现。
对于接近门槛的决定,这一点尤其有用。假设模型在发布测试中的通过率从 79% 升到 81%,而门槛恰好是 80%。均值本身没有说明这一变化有多少受抽题和抽运行影响。窄区间若完全落在门槛一侧,可能支持明确决定。宽区间则可能意味着需要更多测试。该框架让评估者依据观察到的同题一致性,在输出数固定时重新分配样本,以改进区间估计。
团队也可以用重复运行诊断套件。高分歧任务可能有更强随机性,对提示词敏感,或容易受到执行环境影响。重复结果能显示这种波动。一致结果提供另一类信息。框架本身不能识别分歧来源。理解它是模型推理、工具偶发故障、数据非确定性还是评分器不稳定,还需要日志、提示检查和失败分析。
是否跳题还关联另一项产品决策。公开的广泛报告可能要求每类都覆盖。内部部署则可能优先考虑少数反映客户任务的题,同时仍估算预先定义的加权总分。若权重并非任务等权,抽样设计也要考虑权重。论文把目标说清楚,团队由此能看出自己的权重方案何时需要调整区间计算。
覆盖保证也依赖选用的抽样规则。Audit、Joint、固定均匀抽样和自适应策略各有不同性质。团队不应把经验结果中的 30.6% 直接套到自己的套件上。更稳妥的做法是实施一种抽样设计,声明目标和置信水平,并验证区间计算。论文为所研究方法提供理论,并说明回放试验条件。
结果能说明什么#
这篇论文为硬输出预算下的二元重复结果评估提供采样框架。它利用同题分歧构造诚实置信区间,证明全覆盖与允许跳题两种设计下的收缩率,并在 LiveCodeBench 的历史结果网格上检验方法。同名义输出预算下,测试中的大多数配置都得到更窄区间,中位宽度缩减为 30.6%。
结果讨论的是评估精度。模型平均得分与它的不确定性相关,但回答的是不同问题。重复运行可以揭示单次尝试看不见的变化。框架形式化了这些观察如何帮助改善区间,同时对预先指定的运行总体保留覆盖保证。
最主要的边界是成本解释。二元编程测试容易复现实测的输出次数上限。不同工作负载中的美元、token 或墙钟时间则不一定等价。另一边界是外部有效性。16 组配置和历史五次尝试网格为这项回放提供证据,未来模型快照和基准表现可能不同。团队可以借鉴设计思路,同时明确自己的总体、成本单位与任务条件。
可靠的模型比较同时依赖估计值以及支持它的抽样计划。这篇论文把抽样计划放到了评估的核心。它提出的实际问题是,重复部分任务后能观察同题分歧,进而估计未观测运行还可能给总分带来多少波动。LiveCodeBench 回放展示了固定输出预算下可得的精度改进。后续不同任务、结果和运营成本的评测,会说明这种收益怎样变化。