研究者在 11 月 18 日发布 arXiv 论文介绍 STEMBench。它涵盖高能物理、天体物理和神经科学的十二项任务,每项使用所属领域的度量方式,包括信号候选排序、不确定性估计、物理参数恢复和跨医学成像中心的泛化。基准还为每项任务提供两个可执行参照。一项是刻意不使用领域知识的通用提交,另一项复现已发表方法。八款前沿模型在同一套智能体框架中接受测试。论文发现,单项任务获胜与整个领域领先并不总是重合。 STEMBench 论文
这个设计针对一个难题。科学问题往往没有唯一答案钥匙,多种方法都说得通,真正关心的可能是它们在双方都未见过的数据上谁预测得更好。基准必须在运行模型前选定什么叫“更好”。STEMBench 对每项任务采用相应科研领域已经使用的指标。这让它提出的问题比让模型用文字回答艰深科学题更具体。它检验的是一项可运行的提交能否改进实际科研测量。
分数先要对应科学问题#
这项基准源于科学推理与科学工作之间的差距。选择题可以测试模型是否认出某个概念,单元测试可以检查代码是否通过预设条件,论文复现基准可以问它能否复现已发表结果。这些测试各有价值。研究者还想知道,模型产出的方法能不能按本领域自己的评估规则取得好表现。规则可能同时权衡准确性、不确定性和物理一致性,而不是只匹配一个已知标签。
比如,目标可能是在粒子物理数据中区分可能存在的信号与背景事件。基准不能只接受输出格式正确的脚本,还得考查预测在关键样本上的区分效果。实践者采用的指标能把这个优先级写进评分。模型可以给出漂亮解释却交付弱分类器,数字结果仍会显示出来。也可能得到高分,但交来的程序包无法复现,评价中的另一项状态就会记录这一问题。
论文列出科学问题与封闭练习的七项差别。题目可能允许多种有效方法,交付物可能是程序或训练好的模型,而非文字答案。超过通用方法需要领域知识,数据量可能大到无法塞进提示。领域指标可能包含不直观的要求,有些错误表面合理,只有物理或统计检查才能发现。即使最好的已发表方法也达不到满分,这会形成现实上限。STEMBench 尝试把这些属性纳入可执行题目。
这些选择也让它的范围比“科学”这个词狭窄得多。十二项任务都属于计算数据分析和建模。它不考查 AI 能否挑出重要的开放问题、规划并进行物理实验、解释所有类型的证据,或说服一个科研共同体接受新理论。它的价值来自一个边界清晰的子集,程序能生成结果,隐藏数据能用于计算,领域研究者也已经有公认方法比较模型。
十二项任务保留各自领域特征#
任务分布是四项高能物理、三项天体物理和五项神经科学。前者包括新物理异常搜索、希格斯不确定性估计、顶夸克标签识别和 Dark Machines 挑战。天体物理任务包括模拟与真实太阳 Stokes 光谱反演,以及 Ia 型超新星分类。神经科学覆盖跨扫描仪的自闭症分类、神经质量模型识别、干预响应预测、参数恢复与 BOLD 信号反卷积。同一个评估框架因此接触到不同类型的研究工作。 STEMBench 任务列表与说明
这种多样性有实际意义,因为评估套件可能不知不觉奖励某种习惯。擅长二分类的模型若在相似数据集上连续得分,就可能看起来很“科学”。STEMBench 则选了不同指标族和隐藏目标边界的任务。有的考事件排序,有的预测区间,有的恢复潜变量,还有的测试因果响应或跨站点迁移。多样性降低了单一技巧包揽总体高分的概率,也使跨任务平均分更难解释。
数据规模也差异很大。有些任务基于数百组伪实验,另一些涉及数十万事件或喷注。太阳光谱任务处理大型模拟样本,真实数据版本则基于两幅栅格。一项脑影像分类任务有 332 名受试者,并在未参与训练的扫描站点测试。基准把数据准备与评估单位写出来,读者能知道一次分数覆盖什么。数千例数据所得的分数和十几项干预所得的分数,不会只因为放在同一张表里就具有同样稳定性。
评估单位会改变结论。在事件搜索中,分数关注排除多少背景同时保留信号。在不确定性估计中,区间可以通过排除过多真实结果变窄,所以覆盖率必须计入。在真实扫描仪分类中,留出一个站点测试能看模型是否依赖已经学到的采集特征。神经质量任务的模型族识别、干预预测和隐藏参数估计则是不同问题,作者把它们拆开,避免一个加权总分掩盖某项能力缺陷。
领域专用指标有自身含义。作者采用相关研究共同体使用的度量方式,但它们彼此不可换算。在一项任务得 0.6 不代表优于另一项的 0.5。AUC、似然、区间宽度、分类准确率和因果响应各表达不同目标。表格能在同一任务内显示模型相对基线和专家参照的位置,却不能在不另做尺度和权重选择的情况下,把结果换成通用的“科学能力单位”。
两个锚点显示方法跨过多远#
对于每项任务,STEMBench 都用同一套发布代码运行两个参照提交。基线刻意简单,不使用领域知识,但也不是随机占位符。根据任务,它可以预测训练集分位数、使用参数范围中点或返回常数响应。专家参照复现已发表方法。两者都是可执行成果,不是从论文表格里抄来的数值。它们建立了这项任务在两种真实提交下的实际表现。
两者之间的差距被称为“余量”。它表示通用方法与某一项专家实现之间实测的区间。对于神经质量模型识别,锚点为 0.000 至 0.900,间距很大。跨扫描站点自闭症分类的数字则是 0.000 至 0.312,间距较窄。因而模型超过基线的幅度,在一个任务里可能代表明显进展,在另一个任务里只跨过专家参照差距的一小部分。原始分数与两个锚点同时显示,读者可以把结果放回相应尺度里看。
专家参照并非保证可达到的上限。它是在基准数据和代码条件下重现的一项已发表方法。其他方法可能得分更高,实际复现也可能与原论文结果不同。作者明确把专家锚点视为经验参照,而非天花板。这一区别很重要。称模型已经“达到专家级”会把参照的含义说过头。测试提供的是一个可以重跑的具体比较对象。
基线也需要谨慎理解。部分指标就是把通用预测设计成接近零分。零锚点可能是指标定义的结果,而不是测试坏了。零到专家参考值之间的距离为具体任务提供尺度。日后如果改了指标、数据集、切分或专家实现,头部余量就可能变化。给这些组成部分做版本管理,才能解释旧结果。
STEMBench 报告原始分数、相对基线的百分点增益以及两个锚点。论文没有把归一化后的余量比例放在最显眼位置。用余量去除分数增益,可能会放大窄区间上的细小变化。在这套题目中,一些最窄差距恰恰对应作者认为较难的科学问题。归一化数字可能让这些变化显得过大。保留独立数值会多给读者一点阅读工作,却降低单一便捷汇总掩盖结构的风险。
统一评测框架也是科学仪器#
研究团队把十二项任务放进统一文件契约。每个契约说明任务、数据角色、接受的提交文件、检查项、评分实现、依赖和计算要求。公开输入与训练资料可以进入 Agent 环境。真实答案留在评分主机上,只能在提交后读取。模型因此能得到工作所需信息,又碰不到含答案的数据切分。可复现文件与校验和则帮助确认评分器实际读到的材料。
模型在离线沙箱中运行,无法联网,获得六种工具,包括命令行、Python、结构化数据探索和本地文献检索。它避免评测变成在网上搜索已发表答案,同时仍要求模型选择查看哪些数据、怎么写程序、用哪些现有依赖,以及在运行预算内安排实验。作者说输入规模从 0.1 到 12 GB 不等。数据探索本身属于任务,评测环境也限制了探索方式。
每次运行上限为一小时、一百万模型 token 和 200 条消息。系统要求 Agent 尽早形成有效提交,因此时间限制可以阻止继续提升分数,而不至于抹去所有成果。提交验证器只指出缺少文件和模式错误,不透露分数。这些设置为模型比较提供可重复条件,也成为被测系统的一部分。同一基础模型换一套 Agent、检索配置、接口或时间预算,可能产生不同结果。
论文把数值分数与“官方提交有效性”分开。有效提交包含规定格式与复现文件,但不代表科学表现优秀。反过来,数值也不能单独说明程序包能否在正式挑战中重跑。288 次保留的模型运行中,168 次的有效性标记为肯定,64 次为否定,56 次没有可用标记。88 次零分运行中,明确标为无效的只有 17 次。因此零分不是一种单一诊断,可能来自有效但结果差、提交无效,或有效性数据缺失。 STEMBench 的评估和结果
排名在任务和领域间分开#
论文用一套基础 Agent 和高推理预算测试八款前沿模型。主比较里的每个点是三次保留运行的均值,包含零分。图中误差线只表示这三次运行的最小值和最大值,不是标准差或置信区间。这个区分会改变读者对范围的统计理解。首轮实验提供了几条有关基准表现的观察。
第一,赢得多个单项任务并不保证整个领域领先。Opus 5 和 Gemini 3.1 Pro 各自在十二项任务中的五项均值领先,GLM 5.2 领先剩下两项。但 Opus 并没有领跑任何一个领域平均值。它在高能物理的单项优势与另一项低分并存,领域平均低于 DeepSeek V4 Pro。Gemini 在天体物理和神经科学领先,但两个领域均值相差明显。这个结果说明应看任务画像,不能只从第一名次数选总冠军。
第二,至少有一款模型在七项任务中的平均分超过复现的专家锚点,包括新物理搜索、顶夸克标签识别、Dark Machines、两项太阳光谱反演、Ia 型超新星分类与神经质量模型族识别。其余五项中的所有模型均值还低于专家参照。差距涉及希格斯不确定性、跨站点自闭症分类、因果神经质量预测、参数恢复和 BOLD 反卷积。同一套任务于是同时呈现超越具体已发表实现的表现,以及仍有距离的领域。
这项结果还需要比“七项胜过专家”更完整的语境。锚点是一项已发表方法的实现,并不代表无法超越的专家能力。分数属于特定数据、切分、评分器和沙箱下的任务指标。它说明模型在部分测试中的平均值超过一项具体参照,并不能证明模型可以取代研究人员、迁移方法到新课题,或无需审查就把科学结论写进论文。 STEMBench 论文
强均值仍可能藏着不稳定#
三次运行对于随机 Agent 来说是很小的样本。论文中有些任务分数在重跑时变化明显,对部分设置还做了更大的方差分析。顶夸克标签识别尤其能说明问题。主运行里的高推理预算出现过很不一样的结果。扩展预算系列则聚集在约 0.94,但同时变更了 API 服务商并移除了 GPU 加速。作者指出,实验无法区分是哪项改变带来结果差异。这说明预算或运行条件可能影响分数,但不能证明原因。
推理投入变化也不总能带来单调收益。一项扫描仪站点分类任务在中档投入得分约 0.327,高档三次运行却都为零。BOLD 反卷积任务也在提高推理投入后退步。仅凭分数无法知道原因是输出无效、预测有效但质量较弱,还是运行被截断。作者表示需要结合运行轨迹和有效性标记才能区分。长推理和程序执行预算相互竞争时,多投入本身不等于更好的科研表现。
基准还有一项验证工作尚未完成。框架通过了功能测试,每项任务契约也通过校验和与锚点评分冒烟测试。接下来要让领域专家盲评基线和专家参照之间的中间提交,并检查其排序与自动指标的一致性。作者设置了相关一致性目标,并把这项工作称为剩余验证步骤。自动指标即使能稳定运行,排序仍需领域评审确认。这一步关系到基准是否真正反映专家认为有意义的进展。
因此,现阶段它更适合作为可检查的研究仪器。读者能查看任务定义、评分器、基线和专家参照,也能检查 Agent 提示和运行设置。他可以研究某一任务怎样评分、参照是否合理。专家一致性研究要回答的是另一件事,即自动排序是否接近领域专家判断,而不是代码能不能执行。
团队可以怎样使用这些数字#
对模型评估团队来说,STEMBench 最直接的启示是先定义工作,再挑赢家。寻找罕见高能物理信号的系统与从光谱恢复太阳性质的系统,需要不同的成功条件。基线能显示方案比通用方法提升多少,专家实现提供另一项参照,原生指标说明领域接受怎样的折中。这些信息让团队先检查结果的含义,不必过早压缩成一个综合排名。
这套题还可以作为科研编程 Agent 的回归测试。换推理模型、Agent 框架或工具策略,可能改变代码质量、运行时间和实验选择。保持题目版本与执行条件固定,机构就能查看改变对提交的影响。论文强调应把模型变化和框架变化分开。这个原则也适用于本地系统。如果模型 A 使用工具 X,模型 B 使用工具 Y,结果比较的是两套完整配置,不能声称测出了基础模型差异。
公开资源允许研究者重跑或检查单项任务。实验室可能只关心一项课题,然后将其中经验应用于自己的代码。它也可以检查分数是否受站点、参照方法或预算影响。论文说明了任务文件和数据权利,不过实际使用仍需尊重各数据集的授权条件。比如神经科学部分的 ABIDE 需要遵守公开数据使用协议。评测材料要按许可使用,并照顾所涉及的研究人群。
任务列表并不代表整个科研领域。物理、天体物理和神经科学有丰富的计算问题,其他学科使用的证据和方法规范则可能不同。实验室操作、田野观察、法律或伦理判断以及理论工作,都可能需要其他评估形式。扩充任务不能只追求数量。每一项都需要可辩护的科学目标、合适指标、可复现参照和清楚的数据边界。
对于比较评测研究的读者,STEMBench 也显示公开基线的重要性。如果一项结果同时对照不使用领域知识的方案、同一设置下可重跑的专家方法,分数就更容易理解。这些数值能显示基准是很容易解决、实际困难,还是受一个强方法限制。参照实现和运行细节还能帮助辨认不同研究是不是用同一名称描述了实际上差异很大的实验。
结果能说明什么#
这篇论文细致说明了一个特定基准和早期高推理预算的模型比较。它报告八款模型、十二项问题、两类实测锚点、离线环境中的代码工作,以及基于隐藏目标的评分。这足以展示任务排名与领域平均之间可以不同。它不足以把系统称为科学家,也不能凭七个高于锚点的任务推断普遍的科学能力。更广泛的判断还需要这套任务以外的证据。
最有力的积极信号来自设计本身。STEMBench 把比较对象交代得更清楚。读者可以检查模型看到了哪些数据,哪些目标留在评测主机,使用了什么指标,基线和专家方法表现如何,以及提交在格式上是否有效。它还保留领域差异,避免综合分数轻易压平细节。这为后来评估科学 Agent 和工具链提供了具体起点。
最重要的未决问题,是自动排序与专家判断的一致程度。论文明确说相关研究尚未完成。更多重跑、更广模型覆盖和独立审查,能帮助解释细小差距。在此之前,任务得分、模型排名、提交有效性、专家锚点和运行波动应作为不同证据分别看待。这套论文提出了扎实的基准设计,也展示了首轮运行。它的分数表开启了关于科学 Agent 的讨论,后续验证将决定读者应给这些分数多大权重。