Исследователи представили STEMBench в статье, размещённой на arXiv 18 ноября. В неё входят двенадцать задач по физике высоких энергий, астрофизике и нейронаукам. Каждая использует меру своей области, например ранжирование кандидатов сигнала, оценку неопределённости, восстановление физического параметра или перенос на новый медицинский центр сканирования. Для каждой задачи даны два исполняемых ориентира. Один намеренно не использует специальные знания, второй воспроизводит опубликованный метод. В общей среде проверили восемь передовых моделей. Авторы видят, что победы в отдельных задачах не всегда приводят к лидерству в целом по области. Статья STEMBench
Устройство теста направлено на трудный вопрос. У научной задачи часто нет единственного правильного ответа. Допустимы разные методы, и важно бывает выяснить, какой из них лучше предсказывает на данных, которых не видел ни один подход. Бенчмарк должен заранее определить, что значит «лучше». Для каждой задачи STEMBench использует показатель, уже принятый в соответствующем исследовательском сообществе. Поэтому центральный вопрос конкретнее, чем просьба дать текстовый ответ на трудный научный вопрос. Проверяется, может ли исполняемое решение улучшить результат научного измерения.
Показатель должен соответствовать научной задаче#
Основа бенчмарка — разрыв между научным рассуждением и научной работой. Тест с выбором ответа может проверить знание концепции. Модульный тест проверит часть условий программы. Бенчмарк воспроизведения спросит, удалось ли повторить опубликованный результат. Все три подхода полезны. Но исследователю также важно, даёт ли метод модели хороший результат по правилам собственной дисциплины. В таких правилах могут сочетаться точность, неопределённость и физическая согласованность вместо простого совпадения с меткой.
Представим поиск возможных сигналов среди фоновых событий в данных физики частиц. Бенчмарк не может принять программу только потому, что она выдаёт предсказания нужного формата. Нужно оценить, насколько эти предсказания различают важные случаи. Практический показатель способен закрепить такой приоритет. Модель может написать убедительное объяснение и передать слабый классификатор, и численный результат это покажет. Если модель получит хороший балл с пакетом, который невозможно воспроизвести, другая часть оценки зафиксирует такую проблему.
В статье выделены семь особенностей научных проблем по сравнению с закрытыми упражнениями. Допустимо несколько решений, результатом может быть код или обученная модель, а для выхода за пределы универсального метода нужны отраслевые знания. Объём данных может не помещаться в запрос. Показатель бывает неинтуитивным, а некоторые ошибки выявляются только через научные проверки. Даже лучший опубликованный метод может не достигать идеального балла, создавая практический предел. STEMBench старается выразить эти свойства в исполняемых задачах.
Поэтому диапазон теста уже, чем понятие «наука». Все двенадцать задач касаются вычислительного анализа данных и моделирования. Они не проверяют, выберет ли система важный открытый вопрос, спланирует ли физический эксперимент, сможет ли интерпретировать все виды доказательств или убедит ли научное сообщество в новой теории. Ценность набора — в чётко очерченной области, где программа создаёт артефакт, результат проверяется на скрытых данных, а у специалистов уже есть способ сравнения методов.
Двенадцать задач сохраняют особенности областей#
Четыре задачи относятся к физике высоких энергий, три к астрофизике и пять к нейронаукам. В первой группе есть поиск аномалий новой физики, оценка неопределённости бозона Хиггса, распознавание топ-кварков и задача Dark Machines. Астрофизика включает инверсию симулированных и реальных солнечных спектров Стокса и классификацию сверхновых типа Ia. Нейронауки охватывают классификацию аутизма между центрами сканирования, идентификацию моделей нейронной массы, предсказание реакции на вмешательство, восстановление параметров и деконволюцию сигнала BOLD. Общий формат оценки применяется к различной работе. Список и описания задач STEMBench
Это разнообразие полезно, поскольку система тестов может случайно вознаграждать однотипную способность. Сильная бинарная классификация на нескольких похожих наборах данных способна создать впечатление широкой научной компетентности. В STEMBench используются разные семейства метрик и границы скрытых целей. Где-то ранжируются события, где-то строятся интервалы, восстанавливаются скрытые величины или проверяются причинная реакция и перенос между площадками. Разнообразие уменьшает вероятность того, что одна уловка обеспечит верхнюю строку. Оно также усложняет интерпретацию общего среднего по сравнению с единым тестом.
Сами данные сильно различаются по масштабу. Одни задачи основаны на сотнях псевдоэкспериментов, другие включают сотни тысяч событий или джетов. Задача по солнечным спектрам использует крупную симуляцию, её вариант на реальных данных строится на двух растрах. Для классификации нейроснимков есть 332 участника и проверка на отложенной площадке сканирования. Бенчмарк указывает состав данных и единицы оценки, чтобы читатель понимал, что охватывает один балл. Результаты по тысячам примеров и по дюжине вмешательств имеют разную устойчивость, даже если стоят рядом в таблице.
Единица оценки влияет на вывод. При поиске событий нужно отклонять фон, сохраняя обнаружение сигнала. В оценке неопределённости интервал можно сузить, пропустив слишком много реальных исходов, поэтому учитывается покрытие. Тест на отложенной площадке сканера показывает, не зависит ли модель от особенностей сбора данных, известных ей из обучения. Задачи по нейронным массам тоже разделены. Идентификация семейства моделей, предсказание реакции на вмешательство и восстановление скрытых параметров являются разными проблемами. Авторы разделили их, чтобы слабый навык не терялся в едином взвешенном результате.
Показатель каждой задачи требует собственного контекста. Авторы используют меры, принятые в исходных областях, но их нельзя сравнивать напрямую. 0,6 в одной задаче не обязательно лучше 0,5 в другой. AUC, правдоподобие, ширина интервала, точность классификации и причинные показатели выражают разные цели. Таблица показывает модель относительно базы и эксперта по конкретной задаче. Преобразовать результат в универсальную единицу «научной способности» без выбора общей шкалы и весов она не может.
Два ориентира показывают пройденный путь#
Для каждой задачи STEMBench запускает две эталонные посылки тем же опубликованным кодом, что и модели. Базовый вариант намеренно прост и не использует знаний предметной области. Это не случайный заполнитель. В зависимости от задачи он может предсказывать квантиль обучающей выборки, брать середину диапазона параметра или всегда выдавать один ответ. Экспертный ориентир воспроизводит опубликованный метод. Оба являются исполняемыми артефактами, а не переписанными цифрами из таблицы статьи. Их оценки показывают поведение задачи на двух реальных решениях.
Разница между ними называется «запасом». Это измеренный интервал между универсальным подходом и конкретной экспертной реализацией. Он может быть широким. Например, для идентификации модели нейронной массы ориентиры идут от 0,000 до 0,900. В классификации аутизма между центрами сканирования диапазон уже, от 0,000 до 0,312. Поэтому прирост модели над базой может обозначать полезное движение в одной задаче и малую часть экспертного разрыва в другой. Сырой балл и оба ориентира остаются видимыми.
Экспертная реализация не является гарантированным максимумом. Это воспроизведение опубликованного метода на данных и в коде бенчмарка. Другой способ может набрать больше, а результат повтора может отличаться от исходной публикации. Авторы прямо называют ориентир эмпирическим, а не потолком. Это важная оговорка. Заявление «модель достигла экспертного уровня» преувеличило бы значение ориентира. Тест предлагает конкретный сравнимый вариант, который можно запустить повторно.
Базу тоже нужно читать внимательно. Некоторые метрики устроены так, что универсальное предсказание по определению получает около нуля. Нулевая точка может быть свойством определения, а не неисправностью теста. Расстояние до эксперта задаёт конкретной задаче масштаб. При изменении метрики, набора данных, разбиения или экспертной реализации оно тоже изменится. Версии этих элементов помогают сохранить смысл старого результата.
STEMBench показывает сырой балл, прирост в процентных пунктах над базой и обе опоры. Авторы не выводят нормализованную долю от интервала в заголовок. Деление прироста на узкий интервал может усиливать небольшие изменения. В этом наборе некоторые самые узкие интервалы соответствуют научным проблемам, которые авторы считают сложными. Нормализованное число могло бы сделать сдвиг обманчиво крупным. Отдельные значения требуют внимания читателя, зато единый удобный итог реже скрывает устройство задач.
Общий стенд тоже является научным прибором#
Исследователи поместили все двенадцать проблем в общий файловый контракт. Каждый контракт определяет задачу, роль данных, принимаемые файлы, проверки, расчёт оценки, зависимости и вычислительные требования. Открытые входы и обучающие материалы можно поместить в среду агента. Разметка ответа остаётся на хосте оценщика и читается лишь после сдачи. Модель получает информацию для работы, но не видит содержащий ответы фрагмент. Файлы воспроизводимости и контрольные суммы помогают установить, какие данные обрабатывал оценщик.
Модель запускается в офлайн-песочнице. Сеть отключена, доступны шесть инструментов, включая shell, Python, структурированное исследование данных и локальный поиск литературы там, где предоставлен корпус источников. Задание не превращается в поиск опубликованного ответа в интернете. Модель всё ещё выбирает, как изучать данные, писать код, использовать библиотеки и укладывать эксперименты в бюджет запуска. По данным авторов, входные наборы занимают от 0,1 до 12 гигабайт. Исследование данных входит в задачу, а среда задаёт его условия.
Каждый эпизод ограничен одним часом, миллионом токенов и 200 сообщениями. Система просит агента рано получить валидную посылку, чтобы лимит мог остановить улучшение, не стирая весь результат. Валидатор сообщает о пропущенных файлах и ошибках схемы, но не раскрывает оценку. Эти условия позволяют сравнивать модели повторяемо. Они же входят в измеряемую систему. Другой агент, поиск литературы, интерфейс модели или временной бюджет может привести к отличающимся результатам на той же базовой модели.
Статья различает числовую оценку и «валидность официальной посылки». Валидная работа имеет требуемый формат и файлы воспроизводимости. Это не доказывает высокого научного качества. Числовая оценка сама по себе тоже не говорит, можно ли повторно запустить посылку в официальном состязании. Из 288 сохранённых запусков 168 имеют положительный флаг валидности, 64 отрицательный, для 56 флаг недоступен. Среди 88 нулевых оценок явно невалидны только 17. Ноль не означает одну конкретную причину. Это может быть корректная, но слабая работа, неправильная упаковка или отсутствие данных о валидности. Оценка и результаты STEMBench
Рейтинги расходятся между задачами и областями#
В статье восемь передовых моделей проверили базовым агентом при высоком уровне рассуждения. Каждая точка главного сравнения — среднее трёх сохранённых запусков, включая нулевые. Полосы показывают минимум и максимум этих трёх результатов. Это не доверительные интервалы и не стандартные отклонения. Различие меняет статистический смысл диапазона. Первые эксперименты дают три наблюдения о возможностях теста.
Во-первых, победа во многих отдельных задачах не гарантирует лидерство в области. Opus 5 и Gemini 3.1 Pro каждый лидируют в пяти из двенадцати средних оценок задач. Оставшиеся две возглавляет GLM 5.2. При этом Opus не лидирует по среднему ни в одной области. В физике высоких энергий его победы в отдельных задачах соседствуют с более низкими результатами в других и дают среднее ниже DeepSeek V4 Pro. Gemini лидирует в астрофизике и нейронауках, но его средние в этих областях заметно различаются. Нужно читать профили задач, а не считать первые места.
Во-вторых, средняя оценка хотя бы одной модели превышает экспертный ориентир в семи задачах. Сюда входят поиск новой физики, распознавание топ-кварков, Dark Machines, обе инверсии солнечных спектров, классификация сверхновых типа Ia и идентификация семейства нейронной массы. В пяти остальных задачах все модельные средние ниже эксперта. Разрывы остаются в неопределённости Хиггса, классификации аутизма между площадками, причинных прогнозах нейронной массы, восстановлении параметров и деконволюции BOLD. Набор показывает как превышение конкретных опубликованных реализаций, так и области с ещё не пройденной дистанцией.
Этот результат требует большего контекста, чем фраза «модели превзошли экспертов в семи задачах». Ориентир — реализация одного опубликованного метода, а не недостижимое экспертное знание. Балл относится к показателю задачи на конкретных данных, разбиении и оценщике в песочнице. Он говорит, что среднее модели превысило точку сравнения в части тестов. Он не доказывает, что система заменит исследователя, перенесёт метод на новый проект или сможет публиковать научные выводы без рецензирования. Статья STEMBench
Сильное среднее может скрывать нестабильность#
Три запуска дают небольшую выборку для стохастического агента. В некоторых задачах оценки заметно меняются между повторами, и авторы проводят дополнительный анализ разброса для отдельных настроек. Примером служит распознавание топ-кварков. Основные высокоинтенсивные прогоны дали очень разные значения. Серия с расширенным бюджетом собралась около 0,94, но в ней также сменился API-провайдер и отсутствовало GPU-ускорение. Авторы пишут, что эксперимент не позволяет изолировать причину изменения. Бюджет и среда исполнения могут влиять, однако один фактор не доказан.
Повышение интенсивности рассуждения тоже не даёт монотонного улучшения. В классификации между центрами сканирования средний результат при средней интенсивности около 0,327, тогда как три высокоинтенсивных запуска дали ноль. В деконволюции BOLD оценка также снизилась при большем усилии. По одному числу нельзя определить, вызвано ли это невалидной выдачей, валидным слабым предсказанием или обрезанием по времени. Для различения нужны трассы запуска и флаги валидности. Долгое рассуждение конкурирует с бюджетом вычисления, поэтому само по себе не означает лучший научный результат.
Один этап проверки ещё не пройден. Стенд проходит функциональные тесты, а контракты задач — контрольные суммы и пробное начисление баллов по якорям. Следующий этап — слепое ранжирование промежуточных посылок между базой и экспертом специалистами, с последующим сравнением их оценок с автоматическим порядком. Авторы поставили цели согласованности и называют это оставшимся шагом проверки. Воспроизводимый расчёт ещё не гарантирует, что порядок результатов соответствует понятию содержательного прогресса у экспертов. Для этого и важна следующая работа.
Сейчас бенчмарк полезнее всего как исследовательский прибор, который можно изучить. Видны задачи, оценщики, базы и экспертные реализации. Опубликованы также инструкции агенту и режим запуска. Читатель может разобраться, как ведёт себя метрика или насколько пригоден выбранный ориентир. Исследование согласованности с экспертами ответило бы на другой вопрос, насколько автоматический порядок совпадает с оценкой специалистов, а не просто работает ли код.
Как команды могут использовать эти числа#
Для команды оценки моделей главный практический урок состоит в том, чтобы сначала определить работу, а потом выбирать победителя. Системе поиска редких сигналов в физике высоких энергий нужны другие условия, чем модели, которая восстанавливает свойства Солнца по спектрам. База показывает прирост над общей стратегией. Экспертная программа даёт ещё один ориентир. Родная метрика области объясняет приемлемый компромисс. Эти сведения помогают осмыслить результат до сведения в одно число.
Набор может стать регрессионным тестом для изменений научного кодового агента. Другая модель, агентная рамка или политика инструментов могут изменить качество кода, время исполнения и выбор опытов. Если сохранить одну версию задач и условия запуска, институт увидит последствия изменения. Авторы подчёркивают необходимость отделять модель от стенда. Принцип работает и для локальных систем. Сравнение модели A с инструментами X и модели B с инструментами Y измеряет две полные конфигурации, а не чистую разницу базовых моделей.
Публичные материалы позволяют повторять и внимательно изучать отдельные задачи. Лаборатория может использовать одну задачу и перенести идеи в собственный код. Она может проверить чувствительность балла к площадке сбора, выбору опоры или бюджету. Публикация описывает права на данные и файлы задач. Практическое использование всё равно требует соблюдать условия конкретного набора. Например, нейронаучная часть включает ABIDE с соглашением об использовании общедоступных данных. Материалы нужно применять в рамках условий, учитывая исследуемые группы населения.
Список задач не является моделью всей науки. Физика, астрофизика и нейронауки имеют богатые вычислительные задачи, а другие области используют иные свидетельства и стандарты методов. Эксперименты в лаборатории, полевые наблюдения, юридические и этические суждения, теоретическая работа могут требовать других оценок. Добавить задания — не просто нарастить количество. Для каждой задачи нужны защищаемая научная цель, подходящая метрика, воспроизводимый ориентир и ясная граница данных.
Читателям научных оценок STEMBench напоминает о пользе опубликованных баз. Высокий балл проще понять, когда рядом стоят решение без предметных знаний и воспроизводимый экспертный метод на тех же данных и настройках. Числа показывают, тривиален ли тест, действительно ли труден или ограничен уже сильной техникой. Они помогают отличить исследования, которые одним названием обозначают эксперименты с разным смыслом. Ориентиры и параметры запуска уменьшают зависимость результата от заголовка.
Что показывает результат#
Статья подробно описывает конкретный бенчмарк и раннее сравнение при высокой интенсивности рассуждения. Она сообщает о восьми моделях, двенадцати проблемах, двух измеренных опорах, автономной работе с кодом и оценках на скрытых целях. Этого достаточно, чтобы показать различие рейтингов отдельных задач и средних по области. Этого недостаточно, чтобы назвать систему учёным или вывести всеобщую научную компетентность из семи средних выше ориентира. Для такого вывода нужны сведения за пределами этого набора.
Наиболее сильный положительный сигнал связан с устройством сравнения. STEMBench делает оцениваемый объект более прозрачным. Читатель может узнать, какие данные видел агент, какая цель оставалась скрытой, какая метрика применялась, как показали себя база и эксперт и прошёл ли пакет формальную проверку. Различия областей также сохраняются, а не сплющиваются в единую оценку. Это даёт дальнейшим оценщикам конкретную отправную точку для вопросов об инструментах и научных способностях.
Главный открытый вопрос — насколько автоматический порядок совпадает с экспертным мнением. Авторы говорят, что соответствующая проверка ещё не завершена. Дополнительные повторы, больше моделей и независимый разбор помогли бы понять малые различия. Пока балл задачи, рейтинг модели, валидность, экспертный якорь и разброс запусков следует читать отдельно. Статья предлагает содержательное устройство бенчмарка и полезный первый прогон. Таблица результатов открывает дискуссию о научных агентах. Запланированная проверка определит, какой вес эта таблица заслуживает.