11 ноября исследователи Faros AI предложили способ оценивать патчи кодовых агентов без их запуска. Первый агент изучает состояние репозитория до изменения и пишет веса двоичных критериев, привязанных к этому коду. Затем другая модель читает задачу, патч и критерии и оценивает долю требований, которые выглядят выполненными. Авторы проверили результат на 7 291 размеченном патче от пятнадцати систем на SWE-bench Verified. Главный вывод состоит в том, что внутри задач с решёнными и нерешёнными вариантами показатель обычно ранжирует их в нужном направлении. Авторы считают его дополнительным измерением, когда подходящих тестов или исполняемой среды нет. Статья о рубриках, привязанных к репозиторию

Предложение направлено на знакомую статью расходов. Запуск патча может требовать восстановления конкретной версии репозитория, установки зависимостей, настройки сервисов и ожидания тестового набора. У части задач неполные тесты. Некоторые окружения хрупкие или дорогие. Тесты остаются самым прямым доказательством поведения кода на проверяемых входах, но они требуют ресурсов, а охват никогда не равен всему набору требований. Статическая рубрика предлагает другой взгляд. Она проверяет, похоже ли, что diff реализует нужное поведение, сохраняет связанные участки кода и избегает побочных изменений.

Это другой вопрос, чем «работает ли программа?». Он находится в центре статьи. Патч может соответствовать видимым требованиям и всё равно упасть при запуске. Тест может отвергнуть иной допустимый способ реализации, потому что требует вариант, не указанный в задаче. Статическая рубрика даёт градуированное и разложимое на компоненты суждение, но не претендует заменить тесты. Важно понять, что она действительно сообщает и какие свидетельства остаются за границей её охвата.

Как составляются требования к репозиторию#

Для каждой задачи первый агент видит её описание и репозиторий до исправления. Он исследует код и пишет текстовые критерии с весами и двоичными оценками. Критерии относятся к четырём направлениям: изменение файлов, соответствие спецификации, целостность соседнего кода и выводимое по diff поведение во время исполнения. Файловые критерии описывают область и локальность изменений. Спецификация выражает задачу. Целостность охватывает побочные изменения, например ослабление тестов или ненужную зависимость.

Генератор составляет критерии, ещё не видя кандидатный патч или содержание эталонного решения. Он получает только число изменённых строк эталонного патча, использованное в статье как примерный сигнал масштаба задачи. Авторы ввели мягкое правило с верхним пределом на длину рубрики. В 500 задачах SWE-bench Verified медианная длина составляла 10 критериев, диапазон был от 8 до 24. Более крупные изменения обычно вели к большему числу критериев. Метод генерации и проверки рубрик

После подготовки критериев судья получает описание проблемы, кандидатный diff и тексты критериев. У него нет доступа к репозиторию и инструментам. Он отмечает выполнение каждого требования и вычисляет долю выполненных весов. Например, критерий может требовать обработать определённое условие входа, обновить связанные точки вызова или не ослаблять тесты. Каждый пункт должен описывать одно свойство, а не навязывать конкретный способ реализации.

Контекст репозитория отличает подход от судьи, читающего лишь описание проблемы и diff. Первоначальное исследование может обнаружить локальный контракт, типы, места вызова и реализацию соседнего поведения. Судья второго этапа не может напрямую осмотреть эти факты. Критерии работают как сжатое описание контекста задачи. Авторы стремятся сделать их независимыми от эталонного решения. Патчи с непохожим кодом должны иметь возможность удовлетворить одним требованиям, если оба решают задачу.

У инструмента два стохастических этапа. Агент, изучающий репозиторий, выбирает, какие требования станут критериями. Судья затем проверяет diff. Это создаёт как минимум две ошибки. Рубрика может пропустить важное требование или включить необязательное. Судья может неправильно понять критерий или patch. Стабильный судья не делает список полным, а полный список не гарантирует правильность всех вердиктов. Итоговый балл сочетает оба этапа.

Балл — не процент готовой работы#

Авторы определяют цель как взвешенную долю всех требований, которые следуют из задачи и репозитория и доступны проверке по описанию и diff. В этом исследовании человек не составлял полный список. Сгенерированная рубрика берёт из него выборку. Поэтому балл 0,8 означает оценку инструмента, что patch выполняет 80 % весов от критериев, выбранных для задачи. Это не вероятность прохождения тестов и не заявление о готовности 80 % работы.

Сырые оценки можно сопоставлять для патчей, проверенных одной и той же рубрикой. Отдельно сгенерированные списки критериев могут различаться, даже для задач близкого размера. В статье поэтому сравнивают порядок решений внутри одной задачи, а не считают, что 0,8 в одном случае имеет тот же смысл, что 0,8 в другом. Для общей панели баллы помогут сравнить модели при общей рубрике задачи, но абсолютная величина не является универсальной единицей качества patch.

Связь с тестами работает в обе стороны. Патч может пройти указанные проверки, упустив требование, которое тесты не охватили. Он также может выполнять большую часть написанных требований и провалиться из-за детали реализации, которой не было в описании. Авторы приводят случаи, когда публичные тесты отвергают действительные альтернативные решения, требуя не упомянутое в задаче имя вспомогательной функции или точную строку результата. Метка успеха/неудачи отражает поведение на конкретных входах. Рубрика оценивает выполнение требований, видимых в тексте задачи и diff. Когда они охватывают одни и те же требования, результаты могут согласовываться, но это разные свидетельства.

У сходства с эталонным патчем свои ограничения. Его можно измерить без исполнения, но метрика вознаграждает похожесть на конкретную реализацию. Допустимый patch может менять другой файл или использовать другой алгоритм. Рубрика стремится оценивать требования независимо от эталонного пути. На практике авторы обнаружили, что визуально похожие патчи получают более высокие средние оценки, особенно по файловой оси. Дизайн снижает переопределение, но не устраняет его. Интерпретация оценки и анализ сходства

Если поведение можно установить только выполнением кода, судья diff его не увидит. Высоко оценённый patch может содержать ошибку импорта, взаимную блокировку, просадку производительности или несовместимость со скрытым вызывающим кодом. Судья может и пропустить заметный в тексте дефект. Область оценки намеренно ограничена свойствами, которые можно вывести без запуска тестов, репозитория или чтения трасс. Согласованность оценок нельзя путать с исполняемой проверкой.

Проверка на SWE-bench Verified#

Авторы проверяют рубрику на SWE-bench Verified — наборе из 500 задач в двенадцати Python-репозиториях. В исследование вошли публичные patch от пятнадцати систем и опубликованные результаты тестов. После удаления пустых ячеек осталось 7 299 размеченных патчей, 3 688 из них обозначены как решающие задачу. Для ранжирования внутри задачи нужны как минимум одно решение и одна неудача. Это условие выполняют 400 задач. Если все решения либо успешны, либо неуспешны, сравнить разделение оценок нельзя.

Средняя AUROC по задаче равна 0,826 на этих 400 спорных примерах. В этом анализе AUROC — вероятность, что случайный решённый patch получит больший балл, чем случайный нерешённый patch той же задачи, при этом ничья даёт половину. 95-процентный bootstrap-интервал по задачам составляет 0,805–0,847. На 415 задачах, не использованных для настройки промпта генератора рубрики, среднее равно 0,838. Это говорит, что инструмент обычно помещает прошедший тесты patch выше неудачного в рамках одной задачи. Он не калибрует абсолютную разницу баллов и неприменим к задачам с одним исходом. Результаты на SWE-bench Verified

Статья также спрашивает, даёт ли рубрика дополнительную информацию о системах, не прошедших тесты. Бинарный итог присваивает всем неудачам одинаковую метку, даже если одна не прошла единственный тест, а другая нарушила множество требований. Ранжирование систем по средним рубричным баллам их неудачных патчей тесно совпало с рейтингом по доле решённых задач. Для пятнадцати систем корреляция Спирмена равна 0,968 с интервалом 0,928–0,971. Сравнение только неудач внутри одной задачи даёт 0,950.

Такое соответствие указывает, что оценки рубрики могут раскрыть частичный прогресс, скрытый общей меткой неудачи. Среди нерешённых патчей те, которые проходят часть целевых тестов, обычно имеют выше балл, чем те, которые не проходят ни один. Отдельную категорию составляют решения, прошедшие целевые тесты, но внесшие регрессию. Критерии дают градуированную информацию. Команда может исследовать повторяющиеся слабости агента, не запрашивая полный отчёт исполнения каждого кандидата.

У результата есть границы. Высокая корреляция систем в данном пуле не доказывает правильный порядок каждой пары неудачных patch. Она также не показывает, совпадает ли оценка с человеческим суждением о том, какое решение ближе к готовому. Авторы формулируют вывод как соответствие тестовым исходам в одной популяции бенчмарка. Независимое человеческое ранжирование и новые задачи добавили бы другую ось проверки.

Повторяемость зависит от версии рубрики#

Для измерения повторяемости судьи исследователи пять раз оценивают выбранные патчи по одной фиксированной рубрике. Для 400 патчей из 100 задач корреляция баллов между запусками в среднем составляет 0,985, внутрипатчевое стандартное отклонение — 0,020. Средняя согласованность Kendall при ранжировании внутри задач равна 0,960. Это показывает, что один и тот же судья с неизменёнными критериями обычно выдаёт похожие результаты.

Повторная генерация критериев приносит больше колебаний. Для 1 451 размеченного patch из тех же 100 задач независимые рубрики дают разницу одного и того же балла около 0,11 в среднем. Стандартное отклонение оценки по задачам между версиями примерно в четыре раза выше, чем при повторном судействе фиксированного списка. Общая различающая способность меняется меньше, но оценки отдельных патчей чувствительны к выбору критериев. Сравнение по разным версиям поэтому смешивает качество patch и набор требований.

Настройка судьи также меняет результаты. При среднем reasoning effort повторяемость ниже, чем в производственной конфигурации статьи. Изменчивость оценок возрастает, а у 107 из 400 patch средние пяти прогонов различаются более чем на 0,10 между режимами. Это поддерживает идею считать модель-судью и режим рассуждения частью измерительного инструмента. Но оно не показывает, какой режим точнее. Для воспроизводимости нужно версионировать генератор, стратегию, модель-судью, промпт и настройки, а не записывать только итоговое число.

Сгенерированные критерии не составляют исчерпывающий список всех требований, которые мог бы поставить сопровождающий репозитория. Это выборка из гораздо большего неявного множества. Генератор способен пропустить важное условие или добавить необязательную строгость. Стабильные повторы по одному списку проверяют повторяемость судьи, но не полноту критериев. Новая генерация выявляет чувствительность к их выбору. Однако без независимого источника требований она не говорит, что именно было упущено.

Правильные эталонные patch не всегда получают 1,0. Их средний балл равен 0,814, медиана — 0,880. Из 500 эталонов 59 удовлетворяют всем критериям, а 47 получают меньше 0,5. Эталон является одним действительным решением, но не обязательно идеальной реализацией каждого выведенного требования. Низкий балл может означать слишком строгий критерий, недостаток в самой эталонной версии или ошибку судьи. По распределению нельзя определить причину.

Несогласие могут вызвать тесты и рубрика#

Авторы анализируют причины расхождений между тестом и рубрикой. Некоторые тесты требуют детали реализации или поведения, которого нет в условии. Patch может удовлетворять задаче, но провалиться, потому что тест требует конкретное имя функции-помощника или точную строку результата. Это не означает, что patch неверен. Приведённый аудит OpenAI обнаружил важные дефекты в тестах или описаниях у 59,4 % специально выбранного подмножества трудных задач SWE-bench Verified. Эта доля относится только к сложным случаям, а не ко всему бенчмарку. Аудит тестов SWE-bench Verified от OpenAI

Один пример делает это конкретным. Задача сообщает о сбое при годе вне диапазона. Patch ловит ошибку в существующем обработчике и возвращает строку замены, применяемую к другим некорректным значениям. Эталон возвращает особую строку, которую требует тест, хотя в условии она не указана. Тринадцать из пятнадцати публичных вариантов добавили более общий обработчик исключения. Девять решений, меняющих только widgets.py, получили полный балл. Здесь тест и рубрика отвечают немного на разные вопросы. Пример не доказывает абсолютную правоту рубрики, а показывает, что расхождение надо сопоставлять с задачей и фактическим поведением теста.

Исполнение также находит дефекты, которые судья diff может пропустить. В одном случае patch с высокой оценкой не импортировался из-за отсутствующего символа. В другом требовалось знать внешнее условие работы. Текстовый просмотр не доказывает, что patch собирается, запускает сервисы и сохраняет поведение во всём репозитории. Авторы прямо указывают, что корректность сборки и запуска не оценивалась.

Генерация критериев и сам судья тоже могут ошибаться. Рубрика способна принять файл или метод эталона за обязательный, хотя допустима другая реализация. Судья может перепутать похожие символы или не заметить влияние изменения на неизменённый код. В примерах авторы рассматривают как тестовые несоответствия, так и ошибки рубрики. Они показывают возможные механизмы, не оценивая их частоту среди всех патчей.

Есть и риск загрязнения обучающих данных. Генератор и судья могли видеть публичные задачи SWE-bench или эталонные решения при обучении. Авторы отдельно проверяют патчи, написанные не так, как эталон, и всё ещё находят способность различать результаты. При этом похожие на эталон получают выше. Контроль уменьшает одно объяснение, но не доказывает, что память модели никак не повлияла. Новые или частные задачи дали бы более весомую проверку переноса за пределы публичного бенчмарка.

Где метод может быть полезен#

Рубрики, привязанные к репозиторию, могут помочь командам сравнивать агентов на собственном коде, когда надёжную среду исполнения для каждой задачи не построить. Команда может взять исторические проблемы, восстановить состояние кода до фикса, сгенерировать рубрику и оценить кандидатные diff. Критерии показывают, связана ли неудача с требованиями, поведением во время работы, объёмом файловых изменений или целостностью кода. Это градуированный диагностический сигнал, особенно если бинарного результата мало.

Авторы оценивают медианную стоимость генерации рубрики примерно в 25 центов за задачу, а судейства одного patch — примерно в половину цента по публичным ценам сентября 2026 года. Оценка зависит от промптов, моделей, кеширования и длины diff. Другая модель, более крупное изменение или новый репозиторий изменят стоимость. Первоначальное исследование репозитория остаётся расходом на задачу. После создания рубрики тестирование новых моделей или Agent обходится дешевле — оплачивается только оценка кандидата.

Состав выборки влияет и на выводы, и на стоимость. Это 500 задач из двенадцати Python-репозиториев и публичные решения от пятнадцати систем. Если все варианты по задаче решены или не решены, она не участвует во внутритасковом ранжировании. Поэтому статистика опирается на 400 спорных задач. Небольшие репозитории дают меньше сравнений, а оценки по ним описательные. Выборка хорошо подходит для сравнения нескольких patches на одной задаче, но уже новой закрытой оценочной кампании с несколькими языками и видами работы.

Тот же механизм мог бы составлять критерии приёмки до начала кодирования и задавать Definition of Done на этапе планирования. Но используемое правило длины зависит от размера эталонного patch. У будущей задачи без решения такого числа ещё нет. Понадобилось бы правило размера, не опирающееся на решение. Статья описывает это как возможное применение, а не проверенный результат.

Критериальные оценки также могут помочь выбирать модель по типу задач. Если дешёвая модель получает такой же балл, как передовая, на небольших исправлениях, она может подойти для них. Такой сценарий требует сопоставимой рубрики, стабильного судьи и репрезентативных задач. Абсолютные значения независимо сгенерированных рубрик нельзя напрямую сравнивать. Проверенная авторами задача — ранжировать патчи с одним и тем же набором критериев.

Что показывают данные#

В статье представлен инструмент оценки без исполнения кода. Он оценивает взвешенное выполнение требований конкретного репозитория по описанию задачи, предыдущему состоянию кода и diff. На SWE-bench Verified он обычно ранжирует решённые патчи выше неудачных внутри спорных задач. Системный рейтинг по средним оценкам провалившихся изменений также близок к рейтингу разрешения задач. Отдельные критерии дают больше информации, чем один бинарный результат теста.

Исследование не калибрует абсолютный масштаб оценок и не подтверждает независимым образом полноту требований. Оно не доказывает, что высокий балл гарантирует сборку, запуск или корректность поведения вне видимой части diff. Проверка охватывает Python-репозитории, один бенчмарк и одну конфигурацию генератора и судьи. Перегенерация рубрики создаёт больше вариации, чем повторный суд той же рубрики. Эти пределы важны для чтения результата.

Практическая ценность метода — в промежуточном сигнале между бинарными тестами и целостным суждением модели. Исследование репозитория добавляет локальный контекст. Статическая оценка diff позволяет недорого проверить много кандидатов. Взвешенные критерии показывают, какие выбранные требования, похоже, выполнены. Лучше всего интерпретировать такой сигнал рядом с тестами для анализа частичного прогресса. Если запуск возможен, тесты остаются прямым свидетельством поведения на своих входах. Если нельзя, рубрика даёт структурированную оценку с явно обозначенной неопределённостью и областью охвата.