18 ноября 2026 года Amazon Web Services представила SageMaker JumpStart Model Leaderboard. По данным компании, таблица охватывает более семидесяти языковых моделей в SageMaker Studio и объединяет три оценки качества с задержкой, скоростью генерации токенов и расчётной стоимостью инстансов. AWS сама проводит проверки качества и измеряет конфигурации развёртывания. Общая платформа и видимые настройки сокращают работу по сбору несопоставимых чисел из отдельных анонсов. Получается структурированная отправная точка, где оценка связана с процедурой проверки, а показатель развёртывания с конфигурацией, на которой его получили. Анонс AWS

Представим команду, которая выбирает модель для внутренней службы поддержки. Ей нужны правильные ответы, формат, принимаемый приложением, и первый отклик до того, как сотрудники решат, что страница зависла. Есть и бюджет на всё время доступности сервиса, включая часы с редкими запросами. Модель с лучшей оценкой общих знаний может подойти, но шанс есть и у меньшей модели на другом оборудовании. Несколько показателей в одном окне помогают сформулировать решение. Затем команда может искать сочетание, удовлетворяющее требованиям к качеству и обслуживанию при приемлемых расходах.

Три теста сохраняют собственный смысл#

На старте в таблице представлены BIG-Bench Hard, GPQA Diamond и MMLU-Pro. AWS показывает их отдельно. BBH состоит из сложных задач на рассуждение, выбранных из BIG-Bench. Исходное исследование показало, что способ формулировки запроса меняет объём выявленных способностей модели. Поэтому единая процедура внутри таблицы ценна. При сравнении той же модели с другими публикациями процедуру тоже нужно сохранять. Оценка относится к модели, отвечающей при конкретных инструкциях и правилах генерации. Название теста определяет вопросы, а метод определяет, как модель с ними сталкивается. Описание тестов AWS · Исходная работа о BBH

Авторы GPQA предложили научные вопросы, составленные специалистами, и исследовали их сложность для хорошо подготовленных людей из других областей. Diamond представляет собой конкретную выборку, распространённую в сравнениях моделей. Она даёт сведения об ответах на трудные вопросы с заданными ограничениями. Внутренней поддержке могут потребоваться некоторые из тех же рассуждений, а также правильная корпоративная политика, актуальный документ и аккуратная работа с неоднозначным запросом. Высокий балл по научным вопросам даёт один из сигналов. Набор реальных обращений команды позволяет выяснить, насколько этот сигнал переносится на её сервис. Работа о GPQA

MMLU-Pro усложняет проверку с выбором ответа, добавляя рассуждения и больше вариантов по сравнению с исходным MMLU. Авторы также изучали чувствительность к стилю запросов. Широкий набор предметов даёт ещё один взгляд на способности, ограниченный этим форматом задачи. Компания при внедрении может также оценивать извлечение поля, правильность структурированной выдачи и решение о необходимости уточняющего вопроса. Эти требования можно включить в локальный тест вместе с общей оценкой. Межпредметный тест сужает круг кандидатов, оставляя место для измерений конкретной работы модели. Работа о MMLU-Pro

Раздельные колонки избавляют от универсального веса, который пришлось бы назначить науке, широким знаниям и задачам на рассуждение для всех клиентов. Читатель может смотреть на часть, близкую его потребностям. Различия в позициях тоже видны. Модель может лидировать в одной колонке и отставать в другой, причём каждый результат описывает лишь часть возможной работы. Команда может назначить веса своим требованиям, определить обязательные условия и сравнить оставшихся кандидатов. Решение становится явным и доступным проверке коллегой. Приоритеты в нём восстановить проще, чем в общем среднем балле.

У общей методики есть границы#

AWS заявляет, что использует одинаковую оценочную среду и настройки для моделей, одновременно указывая существенную оговорку. Рассуждающие модели и остальные модели получают разные параметры генерации. Оценки GPQA Diamond для рассуждающих моделей усредняются по десяти проходам. Компания называет сравнение этих типов приблизительным. Дополнительное вычисление может повысить вероятность верного ответа и увеличить затраченные ресурсы. Для сравнения с другой таблицей нужно проверить, какая попытка учтена, сколько было запусков и какой бюджет получила модель. Условия входят в состав результата. Оговорки AWS о проверках

Из десяти запусков можно получить разные статистики, поэтому точное правило агрегации важно публиковать. Средний результат отдельных попыток и успех хотя бы одной попытки отвечают на разные вопросы. Продукт с одной возможностью ответить пользователю ближе к первому случаю. Сервис, который может потратить больше ресурсов, проверить кандидатов и выбрать одного, требует оценки другого процесса. Формулировку анонса стоит сохранять вместе с числами до появления подробной процедуры. Даже на одинаковом наборе данных нельзя восстановить сопоставимое измерение, выбрав агрегацию лишь потому, что с ней числа становятся похожими.

Близким результатам нужна оценка разброса. Стохастическая модель может отвечать по-разному при повторных запусках. Конкретный состав конечного набора вопросов способен сильно повлиять на небольшую разницу. AWS рекомендует считать малые разрывы ничьей. Это помогает решить, куда направить бюджет дальнейших испытаний. Явная разница на нужной работе даёт более определённое основание для действия, чем крошечное преимущество общего балла с гораздо большим отличием задержки или расходов. Доверительные интервалы и повторяемая локальная выборка помогли бы понять, какие различия сохраняются при новом запуске.

Поставщик одновременно управляет измеряемой платформой. Ему удобно проверять конфигурации, которые клиент может развернуть, и коммерчески выгодно делать этот путь полезным. Обе стороны положения нужно учитывать. Запись становится убедительнее, когда методика, версии моделей и параметры обслуживания доступны другому оценщику. Анонс AWS направляет за деталями в документацию JumpStart. Изученная страница в основном описывает общий доступ к моделям и их развёртывание. Для полного независимого воспроизведения по-прежнему нужен более подробный набор параметров запусков и доступ к самим конфигурациям. Документация JumpStart по ссылке из анонса

Меню выбирают также и машину#

Два элемента управления над таблицей меняют представление скорости и стоимости. Профиль применения задаёт стандартную нагрузку, близкую приложению, с Max Context по умолчанию. Цель оптимизации выбирает одну конфигурацию развёртывания для модели и этой нагрузки. Общедоступные оценки качества при переключении меню остаются прежними. Интерфейс позволяет менять измерения развёртывания при фиксированных общих колонках. Команде, выбравшей строку, нужно сохранить профиль и конфигурацию вместе с названием модели. Тогда в записи останется весь объект, который она сравнивала. Объяснение профилей и целей AWS · Руководство по развёртыванию под задачу

Balanced выбирает конфигурацию с минимальной расчётной стоимостью токена. Cost optimized выбирает минимальную почасовую цену инстанса. Более крупный инстанс может стоить дороже за час и генерировать достаточно полезного вывода, чтобы снизить стоимость токена при тестовой нагрузке. Дешёвая машина может подойти небольшому потоку и медленнее обрабатывать запросы. Названия обозначают разные решения, а определения объясняют их лучше самих ярлыков. Инженер получает способ показать, почему минимальная почасовая строка при устойчивом объёме может оказаться менее экономичной. Определения оптимизаций AWS

Latency optimized выбирает минимальное время до первого токена. Throughput optimized выбирает максимальную пропускную способность и может использовать спекулятивное декодирование. Различие соответствует разной работе. Человеку в чате нужен быстрый признак того, что система отвечает. Плановая обработка большой очереди может дольше ждать начала ради большего объёма завершённых задач. Если один сервис обслуживает оба сценария, единая конфигурация может стать компромиссом. Поэтому испытание перед внедрением должно включать реальное сочетание запросов и следовать требованиям приложения. Определения целей производительности AWS

Конфигурация служит и записью для воспроизведения. При проверке кандидата стоит сохранить ревизию модели, тип инстанса, обслуживающее ПО и параметры генерации. Последующая ревизия может изменить ответы или ёмкость сервиса при прежнем общем названии модели. Тогда команда сможет определить источник нового результата в модели, оборудовании или собственном запросе. Таблица облегчает первое сравнение. Сохранённая конфигурация превращает его в начало эксперимента и позволяет позже понять временную позицию в рейтинге.

Ожидание продолжается после первого токена#

Время до первого токена показывает ожидание до начала потока ответа. Оно полезно человеку перед окном чата, но описывает лишь одну точку на временной линии запроса. Приложению может понадобиться весь структурированный объект, прежде чем оно покажет что-либо полезное. Длинный ответ может быстро начаться и закончиться позже короткого ответа с более медленным началом. Внутренние рассуждения создают ещё один ритм. Сервису стоит измерять задержку до результата, которым пользователь способен воспользоваться. Первый токен, последний токен и успешное выполнение задачи можно записывать отдельно с собственным смыслом.

Длина запроса меняет эту временную линию. Отдельный вопрос и вопрос с большим набором документов требуют разной обработки входа. Повторные обращения могут использовать кеш, если развёрнутая система его поддерживает и запросы содержат подходящие одинаковые префиксы. Всплеск трафика создаёт очередь ещё до генерации. Передача по сети и поиск добавляют время за пределами конечной точки модели. Стандартные профили дают базу для изучения этих эффектов. Локальное испытание с характерными длинами входа и параллельными запросами показывает, что переносится в сервис, который увидят люди.

Долгие задержки заслуживают отдельной записи. Типичный ответ может выглядеть нормально, пока меньшая группа ждёт намного дольше. В интерактивном сервисе эта группа способна определять значительную долю жалоб. Медиана и высокий процентиль описывают опыт яснее одного среднего значения. Ошибки и тайм-ауты должны оставаться рядом с измерениями задержки. Удаление медленных неудачных запросов улучшает вид сервиса за счёт исключения его худшего поведения. Повторение испытания при обычных колебаниях нагрузки поможет отличить устойчивую конфигурацию от той, которая хорошо работала лишь во время короткого затишья.

У токенов в секунду есть знаменатель#

AWS определяет пропускную способность на запрос в токенах в секунду. Это один взгляд на скорость генерации. Ёмкость приложения зависит также от одновременных обращений, обработки входа, длины выхода и момента образования очереди. Конфигурация, хорошо работающая с одним запросом, может иначе вести себя под нагрузкой. Для ночной очереди команде может быть важно число документов в час при допустимом уровне ошибок. Для чата важно число одновременных сеансов, укладывающихся в цель по отклику. Токены помогают сравнить общий тест, а выполненные задачи связывают его с оплачиваемой работой. Определения показателей AWS

Токенизатор добавляет ещё одно отличие. Две модели могут выражать одинаковое содержание разным числом токенов, особенно в разных языках или в коде. Поэтому более высокая скорость токенов может означать меньшую разницу в словах или полезных записях. Объём пояснений в выводе тоже меняется. Сервису извлечения десяти полей многословная модель способна дать больше токенов при том же количестве завершённой работы. Число правильных валидных результатов на единицу времени и расходов помогает сопоставить такое поведение. Общая колонка скорости сохраняет ценность базового измерения, когда её единицы остаются явными.

Спекулятивное декодирование является технологией обслуживания, способной менять скорость при сохранении предусмотренного поведения вывода в условиях соответствующего алгоритма. Польза зависит от моделей и нагрузки. Если выбранная по пропускной способности конфигурация его использует, клиенту стоит проверять ту же схему, которую он намерен эксплуатировать. Это показывает более общий принцип облачного выбора. Модель и реализация обслуживания совместно создают сервис. Одно название модели может скрыть оптимизацию, делающую конфигурацию привлекательной, или требование, которое итоговая среда команды предоставить не сможет.

Почасовая цена продолжает начисляться#

Анонс определяет стоимость как оценку расходов на инстанс SageMaker по почасовому тарифу по требованию для типа инстанса по умолчанию. Передача данных, хранение, компоненты инференса и договорные или долгосрочные скидки в неё не входят. Оценка позволяет сравнить показанные конфигурации, а полный бюджет требует остальных сервисов. Команде также нужно определить время выделения конечной точки и изменение спроса. Предсказуемая почасовая цена может оставить значительные расходы простоя у сервиса с редкими запросами. Низкая удельная цена при устойчивой тестовой нагрузке меньше говорит о малоиспользуемом сервисе. Пределы оценки стоимости AWS

Допустим, два кандидата удовлетворяют порогу качества. Один требует больше денег в час и быстрее заканчивает очередь. Другой дешевле в час и работает дольше. Для сравнения стоимости очереди нужно учесть время активности каждого и минимальные или постоянные требования развёртывания. Для всегда доступного чата нужны ожидаемые часы обслуживания и ёмкость на пике. Одни и те же строки могут привести к разным решениям. Описание режима эксплуатации до пересчёта тестовой стоимости токена в месячный прогноз делает сравнение точнее.

Определение успешного запроса тоже входит в стоимость. Дешёвая модель, которой часто нужны повторная попытка или исправление человеком, может дорого обходиться на завершённую задачу. Более точная модель также бывает неудачной покупкой, если её преимущество относится к работе, которой команда не занимается. Полезная оценка считает принятые правильные результаты, повторные запросы, передачу другим исполнителям и время проверки. Это позволяет увидеть, экономит ли снижение расходов инференса деньги во всём процессе. Оценка цены инстанса начинает расчёт. Испытание приложения помогает его завершить.

Требования предшествуют позиции#

Инструмент использует поиск и фильтры JumpStart, включая лицензию, поставщика и модальности входа и выхода. AWS рекомендует сначала отфильтровать обязательные требования. Условия модели должны разрешать предполагаемое использование и принимать входные данные приложения. Развёртывание должно соответствовать регионам, доступной ёмкости и политике доступа команды. Высокий балл может оказаться бесполезен системе, которой нужна другая модальность или несовместимая лицензия. Ранняя проверка этих условий сокращает число оплачиваемых испытаний качества и оставляет реалистичных кандидатов. Фильтры таблицы AWS · Указания JumpStart по лицензиям

Охват имеет свои границы. На старте внимание уделено языковым моделям, и AWS сообщает, что оценки ещё получили не все модели JumpStart. Пустая оценка обозначает недостающее измерение в этой таблице. Из неё нельзя вывести плохую работу кандидата на задаче команды. Организация со специализированной или ранее квалифицированной моделью может сохранить её в локальном сравнении даже при отсутствии публичного балла. Каталог помогает находить доступные для развёртывания варианты, а проект оценки может сохранять кандидатов, подходящих реальным требованиям.

От списка кандидатов к ответу#

Репрезентативное испытание начинается с реального распределения задач приложения. Для поддержки это частые ясные вопросы, неоднозначные обращения, длинные документы, изменённые политики и случаи, когда нужно уточнение. Ожидаемые ответы можно написать до просмотра вывода модели. Проверяющие могут оценить фактическую опору, формат, полноту и возможность сотрудника действовать по ответу. Набор с такими категориями создаёт карту ошибок. Затем команда сможет выяснить, какие проблемы могут исправить запрос или поиск документов и какие сохраняются при разумных настройках.

Язык является частью этого распределения. Организации с вопросами на французском и английском может потребоваться одинаковое изложение политики на обоих языках. Код, сокращения и имя в другой письменности способны менять число токенов и поиск. Общий балл знаний мало устанавливает точные формулировки местного сервиса. Включение таких случаев до выбора модели помогает избежать обнаружения пробела в первую клиентскую неделю. Команда может сохранить согласованные примеры и поручить квалифицированным проверяющим оценить смысл. Верный формат с изменённой важной оговоркой должен остаться неудачным ответом в записи.

Испытание должно делать сравнение повторяемым. Одинаковые задачи, ревизии моделей и документированные инструкции позволяют дать каждой конфигурации одну и ту же работу. Повторные попытки выявляют разброс и сохраняют различие между средним успехом и выбором лучшего ответа из нескольких. Отдельная выборка, не участвующая в настройке запросов, показывает перенос улучшений за пределы уже использованных примеров. Локальная проверка может сосредоточиться на достоверном описании соответствия данного приложения требованиям и степени уверенности в этом выводе.

После внедрения та же запись может стать небольшим регрессионным набором. Новую версию модели, новый источник поиска или другую конфигурацию обслуживания можно проверить до распространения на всех пользователей. Работающий сервис также может хранить агрегированные сведения о задержках, принятых результатах и категориях сбоев согласно собственной политике данных. Это помогает различать новую проблему модели, недостающий документ и всплеск трафика. Сравнение последующих результатов с исходным решением делает выбор постоянной инженерной работой. Качество и расходы остаются объяснимыми при изменении нагрузки и базовых продуктов.

AWS уже предлагает в Studio интеграции оценки фундаментальных моделей. Документация охватывает суммаризацию, вопросы и ответы, классификацию и другие задачи, с разной доступностью для моделей. Эти инструменты могут продолжить этап после таблицы. Приложению могут также понадобиться собственные проверки формата, политик и эксплуатации. Сравнение в интерфейсе приобретает большую ценность, когда ведёт к сведениям, которые сопровождающая команда способна изучить и воспроизвести. Такая запись даёт решению о развёртывании более содержательное обоснование, чем отдельная позиция в рейтинге. Документация AWS об оценке в Studio

Новая страница улучшает отправную точку для клиента AWS, соединяя оценки качества, измерения развёртывания и определённый состав расходов. Её ценность вырастет, если при расширении охвата конфигурации, методы и версии останутся доступными для изучения. Следующее свидетельство покупатель получит на своей нагрузке в выбранной конфигурации, измерив вместе качество, ожидание и полную стоимость. Таблица ускоряет первый шаг. Сохранённый и повторяемый результат приложения делает окончательный выбор обоснованным.