Amazon Web Services a présenté le SageMaker JumpStart Model Leaderboard le 18 novembre 2026. L'entreprise indique couvrir plus de soixante-dix modèles de langage dans SageMaker Studio, en rapprochant trois tests de qualité, la latence, le débit de tokens et un coût estimé des instances. AWS exécute les évaluations de qualité et mesure les configurations de déploiement. Une plateforme commune avec des paramètres visibles réduit le travail nécessaire pour rassembler les chiffres disparates des annonces de modèles. Le tableau fournit ainsi un point de départ structuré, chaque score étant rattaché à son protocole et chaque mesure de déploiement à la configuration qui l'a produite. Annonce de lancement AWS
Prenons une équipe qui choisit un modèle pour son assistance interne. Il lui faut des réponses correctes, un format accepté par son application et un premier retour avant que les salariés pensent que la page est bloquée. Son budget doit aussi couvrir les périodes pendant lesquelles le service reste disponible avec peu de demandes. Le meilleur score de connaissances générales peut convenir, tout comme un modèle plus petit sur une autre machine. Réunir plusieurs mesures aide à poser la décision. L'équipe peut alors chercher la combinaison qui satisfait ses exigences de qualité et de service pour un coût acceptable.
Trois tests conservent leur propre sens#
Les colonnes de qualité au lancement sont BIG-Bench Hard, GPQA Diamond et MMLU-Pro. AWS les affiche séparément. BBH rassemble des tâches de raisonnement difficiles issues de BIG-Bench. La recherche originale montrait déjà que le choix des instructions modifiait la capacité révélée par le test. Cette histoire donne de la valeur à un protocole commun dans un tableau. Elle impose aussi de conserver le protocole pour comparer le même modèle ailleurs. Un score appartient à un modèle qui répond suivant une procédure donnée d'instruction et de génération. Le nom du test désigne les questions, et la méthode détermine comment le modèle les rencontre. Présentation des tests par AWS · Article original sur BBH
La recherche originale sur GPQA proposait des questions scientifiques rédigées par des spécialistes et étudiait leur difficulté pour des non-spécialistes bien informés. Diamond est un sous-ensemble précis, courant dans les comparaisons de modèles. Il renseigne sur la capacité à répondre à des questions difficiles dans un cadre contraint. Une assistance interne peut mobiliser une partie du même raisonnement, avec des exigences supplémentaires concernant la bonne politique d'entreprise, un document à jour et une demande ambiguë. Un score élevé en sciences fournit un signal parmi d'autres. Un jeu de questions réelles permet ensuite de mesurer ce qui se transfère au service de l'équipe. Article sur GPQA
MMLU-Pro accroît la difficulté de l'évaluation à choix multiples, avec davantage de raisonnement et de réponses proposées que dans MMLU. Ses auteurs ont également étudié la sensibilité au style des instructions. L'étendue des matières apporte un autre regard sur les capacités, toujours défini par ce format de tâche. Une entreprise peut aussi vouloir extraire un champ, obtenir une sortie structurée valide ou décider quand demander une précision. Ces exigences peuvent rejoindre le test local à côté du score général. Une évaluation couvrant de nombreuses matières resserre la sélection tout en laissant une place aux mesures du travail exact confié au modèle. Article sur MMLU-Pro
Garder les trois colonnes distinctes évite de fixer pour tous les clients un poids universel aux sciences, aux connaissances générales et aux problèmes de raisonnement. Chaque lecteur peut examiner la partie la plus proche de ses besoins. Les variations de classement deviennent visibles. Un modèle peut mener une colonne et être derrière dans une autre, chaque résultat ne couvrant qu'une partie du travail possible. Une équipe peut pondérer ses exigences métier, définir les conditions obligatoires puis comparer les candidats restants. La décision devient explicite et vérifiable par un collègue, avec des priorités plus faciles à retrouver que celles d'une moyenne globale.
Une méthode commune possède un périmètre#
AWS affirme utiliser le même dispositif d'évaluation et les mêmes réglages pour les modèles, avec une réserve importante précisée dans l'annonce. Les modèles de raisonnement et les autres utilisent des paramètres de génération différents. Pour les modèles de raisonnement, les résultats GPQA Diamond sont moyennés sur dix passages. L'entreprise qualifie les comparaisons entre ces catégories d'approximatives. Un effort supplémentaire peut augmenter les chances de bonne réponse et les ressources nécessaires pour l'obtenir. Comparer avec un autre tableau exige de vérifier la tentative comptée, le nombre de passages et le budget de calcul accordé. Ces conditions font partie du résultat. Précisions d'AWS sur les évaluations
Dix passages peuvent donner lieu à plusieurs statistiques, ce qui rend importante la publication de l'agrégation exacte. La moyenne des tentatives individuelles et la réussite d'au moins une tentative répondent à des questions différentes. Un produit qui dispose d'une seule occasion de répondre se rapproche de la première situation. Un service capable de calculer davantage, de vérifier plusieurs candidats et d'en choisir un possède un autre processus à évaluer. La formulation de l'annonce doit accompagner les chiffres jusqu'à la publication du protocole détaillé. Même avec les mêmes données, choisir une agrégation parce qu'elle rapproche les nombres ne suffit pas à reconstruire une mesure comparable.
Les résultats proches demandent aussi de connaître leur variation. Un modèle stochastique peut répondre différemment d'une exécution à l'autre. La composition particulière d'un jeu de questions peut peser lourd dans un petit écart. AWS conseille de considérer les différences modestes comme des égalités. Cette règle aide à répartir le budget des essais suivants. Une différence nette sur le travail pertinent fournit une base de décision plus claire qu'un faible avantage général accompagné d'un écart beaucoup plus grand de latence ou de dépense. Des intervalles de confiance et un échantillon local reproductible aideraient à voir ce qui subsiste quand le protocole est relancé.
Le fournisseur est également l'opérateur de la plateforme mesurée. Il peut tester directement les configurations déployables par ses clients et possède un intérêt commercial à faciliter ce parcours. Ces deux éléments doivent rester visibles. Le dossier gagne en solidité quand la méthode, les révisions des modèles et les réglages du service sont suffisamment accessibles pour qu'un autre évaluateur comprenne la comparaison. L'annonce AWS renvoie à la documentation JumpStart. Le document consulté expose surtout l'accès aux modèles et leur déploiement. Une reproduction indépendante complète demande encore un ensemble plus détaillé de paramètres d'exécution et l'accès aux configurations concernées. Documentation JumpStart liée par l'annonce
Les menus choisissent aussi une machine#
Deux commandes au-dessus du classement modifient les mesures de performance et de coût. Le profil d'usage sélectionne la charge de test la plus proche de l'application, avec Max Context par défaut. L'objectif d'optimisation choisit une configuration de déploiement pour le modèle et cette charge. Les scores publics de qualité restent identiques lorsque ces menus changent. L'interface permet donc de modifier les mesures de déploiement tout en conservant les colonnes générales. Une équipe qui retient une ligne doit enregistrer le profil et la configuration avec le nom du modèle. Elle conserve ainsi la totalité de l'objet comparé. Explication des profils et objectifs par AWS · Guide du déploiement par cas d'usage
Balanced choisit la configuration dont le coût estimé par token est le plus faible. Cost optimized choisit celle dont le prix horaire de l'instance est le plus bas. Une instance plus grande peut coûter davantage par heure tout en générant assez de sorties pour réduire le coût unitaire sous la charge du test. Une instance moins chère peut convenir à un petit volume et traiter les demandes plus lentement. Les deux intitulés désignent des décisions différentes, mieux éclairées par leur définition. Un ingénieur peut ainsi expliquer pourquoi la ligne au tarif horaire minimal peut devenir moins économique lorsque le trafic reste élevé. Définition des optimisations par AWS
Latency optimized sélectionne le délai jusqu'au premier token le plus faible. Throughput optimized retient le débit maximal et peut recourir au décodage spéculatif. La différence correspond à des usages distincts. Une personne dans une conversation veut un signe rapide que le système répond. Un traitement planifié d'une grande file peut accepter un début plus lent en échange de davantage de travail terminé. Si le même point de terminaison assure les deux fonctions, une configuration unique peut être un compromis. Le test de production devrait donc inclure le mélange de demandes réellement attendu et suivre les exigences de l'application. Définition des objectifs de performance par AWS
La configuration constitue aussi un dossier de reproductibilité. Révision du modèle, type d'instance, logiciel de service et paramètres de génération doivent être conservés lors des essais. Une révision ultérieure peut modifier les réponses ou la capacité, même si le nom général du modèle reste identique. L'équipe peut alors déterminer si un nouveau résultat vient du modèle, du matériel ou de ses propres instructions. Le classement facilite une première comparaison. Enregistrer la configuration permet d'en faire le début d'une expérience et de comprendre plus tard une position temporaire dans le tableau.
L'attente dépasse le premier token#
Le délai jusqu'au premier token mesure l'attente avant le début du flux. Il est utile pour une personne devant une fenêtre de conversation, mais ne représente qu'un moment dans la vie de la requête. Une application peut attendre un objet structuré complet avant d'afficher quelque chose d'utilisable. Une réponse longue peut démarrer rapidement et finir après une réponse courte qui commence plus tard. Le raisonnement interne peut encore changer ce rythme. Le service devrait mesurer le délai jusqu'à une sortie exploitable. Premier token, dernier token et réussite de la tâche peuvent tous être enregistrés avec leur sens propre.
La longueur des instructions change ce parcours. Une question seule et une question accompagnée de nombreux documents nécessitent des traitements d'entrée différents. Des requêtes répétées peuvent profiter d'un cache si le système déployé le permet et si elles partagent des préfixes adaptés. Une pointe de trafic peut créer une file avant la génération. Réseau et recherche documentaire ajoutent du temps hors du point de terminaison du modèle. Les profils normalisés donnent une base pour étudier ces effets. Un test local avec des longueurs d'entrée et des requêtes simultanées représentatives montre ce qui se retrouve dans le service visible par les utilisateurs.
Les latences les plus longues méritent leur propre relevé. La réponse habituelle peut sembler correcte alors qu'un groupe plus petit attend beaucoup plus longtemps. Dans un service interactif, ce groupe peut peser fortement dans les plaintes. Une médiane et un percentile élevé décrivent mieux l'expérience qu'une moyenne isolée. Échecs et délais d'expiration doivent accompagner les mesures, car supprimer les échecs lents améliore artificiellement l'apparence du point de terminaison. Répéter l'essai pendant les variations ordinaires de la charge aide à distinguer une configuration stable d'une configuration performante uniquement pendant un court moment calme.
Les tokens par seconde ont un dénominateur#
AWS définit le débit par requête en tokens par seconde. C'est un angle sur la vitesse de génération. La capacité d'une application dépend aussi des demandes simultanées, du traitement des instructions, de la longueur des sorties et du seuil où une file se forme. Une configuration rapide sur une seule demande peut se comporter autrement dans un service chargé. Pour une file nocturne, l'équipe peut compter les documents terminés par heure avec un taux d'erreur acceptable. Pour une conversation, elle peut compter les sessions simultanées respectant son objectif de réponse. Le token permet un test commun, et la capacité par tâche le relie au travail financé. Définition des mesures par AWS
La tokenisation ajoute une différence. Deux modèles peuvent utiliser des nombres de tokens différents pour exprimer le même contenu, particulièrement entre langues ou dans du code. Un débit plus élevé peut donc correspondre à un écart plus faible en mots ou en enregistrements utiles. Les sorties peuvent aussi contenir des quantités variables d'explications. Dans un service qui extrait dix champs, une réponse plus bavarde génère davantage de tokens sans terminer davantage de travail. Mesurer les sorties valides et exactes par unité de temps et de coût permet de comparer ces comportements. La colonne de débit reste une base utile lorsque son unité est conservée.
Le décodage spéculatif est une technique de service qui peut modifier la vitesse en conservant le comportement de sortie prévu dans les conditions de son algorithme. Son bénéfice dépend des modèles et de la charge de travail. Si la configuration retenue pour son débit l'utilise, le client devrait tester l'ensemble qu'il compte réellement exploiter. Cela rappelle que le modèle et son logiciel de service produisent ensemble la prestation cloud. Le nom du modèle peut laisser dans l'ombre une optimisation rendant une configuration intéressante, ou une condition que l'environnement final de l'équipe ne saura pas fournir.
Le tarif horaire continue de courir#
L'annonce précise que le coût est une estimation des instances SageMaker au tarif horaire à la demande du type d'instance par défaut. Transfert, stockage, composants d'inférence et remises négociées ou liées à un engagement sont exclus. L'estimation permet de comparer les configurations affichées. Le budget complet doit encore intégrer les autres services, le nombre d'heures pendant lesquelles le point de terminaison est provisionné et les variations de la demande. Un tarif horaire prévisible peut laisser un coût d'inactivité important lorsque les requêtes sont rares. Un faible coût unitaire sous charge soutenue renseigne moins sur un service peu sollicité. Périmètre des coûts présenté par AWS
Supposons deux candidats satisfaisant le seuil de qualité. L'un dépense davantage par heure et termine une file plus vite. L'autre coûte moins par heure et fonctionne plus longtemps. Comparer le coût de cette file exige de compter la durée d'activité et les exigences minimales ou permanentes de déploiement. Comparer un service de conversation toujours disponible exige les heures prévues et la capacité nécessaire aux pointes. Les mêmes lignes peuvent conduire à des choix différents. Décrire le calendrier d'exploitation avant de transformer le coût par token d'un essai en prévision mensuelle rend la comparaison plus fidèle.
La définition d'une requête réussie appartient aussi au coût. Un modèle peu cher qui réclame souvent un nouvel essai ou une correction humaine peut revenir cher par tâche terminée. Un modèle plus exact peut encore être un achat mal adapté si son avantage porte sur des travaux absents de l'application. L'évaluation peut compter les résultats corrects acceptés et enregistrer les nouvelles tentatives, les escalades et le temps de révision. L'équipe voit alors si une baisse de la dépense d'inférence économise de l'argent dans l'ensemble du processus. Le prix de l'instance ouvre le calcul. Le test de l'application permet de le compléter.
Les exigences précèdent le classement#
L'outil reprend la recherche et les filtres JumpStart, notamment la licence, le fournisseur et les modalités d'entrée ou de sortie. AWS conseille de commencer par les exigences impératives. Les conditions de la licence doivent permettre l'usage prévu et le modèle doit accepter les entrées de l'application. Son déploiement doit également correspondre aux régions, capacités et règles d'accès de l'équipe. Une ligne très bien notée peut rester sans intérêt si elle exige une autre modalité ou une licence incompatible. Filtrer ces critères tôt réduit les essais de qualité à financer et laisse des candidats réellement déployables. Filtres du classement AWS · Conseils JumpStart sur les licences
La couverture a son propre périmètre. Le lancement se concentre sur les modèles de langage et AWS indique que tous les modèles JumpStart n'ont pas encore reçu de scores. Une case vide signale donc une mesure manquante dans cette vue. Elle ne permet pas de conclure à une mauvaise performance sur le travail de l'équipe. Une organisation peut conserver un candidat spécialisé ou déjà qualifié dans son évaluation locale même s'il est absent du tableau public. Le catalogue aide à découvrir des options déployables, et le protocole d'évaluation peut préserver les candidats adaptés au besoin réel.
De la sélection à une réponse#
Un test représentatif commence par la distribution réelle des tâches. Pour l'assistance interne, cela comprend les questions fréquentes et claires, les demandes ambiguës, les documents longs, les politiques modifiées et les cas exigeant une précision. Les réponses attendues peuvent être écrites avant de voir celles du modèle. Les évaluateurs peuvent examiner l'appui factuel, le format, la complétude et la possibilité pour le salarié d'agir. Ces catégories donnent à l'équipe une carte des erreurs. Elle peut ensuite chercher celles qu'une modification des instructions ou de la recherche documentaire pourrait corriger et celles qui persistent avec des paramètres raisonnables.
La langue fait partie de cette distribution. Une organisation recevant des questions françaises et anglaises peut avoir besoin d'une réponse cohérente sur la même politique. Code, abréviations et noms écrits dans un autre alphabet peuvent modifier la tokenisation et la recherche. Un score général dit peu des formulations précises nécessaires au service. Inclure ces cas avant de choisir le modèle évite de découvrir le manque pendant la première semaine client. L'équipe peut conserver des exemples alignés et faire vérifier leur sens par des lecteurs qualifiés. Un format correct qui altère une condition importante doit rester un échec dans le dossier.
Le test doit aussi rendre la comparaison reproductible. Le même jeu de tâches, les révisions des modèles et des instructions documentées permettent de donner le même travail à chaque configuration. Des tentatives répétées révèlent la variation tout en distinguant une réussite moyenne du choix de la meilleure réponse parmi plusieurs. Un échantillon gardé à l'écart de l'ajustement des instructions indique si les progrès dépassent les exemples utilisés pendant le développement. L'essai local peut se concentrer sur une description crédible du respect des exigences par cette application et du degré de certitude associé à ce résultat.
Après le déploiement, ce dossier peut devenir un petit jeu de régression. Un changement de modèle, de source documentaire ou de configuration de service peut être vérifié avant de toucher tous les utilisateurs. Le service en exploitation peut également conserver, suivant ses règles de données, des agrégats sur les délais, les résultats acceptés et les catégories d'échec. Cela aide à distinguer un problème du modèle, un document manquant et une pointe de trafic. Comparer les résultats ultérieurs avec le choix initial transforme la sélection en décision d'ingénierie continue. Qualité et coût restent ainsi explicables lorsque le travail et les produits sous-jacents évoluent.
AWS propose déjà dans Studio des intégrations d'évaluation de modèles fondamentaux. La documentation couvre notamment le résumé, les questions-réponses et la classification, avec une disponibilité variable selon les modèles. Ces outils peuvent prolonger le classement. Des vérifications particulières peuvent encore être nécessaires pour le format, les politiques et l'exploitation de l'application. Une comparaison de tableau gagne en valeur quand elle conduit à des éléments que les responsables peuvent examiner et reproduire. Ce dossier peut alors justifier le choix de déploiement avec une profondeur supérieure à celle d'une seule position dans un classement. Documentation AWS sur l'évaluation dans Studio
La nouvelle vue améliore le point de départ du client AWS en réunissant qualité, mesures de déploiement et périmètre explicite des coûts. Son intérêt grandira si configurations, méthodes et révisions restent faciles à examiner pendant l'élargissement de la couverture. La prochaine preuve pour l'acheteur viendra de sa propre charge sur la configuration sélectionnée, avec qualité, attente et coût complet mesurés ensemble. Le classement accélère la première décision. Un résultat applicatif conservé et reproductible donne une base défendable au choix final.