Des chercheurs ont présenté STEMBench dans un article déposé sur arXiv le 18 novembre. Le benchmark couvre douze problèmes de physique des hautes énergies, d’astrophysique et de neurosciences. Chaque tâche utilise une mesure de son domaine, par exemple le classement de candidats signal, l’estimation de l’incertitude, la récupération d’un paramètre physique ou la généralisation entre sites d’imagerie médicale. Deux points de comparaison exécutables sont fournis pour chaque tâche. Le premier est une soumission générique sans connaissance spécialisée. Le second reproduit une méthode publiée. Huit modèles de pointe ont été évalués avec un même cadre d’agent. L’article constate que les victoires par tâche ne se traduisent pas mécaniquement en leadership par domaine. Article STEMBench

Le dispositif s’attaque à une question difficile. Un problème scientifique n’a souvent pas de corrigé unique. Plusieurs méthodes peuvent être défendables et la question importante consiste parfois à savoir laquelle prédit mieux sur des données que les deux méthodes n’ont pas vues. Un benchmark doit définir ce que signifie « mieux » avant de lancer un modèle. STEMBench reprend la mesure déjà employée par la communauté scientifique de chaque tâche. L’idée devient plus concrète qu’une réponse rédigée à une question difficile. Il s’agit de vérifier si une méthode soumise et exécutable améliore le résultat d’une mesure de recherche.

Une mesure doit correspondre à une question scientifique#

Le benchmark part de l’écart entre raisonnement scientifique et travail scientifique. Un QCM peut montrer qu’un modèle reconnaît un concept. Un test unitaire peut vérifier que son code satisfait quelques conditions. Un benchmark de reproduction peut vérifier s’il retrouve un résultat publié. Chacun apporte un élément utile. Un chercheur veut aussi savoir si le modèle produit une méthode performante selon la règle d’évaluation du domaine. Cette règle peut combiner précision, incertitude et cohérence physique, au lieu de vérifier une étiquette connue.

Prenons un système chargé de séparer des signaux possibles des événements de fond dans des données de physique des particules. Le benchmark ne peut accepter un script uniquement parce qu’il produit des prédictions au bon format. Il doit aussi mesurer la capacité des prédictions à distinguer les cas importants. La mesure utilisée par les praticiens peut intégrer cette priorité. Un modèle peut rédiger une explication élégante et soumettre un classifieur faible, le résultat numérique restera visible. Il peut aussi obtenir un bon score avec un paquet impossible à reproduire, auquel cas une autre partie de l’évaluation consignera cette limite.

L’article décrit sept propriétés qui distinguent un problème scientifique d’un exercice fermé. Une tâche peut admettre plusieurs méthodes valables. Le livrable peut être un programme ou un modèle entraîné, plutôt qu’un texte. La connaissance du domaine peut être essentielle pour battre une approche générique. Les données peuvent être trop volumineuses pour entrer directement dans une instruction. La métrique du domaine peut contenir des exigences contre-intuitives. Certaines erreurs semblent plausibles et ne sont révélées que par un contrôle scientifique. Enfin, la méthode publiée la plus performante peut rester sous le score parfait et former un plafond pratique. STEMBench essaie d’intégrer ces propriétés dans des tâches exécutables.

Ces choix donnent au benchmark un périmètre plus étroit que le mot « science ». Les douze tâches relèvent de l’analyse informatique de données et de la modélisation. Elles ne testent pas la capacité d’un système à sélectionner une question ouverte importante, concevoir et mener une expérience physique, interpréter toutes les formes de preuves scientifiques ou convaincre une communauté d’adopter une théorie. Leur valeur tient à un sous-ensemble bien délimité où un programme produit un artefact, un résultat peut être calculé sur des données cachées et les spécialistes disposent d’une méthode reconnue pour comparer les approches.

Douze tâches préservent les particularités des disciplines#

Quatre tâches relèvent de la physique des hautes énergies, trois de l’astrophysique et cinq des neurosciences. La première catégorie comprend la recherche d’anomalies de nouvelle physique, l’incertitude sur le boson de Higgs, l’étiquetage de quarks top et le défi Dark Machines. L’astrophysique couvre l’inversion de spectres Stokes solaires simulés et réels ainsi que la classification de supernovas de type Ia. Les neurosciences incluent la classification de l’autisme entre sites de scanner, l’identification de modèles de masse neurale, la prédiction d’une réponse à une intervention, la récupération de paramètres et la déconvolution du signal BOLD. Le même format d’évaluation porte ainsi sur des travaux différents. Liste et description des tâches STEMBench

Cette variété compte parce qu’une suite d’évaluation peut récompenser une habitude unique sans le vouloir. Un modèle efficace en classification binaire peut réussir plusieurs jeux de données similaires et sembler largement compétent en sciences. STEMBench choisit des familles de métriques et des frontières de cibles cachées différentes. Certaines tâches classent des événements, d’autres prévoient des intervalles, reconstruisent des variables latentes ou testent une réponse causale et le transfert entre sites. Cette diversité réduit la probabilité qu’une seule astuce suffise au sommet du classement. Elle complique aussi l’interprétation d’une moyenne inter-tâches par rapport à un classement homogène.

La taille des données varie aussi beaucoup. Certaines entrées reposent sur des centaines de pseudo-expériences, d’autres sur des centaines de milliers d’événements ou de jets. Une tâche sur les spectres solaires comprend un grand échantillon simulé, alors que sa version réelle se base sur deux rasters. Une classification d’imagerie cérébrale compte 332 participants et est évaluée sur un site de scanner laissé hors de l’entraînement. Le benchmark indique les unités de préparation et d’évaluation afin de montrer ce que couvre un score. Un résultat obtenu sur des milliers d’exemples et un résultat sur une douzaine d’interventions ne sont pas également stables simplement parce qu’ils figurent dans la même table.

L’unité d’évaluation change la conclusion. Dans une recherche d’événements, le score dépend de la quantité de bruit de fond rejetée tout en conservant la détection du signal. Dans l’estimation d’incertitude, un intervalle peut devenir plus étroit en excluant trop de résultats réels, donc la couverture compte. Pour une classification sur données réelles, un site laissé de côté révèle si le modèle dépend des conditions d’acquisition déjà apprises. Les tâches sur modèles de masse neurale sont également distinctes. Identifier une famille de modèles, prédire une intervention et récupérer des paramètres cachés sont trois problèmes différents. Les auteurs les ont séparés afin qu’une moyenne pondérée ne masque pas une faiblesse particulière.

Une métrique propre à une application doit se lire dans son contexte. Les auteurs utilisent celles des communautés de recherche concernées, mais elles ne sont pas interchangeables. Un score de 0,6 dans une tâche n’est pas automatiquement supérieur à 0,5 dans une autre. AUC, vraisemblance, largeur d’intervalle, exactitude de classification et mesures de réponse causale représentent des objectifs différents. La table montre une performance face aux deux repères d’une même tâche. Elle ne peut la convertir en une unité générale de compétence scientifique sans autre choix d’échelle et de pondération.

Deux repères montrent le chemin parcouru#

Pour chaque tâche, STEMBench exécute deux soumissions de référence avec le même code publié que pour les modèles. La référence de base est volontairement simple et n’emploie pas de savoir spécialisé. Ce n’est pas un nombre aléatoire. Selon la tâche, elle peut prédire un quantile de l’échantillon d’entraînement, utiliser le milieu d’une plage de paramètres ou retourner une réponse constante. Le repère expert reproduit une méthode publiée. Les deux sont des artefacts exécutables, pas des valeurs recopiées dans une table d’article. Leurs scores montrent comment la tâche réagit à deux soumissions réelles.

L’écart entre elles est appelé « marge de progression scientifique ». Il mesure la distance entre une approche générique et une réalisation experte précise. Elle peut être large, comme pour une identification de modèle de masse neurale dont les repères vont de 0,000 à 0,900. Elle peut aussi être étroite, comme pour la classification de l’autisme entre sites de scanner, où l’article indique 0,000 à 0,312. Le gain d’un modèle au-dessus de la base peut donc représenter une avancée utile dans un cas et une petite partie seulement de l’écart dans un autre. Score brut et deux repères restent visibles pour juger ce contexte.

La référence experte n’est pas un plafond garanti. C’est une méthode publiée reproduite avec les données et le code du benchmark. Une autre méthode peut obtenir un meilleur score, et une reproduction réelle peut différer du résultat initial. Les auteurs traitent explicitement ce repère comme empirique, pas comme un maximum. Cette nuance est importante. Dire qu’un système a « atteint le niveau expert » donnerait à la référence un sens qu’elle n’a pas. Le test propose un comparateur concret que l’on peut relancer.

La base demande elle aussi une lecture attentive. Certaines métriques sont définies de telle sorte qu’une prédiction générique obtienne naturellement un score proche de zéro. Un repère à zéro peut venir de la définition de la métrique, et non d’un test défaillant. L’écart jusqu’à la référence fournit une échelle pour cette tâche. Si les chercheurs changent ensuite la métrique, les données, la séparation ou l’implémentation experte, la marge changera probablement. Versionner ces éléments aide à préserver le sens d’un résultat ancien.

STEMBench publie le score brut, le gain en points par rapport à la base et les deux repères. L’article évite de faire d’une fraction normalisée de la marge son chiffre principal. Diviser le gain par un intervalle étroit peut amplifier de petites variations. Dans cette suite, certains des intervalles les plus étroits correspondent justement aux défis scientifiques que les auteurs jugent les plus difficiles. Un nombre normalisé pourrait les faire paraître démesurés. Conserver les valeurs séparées réclame plus d’attention, tout en réduisant le risque qu’un résumé commode masque la structure des tâches.

Un cadre partagé est aussi un instrument scientifique#

Les chercheurs ont organisé les douze problèmes autour d’un même contrat de fichiers. Chaque contrat précise la tâche, les rôles des données, les fichiers acceptés, les contrôles, la fonction de score, les dépendances et les besoins de calcul. Les données publiques et d’entraînement peuvent être placées dans l’environnement de l’agent. La vérité terrain reste sur l’hôte du correcteur et n’est lue qu’après la soumission. Le modèle reçoit les informations nécessaires au travail sans voir la partie contenant les réponses. Fichiers de reproductibilité et sommes de contrôle aident à établir le contenu évalué.

Le modèle travaille dans un bac à sable hors ligne. La configuration désactive le réseau et lui donne six outils, parmi lesquels un shell, Python, une exploration structurée des données et une recherche documentaire locale lorsqu’un corpus est fourni. La tâche ne se réduit ainsi pas à retrouver sur le web une réponse publiée. Le modèle doit choisir comment examiner les données, écrire son code, employer les bibliothèques disponibles et placer des essais dans le budget. Les entrées annoncées vont de 0,1 à 12 gigaoctets. L’exploration des données fait partie du travail, et son environnement en fixe les modalités.

Chaque épisode est limité à une heure, un million de tokens et 200 messages. L’agent doit d’abord obtenir une soumission valide afin qu’une limite empêche l’amélioration supplémentaire sans effacer tout travail. Le validateur signale fichiers manquants et erreurs de schéma sans révéler le score. Cette infrastructure crée des conditions répétables pour comparer plusieurs modèles. Elle fait aussi partie du système évalué. Un autre agent, réglage de recherche, interface modèle ou budget pourrait produire des résultats différents avec le même modèle de base.

L’article distingue le résultat numérique de la « validité de la soumission officielle ». Une entrée valide respecte le format demandé et apporte ses fichiers de reproductibilité. Cela ne garantit pas une bonne performance scientifique. Un score numérique ne dit pas non plus si le paquet pourrait être relancé dans un défi officiel. Sur 288 exécutions conservées, 168 ont une validité positive, 64 une validité négative et 56 n’ont pas d’indicateur disponible. Parmi 88 scores nuls, seules 17 exécutions sont explicitement marquées comme invalides. Le zéro n’a donc pas une seule explication. Il peut accompagner un paquet valide mais faible, un paquet invalide ou une information manquante. Évaluation et résultats STEMBench

Les classements divergent selon les tâches et les domaines#

L’article a testé huit modèles de pointe avec un agent de base et un niveau de raisonnement élevé. Chaque point de la comparaison principale est la moyenne de trois exécutions conservées, y compris celles qui ont obtenu zéro. Les barres montrent le minimum et le maximum de ces trois résultats, pas un écart-type ou un intervalle de confiance. Cette distinction change le sens statistique que le lecteur peut attribuer aux écarts. Trois observations offrent un premier aperçu de ce que le benchmark révèle.

Premièrement, gagner de nombreuses tâches ne garantit pas la première place dans un domaine. Opus 5 et Gemini 3.1 Pro mènent chacun cinq des douze moyennes par tâche. GLM 5.2 mène les deux autres. Pourtant, Opus ne domine aucune moyenne de domaine. En physique des hautes énergies, ses victoires ponctuelles coexistent avec des scores inférieurs ailleurs, et sa moyenne reste derrière DeepSeek V4 Pro. Gemini mène l’astrophysique et les neurosciences, tout en affichant un écart important entre ses moyennes. Il faut donc lire les profils par tâche au lieu de choisir un vainqueur au nombre de premières places.

Deuxièmement, la moyenne d’au moins un modèle dépasse le repère expert sur sept tâches. Il s’agit de la recherche de nouvelle physique, de l’étiquetage top, de Dark Machines, des deux inversions de spectres solaires, de la classification de supernovas Ia et de l’identification de familles de modèles de masse neurale. Pour les cinq autres tâches, toutes les moyennes de modèles restent sous la référence. Les écarts concernent l’incertitude de Higgs, la classification de l’autisme entre sites, les prédictions causales des modèles de masse neurale, la récupération de paramètres et la déconvolution BOLD. La même suite contient des dépassements de méthodes publiées et des domaines où les moyennes restent en retrait.

Cette observation demande plus de contexte que « les modèles battent les experts sur sept tâches ». Un repère est l’implémentation d’une méthode publiée, pas un modèle expert impossible à dépasser. Le score relève de la métrique propre à la tâche, des données, de la séparation, du correcteur et du bac à sable. Il montre qu’une moyenne de modèle a dépassé un résultat de référence dans quelques tests. Il n’établit pas qu’un modèle peut remplacer un chercheur, transférer la méthode à un nouveau projet ou publier une conclusion scientifique sans revue. Article STEMBench

Une moyenne forte peut cacher un travail instable#

Trois répétitions donnent un petit échantillon pour un agent stochastique. Plusieurs scores changent nettement d’une exécution à l’autre. L’article comprend aussi des analyses de variance élargies pour certains réglages. L’étiquetage des quarks top en donne un exemple. Les exécutions principales à haut niveau de raisonnement présentent des résultats très différents. Une série avec un budget étendu se regroupe près de 0,94. Elle a toutefois changé le fournisseur d’API et retiré l’accélération GPU. Les auteurs disent que l’expérience n’isole pas la cause de l’écart. Le budget ou l’environnement d’exécution peuvent compter, mais le test ne prouve pas pourquoi.

Les résultats ne progressent pas non plus de façon monotone avec le niveau de raisonnement. Sur la classification liée au site de scanner, le résultat moyen est proche de 0,327 au niveau intermédiaire, alors que les exécutions au niveau élevé donnent zéro. La déconvolution BOLD se dégrade également avec un effort supérieur. Le seul score ne permet pas de savoir si la réponse était invalide, valide mais faible ou tronquée par la limite. Les auteurs renvoient aux traces et aux indicateurs de validité pour distinguer les cas. Un raisonnement plus long n’augmente pas mécaniquement la qualité scientifique quand il entre en concurrence avec un budget d’exécution.

Une validation supplémentaire reste à réaliser. Le cadre passe les tests fonctionnels et chaque contrat passe les vérifications de sommes de contrôle et de notation des repères. Il faut encore demander à des spécialistes d’évaluer en aveugle des soumissions entre base et référence, puis comparer leur classement à la métrique automatique. Les auteurs fixent des objectifs d’accord et décrivent cette étude comme l’étape restante de validation. Un calcul reproductible ne garantit pas à lui seul que l’ordre des résultats reflète les progrès reconnus par des spécialistes. Cette étude compte précisément pour cette raison.

À ce stade, le benchmark est surtout utile comme instrument de recherche inspectable. Ses définitions, ses correcteurs, ses bases et ses références sont visibles. L’article publie aussi l’instruction de l’agent et ses conditions d’exécution. Le lecteur peut examiner le fonctionnement d’un score ou la pertinence d’un repère. L’étude d’accord entre experts répondrait à une autre question, celle de la proximité entre le classement automatique et le jugement des personnes qui connaissent chaque discipline, et non de la capacité du code à s’exécuter.

Comment une équipe peut utiliser ces nombres#

Pour une équipe d’évaluation, la leçon pratique consiste à définir la tâche avant de choisir un gagnant. Un système qui repère des signaux rares en physique des hautes énergies ne demande pas les mêmes critères qu’un outil qui récupère des propriétés solaires à partir de spectres. La base montre le gain face à une méthode générique. L’implémentation experte apporte un autre repère. La métrique du domaine exprime le compromis qui compte pour les chercheurs. Ces éléments aident à comprendre un résultat sans les combiner trop tôt.

La suite peut aussi servir de test de régression lorsqu’un agent de programmation scientifique change. Un autre modèle de raisonnement, cadre d’agent ou outil peut modifier la qualité du code, la durée d’exécution ou le choix des expériences. En gardant la version des tâches et les conditions d’exécution identiques, un institut peut voir cet effet. Les auteurs insistent sur la séparation entre changement du modèle et changement du cadre. Le principe vaut également dans les systèmes locaux. Comparer le modèle A avec les outils X au modèle B avec les outils Y, c’est comparer deux configurations complètes plutôt que les seuls modèles de base.

Les ressources publiques invitent à reproduire et à examiner des tâches précises. Un laboratoire peut se concentrer sur une tâche et en tirer des idées pour son code. Il peut vérifier si un score dépend des sites de collecte, du choix du repère ou du budget. L’article décrit les fichiers et les droits des données, mais un usage réel doit respecter les conditions propres à chaque jeu. ABIDE, utilisé en neurosciences, est soumis à un accord de données. Les éléments d’évaluation doivent rester dans ce cadre et préserver les intérêts des populations concernées.

La liste des tâches ne représente pas toute la recherche. Physique, astrophysique et neurosciences fournissent des domaines riches en calcul. D’autres disciplines s’appuient sur d’autres preuves et normes de méthode. Travail de laboratoire, observation de terrain, jugement juridique ou éthique et recherche théorique peuvent exiger d’autres formes d’évaluation. Ajouter des tâches ne consiste pas seulement à augmenter le nombre. Chaque problème a besoin d’une cible scientifique défendable, d’un indicateur approprié, d’une référence reproductible et d’une frontière de données claire.

Pour comparer des études d’évaluation, STEMBench souligne aussi la valeur des bases publiées. Un score est plus facile à interpréter lorsqu’il est comparé à une solution sans savoir spécialisé et à une méthode experte que l’on peut rerun dans les mêmes conditions. Ces nombres montrent si un test est trivial, pratiquement difficile ou limité par une approche déjà forte. Ils aident aussi à repérer les travaux qui emploient une même étiquette pour des expériences en réalité différentes. Les implémentations de référence et les conditions de passage rendent un résultat moins dépendant du titre de l’article.

Ce qu’un résultat permet de dire#

L’article détaille un benchmark précis et une première comparaison à haut niveau de raisonnement. Il décrit huit modèles, douze problèmes, deux repères mesurés, un environnement hors ligne avec exécution de code et des scores calculés sur des cibles retenues. Cela suffit pour montrer que des classements par tâche peuvent diverger des moyennes de domaine. Cela ne suffit pas pour appeler un système un scientifique, ni pour inférer une compétence scientifique universelle à partir de sept moyennes au-dessus d’un repère. Ces conclusions générales demandent des preuves en dehors de cette suite.

Le signal le plus solide tient à la structure. STEMBench rend l’objet de comparaison plus visible. Le lecteur peut examiner les données vues par le modèle, celles gardées cachées, la métrique appliquée, les performances de la base et de la référence et la validité formelle du paquet. Il conserve aussi des différences de domaine qu’un score agrégé pourrait aplatir. Cela fournit une base concrète aux évaluations ultérieures des capacités scientifiques et des outils d’agent.

La question non résolue la plus importante est la proximité du classement automatique avec le jugement expert. Les auteurs disent que l’étude correspondante reste à faire. Plus de répétitions, une gamme de modèles plus vaste et une revue indépendante aideraient à interpréter les petits écarts. En attendant, score de tâche, classement de modèle, validité, référence experte et variation des exécutions doivent rester des éléments séparés. L’article propose une architecture de benchmark substantielle et un premier passage instructif. Sa table de scores ouvre la discussion sur les agents scientifiques. La validation prévue déterminera le poids que cette table peut porter.