Le 11 novembre, des chercheurs de Faros AI ont publié une méthode d’évaluation des patches d’agents de code sans les exécuter. Un premier agent examine le dépôt dans l’état antérieur au changement et rédige des critères binaires pondérés, ancrés dans le code. Un second modèle lit ensuite l’énoncé, le patch et ces critères pour évaluer la part pondérée des exigences apparemment satisfaite. L’article teste le résultat sur 7 291 patches étiquetés provenant de quinze systèmes de SWE-bench Verified. Son résultat central est un classement généralement correct à l’intérieur des tâches où coexistent soumissions résolues et non résolues. Les auteurs présentent le score comme une mesure complémentaire lorsque des tests appropriés ou un environnement exécutable ne sont pas disponibles. Article sur les barèmes liés au dépôt

La proposition cible un coût connu. Lancer un patch peut exiger de restaurer une version précise du dépôt, d’installer des dépendances, de configurer des services, puis d’attendre la fin des tests. Certaines tâches de benchmark ont une couverture incomplète. Certains dépôts possèdent un environnement d’exécution fragile ou coûteux. Les tests restent pourtant la preuve la plus directe du comportement du code sur leurs entrées. Obtenir cette preuve a un coût et leur couverture n’est jamais équivalente à l’ensemble des exigences. Un barème statique offre un autre regard. Il examine si le diff semble implémenter le comportement demandé, préserver le code concerné et éviter des changements collatéraux.

Cette question diffère de « le programme fonctionne-t-il ? ». C’est le centre de l’article. Un patch peut satisfaire des exigences visibles tout en échouant à l’exécution. Un test peut refuser une autre approche acceptable parce qu’il impose un choix d’implémentation absent de l’énoncé. Un barème statique fournit un jugement gradué et décomposable, sans prétendre remplacer les tests. La question est de savoir ce que son score permet de comprendre et quelles preuves restent en dehors de son périmètre.

Comment le barème est construit#

Pour chaque tâche, le premier agent reçoit l’énoncé et le dépôt tel qu’il se présentait avant le changement. Il explore le code et produit des critères en langue naturelle, pondérés et évaluables par oui ou non. Ils sont répartis selon quatre axes : les changements de fichiers, l’alignement sur l’énoncé, l’intégrité du code environnant et le comportement à l’exécution que le diff permet d’inférer. L’axe des fichiers traite du périmètre et de la localisation. Celui de la spécification décrit les attentes. L’intégrité couvre les changements collatéraux tels que l’affaiblissement de tests ou des dépendances sans nécessité.

L’agent rédige les critères avant d’avoir vu le patch candidat et le contenu du patch de référence. Il ne reçoit que le nombre de lignes modifiées de ce dernier, utilisé comme indication approximative de l’ampleur du travail. Les auteurs proposent une règle douce plafonnée pour déterminer la taille du barème. Sur 500 tâches SWE-bench Verified, un barème contient une médiane de dix critères, entre huit et 24. Les changements de référence les plus importants tendent à générer plus de critères. Méthode de génération et validation du barème

Après leur rédaction, le juge reçoit la description du problème, le diff candidat et le texte des critères. Il n’a accès ni au dépôt ni à des outils. Il indique pour chaque critère si le patch le satisfait, puis calcule la fraction pondérée des critères remplis. Un item peut exiger le traitement d’un cas d’entrée, la mise à jour des appels concernés ou l’absence d’affaiblissement des tests. Chaque critère vise un aspect distinct, sans imposer une méthode unique.

Le contexte du dépôt distingue cet instrument d’un modèle jugeant qui ne voit que le problème et le diff. L’exploration initiale peut révéler un contrat local, des types concernés, des points d’appel et le comportement des fonctions voisines. Le juge de seconde étape ne peut pas examiner directement ces éléments. Les critères produits constituent donc une sorte de contexte comprimé. Les auteurs veulent qu’ils restent indépendants de la solution de référence. Deux patches très différents peuvent répondre aux mêmes exigences s’ils résolvent la tâche.

L’instrument possède deux étapes stochastiques. L’agent du dépôt choisit les exigences qui deviennent des critères. Le juge évalue ensuite le diff au regard de ces critères. Cela crée au moins deux sources d’erreur. Le barème peut omettre une exigence réelle ou inclure un détail qui n’est pas obligatoire. Le juge peut mal comprendre le critère ou le patch. Un juge stable ne rend pas le barème exhaustif. Un barème complet ne garantit pas la justesse de chaque décision. Le score final réunit les deux étapes.

Un score n’est pas un pourcentage de travail accompli#

Les auteurs définissent la cible comme la fraction pondérée des exigences d’une tâche et d’un dépôt qui sont visibles et évaluables à partir de l’énoncé et du diff. L’étude ne fait pas établir cet ensemble complet par un humain. Le barème généré en est un échantillon. Un score de 0,8 signifie donc que l’instrument estime que le patch satisfait 80 % des critères pondérés qu’il a échantillonnés pour cette tâche. Ce n’est ni une probabilité de réussir les tests ni l’affirmation que 80 % du travail est fini.

Les scores bruts sont comparables entre patches notés avec le même barème. Des barèmes générés séparément peuvent échantillonner des critères différents, même pour des tâches de taille similaire. L’article utilise donc le classement au sein d’une tâche pour comparer soumissions résolues et non résolues, au lieu de supposer qu’un 0,8 sur un problème signifie la même chose qu’un 0,8 ailleurs. Pour un tableau de bord transversal, les scores peuvent comparer des modèles utilisant le même barème de tâche, mais leur valeur absolue n’est pas une unité universelle de qualité du patch.

La relation entre scores et tests fonctionne dans les deux sens. Un patch peut réussir les tests prévus tout en oubliant une exigence non couverte. Il peut aussi satisfaire la plupart des éléments écrits dans l’énoncé puis échouer à un test qui impose un détail d’implémentation non demandé. Les auteurs citent des tests publics qui rejettent une solution valide en exigeant un nom d’helper ou une chaîne de retour exacte absente de la tâche. Le verdict réussite-échec mesure le comportement sur des entrées déterminées. Le barème estime la satisfaction de critères visibles dans l’énoncé et le diff. Les deux mesures peuvent évoluer dans le même sens si elles couvrent les mêmes exigences, mais elles ne représentent pas les mêmes preuves.

La similarité avec le patch de référence a une autre limite. Elle se calcule sans exécuter le code, mais récompense la ressemblance à une implémentation. Un patch valide peut employer un autre fichier ou algorithme. Le barème vise les exigences indépendantes de la voie de référence. Dans la pratique, l’article constate que les patches qui ressemblent à cette référence reçoivent des scores moyens plus élevés, surtout sur l’axe des fichiers. La conception réduit le sur-spécification sans la supprimer. Interprétation du score et comparaison à la référence

Si un comportement ne peut être établi qu’à l’exécution, le juge de diff ne peut pas l’évaluer. Un patch peut introduire une erreur d’import, un interblocage, une régression de performance ou une incompatibilité avec un appelant non visible, tout en obtenant une bonne note statique. Le juge peut aussi manquer un défaut pourtant lisible dans le texte. Le périmètre du score est délibérément limité aux propriétés évaluables sans tests, exécution du dépôt ou traces. La stabilité des jugements ne doit pas être confondue avec une validation exécutable.

Validation sur SWE-bench Verified#

Les auteurs évaluent leur barème sur SWE-bench Verified, qui réunit 500 tâches Python dans douze dépôts. L’étude utilise des patches publics et leurs verdicts publiés par quinze systèmes. Après retrait des entrées manquantes, il reste 7 299 patches étiquetés, dont 3 688 considérés comme résolvant leur tâche. Un classement par tâche exige au moins une soumission résolue et une non résolue. Quatre cents tâches remplissent cette condition. Les tâches où toutes les soumissions réussissent ou échouent ne permettent pas de vérifier si le score sépare ces deux groupes.

L’AUROC moyenne par tâche est de 0,826 sur les 400 cas contestés. L’AUROC représente ici la probabilité qu’un patch résolu tiré au hasard ait un meilleur score qu’un patch non résolu du même problème, les égalités comptant pour moitié. L’intervalle bootstrap à 95 % sur les tâches va de 0,805 à 0,847. Sur les 415 tâches jamais utilisées pour optimiser le prompt du générateur de barème, la moyenne est de 0,838. Ce résultat indique que l’instrument classe généralement le patch validé avant l’autre au sein d’une tâche. Il ne calibre pas les écarts absolus entre scores et ne couvre pas les tâches à une seule classe de résultats. Résultats SWE-bench Verified

L’article demande aussi si le barème apporte de l’information lorsque le système échoue à ses tests. Un verdict réussite-échec met toutes les défaillances dans la même catégorie, qu’un patch ait manqué un seul test ou enfreint plusieurs exigences. Le classement des systèmes par leur score moyen sur les patches défaillants concorde étroitement avec leur classement par taux de résolution. Sur quinze systèmes, la corrélation de rang de Spearman atteint 0,968, avec un intervalle de 0,928 à 0,971. En ne comparant que les patches défaillants du même problème, elle reste à 0,950.

Cette tendance suggère que les scores de barème révèlent des progrès partiels cachés par le verdict binaire. Parmi les patches non résolus, ceux qui réussissent certains tests obtiennent souvent un meilleur score que ceux qui n’en réussissent aucun. Les patches qui passent les tests ciblés mais introduisent une régression forment également un autre groupe. Les critères permettent un résultat gradué. Une équipe peut ainsi analyser les insuffisances récurrentes d’un agent sans attendre un rapport complet d’exécution pour chaque candidat.

Le classement a néanmoins des limites. Une forte corrélation entre systèmes dans cet échantillon ne prouve pas le bon ordre de chaque paire de patches défaillants. Elle ne montre pas non plus que le score concorde avec les jugements humains sur le patch le plus proche d’une solution complète. Les auteurs limitent leur conclusion à la concordance avec les résultats de test dans une population donnée. Des classements humains indépendants et de nouvelles tâches apporteraient une autre validation.

La répétabilité dépend de la version du barème#

L’étude mesure la répétabilité du juge en notant cinq fois les mêmes patches contre un barème fixe. Sur 400 patches répartis sur 100 tâches, la corrélation des scores entre exécutions est de 0,985 en moyenne, et l’écart-type moyen d’un patch est de 0,020. L’accord moyen du classement de Kendall au sein des tâches atteint 0,960. Avec un barème et une configuration fixes, le juge produit donc généralement des résultats proches lorsqu’il recommence.

Regénérer le barème introduit davantage de variations. Sur 1 451 soumissions étiquetées des mêmes 100 tâches, le score du même patch diffère d’environ 0,11 en moyenne entre générations. L’écart-type des scores par tâche d’une génération à l’autre est environ quatre fois plus élevé que la variation de jugements répétés à barème fixe. Le pouvoir discriminant global varie moins, mais les valeurs individuelles dépendent de l’échantillonnage des critères. Comparer des patches évalués sous deux versions de barème mélange donc qualité du patch et variation des critères.

La configuration du juge change aussi le résultat. Avec un effort de raisonnement moyen, la répétabilité est moindre que dans le réglage de production publié. La variation individuelle monte et, parmi les 400 patches étudiés, les moyennes de cinq essais diffèrent de plus de 0,10 pour 107 d’entre eux. Cela justifie de versionner le modèle juge et le réglage de raisonnement comme des éléments de l’instrument. En revanche, cela n’établit pas quel réglage est le plus exact. Un score reproductible demande de garder les versions du générateur, de la stratégie, du juge, du prompt et des paramètres, et pas seulement le nombre final.

Les critères générés ne constituent pas la liste exhaustive de tout ce qu’un responsable du dépôt pourrait demander. Ils échantillonnent un ensemble implicite beaucoup plus vaste. Le générateur peut omettre une exigence ou inclure une condition trop stricte. Des jugements répétés et stables avec le même barème attestent la répétabilité du juge, pas la complétude de la liste. Générer un autre barème peut révéler une sensibilité au choix des critères. Il faut encore une source indépendante des exigences pour savoir quel élément manquant aurait dû y figurer.

Les patches de référence n’obtiennent pas tous 1,0. Leur score moyen est de 0,814 et leur médiane de 0,880. Sur 500 références, 59 satisfont tous les critères générés, tandis que 47 reçoivent moins de 0,5. Une référence est une solution valide, pas nécessairement une implémentation parfaite de chaque critère inféré. Un score faible peut provenir d’un barème trop étroit, d’une lacune dans la référence ou d’une erreur du juge. La distribution seule ne permet pas de choisir entre ces explications.

Un désaccord peut venir des tests ou du barème#

L’article analyse les raisons des divergences entre tests et barème. Certains tests codent un détail d’implémentation ou un comportement additionnel absent de l’énoncé. Un patch peut respecter la demande et échouer parce qu’un test exige le nom d’une fonction auxiliaire ou une chaîne précise. Ce décalage ne signifie pas que le patch est invalide. L’audit OpenAI cité dans l’article a trouvé des problèmes importants dans les tests ou descriptions de 59,4 % d’un sous-ensemble de tâches SWE-bench Verified sélectionnées parce qu’elles étaient difficiles. Ce taux concerne ce sous-ensemble précis, pas tout le benchmark. Audit OpenAI des tests SWE-bench Verified

Un cas illustre le problème. Une tâche signale un plantage pour une année hors limites. Le patch intercepte l’erreur dans le gestionnaire existant et renvoie la chaîne de repli déjà utilisée pour d’autres entrées mal formées. La référence renvoie une chaîne précise, que le test impose alors que la tâche ne la mentionne pas. Treize des quinze patches publics ajoutent un traitement plus général. Neuf qui ne modifient que widgets.py obtiennent la note maximale. Ici, tests et barème répondent à des questions légèrement différentes. Ce cas ne prouve pas que le barème a toujours raison. Il montre que les désaccords doivent être examinés à la lumière de l’énoncé et du comportement réellement testé.

L’exécution peut également découvrir des défauts manqués par un juge de diff. Dans un cas d’étude, un patch très bien noté ne pouvait pas être importé, car un symbole manquait. Un autre problème exigeait de connaître une condition externe d’exécution. L’inspection textuelle ne prouve pas qu’un patch se construit, lance les services ou préserve le comportement dans tout le dépôt. Les auteurs classent clairement la correction à l’exécution parmi les éléments non mesurés.

La génération des critères et le jugement peuvent eux aussi échouer. Un critère peut exiger à tort le fichier ou la méthode de la référence, alors qu’une autre réalisation serait valable. Le juge peut confondre des symboles proches ou ne pas voir l’interaction avec du code inchangé. Les études de cas examinent à la fois les décalages des tests et les erreurs du barème. Elles montrent des mécanismes possibles, mais n’en estiment pas la fréquence sur l’ensemble des patches.

Il existe également un risque de contamination. Le générateur et le juge ont pu rencontrer dans leurs données d’entraînement des tâches ou références SWE-bench rendues publiques. L’article sépare les patches dont l’écriture diffère de la référence et trouve encore du pouvoir discriminant, mais les scores restent plus élevés pour les patches de forme similaire. Ces contrôles réduisent une explication sans prouver que la mémoire du modèle n’intervient jamais. Une évaluation sur des tâches nouvelles ou privées apporterait une preuve plus forte du transfert au-delà du benchmark public.

Où cette méthode pourrait servir#

Un barème lié au dépôt peut aider les équipes qui veulent comparer des agents sur leur propre code sans pouvoir créer d’environnement d’exécution fiable pour chaque tâche. Elles peuvent choisir des problèmes historiques, restaurer l’état antérieur du dépôt, générer le barème et noter des diffs candidats. Les critères indiquent si les échecs concernent l’alignement à la demande, le comportement à l’exécution, le périmètre du changement ou l’intégrité du code. Ce signal gradué et diagnostique est utile lorsqu’un verdict binaire est trop pauvre.

Selon les tarifs publics de septembre 2026, l’article chiffre le coût médian de génération d’un barème à 0,25 dollar par tâche et le jugement d’un patch candidat à un demi-cent environ. Ces estimations dépendent des prompts, modèles, mises en cache et longueurs de patch employés. Un autre modèle, un diff plus long ou un autre dépôt modifiera la facture. L’exploration du dépôt reste une dépense initiale par tâche. Une fois le barème prêt, la comparaison de nouveaux modèles ou environnements coûte moins cher au niveau des candidats.

La population de validation détermine aussi la portée et le coût de l’interprétation. Elle comprend 500 tâches dans douze dépôts Python et les patches publics de quinze systèmes. Les tâches où toutes les soumissions ont le même statut ne peuvent pas contribuer au classement interne à une tâche. La statistique dépend donc de 400 tâches contestées. Les petits dépôts donnent moins de comparaisons et leurs estimations doivent rester descriptives. Cet échantillon est utile pour comparer plusieurs patches d’un même problème, mais reste plus étroit qu’une évaluation privée, multilingue et diversifiée dans ses types de travaux.

La même génération peut également produire des critères d’acceptation avant le début du codage, comme définition d’achèvement au stade de la planification. Cependant, la règle actuelle de taille du barème dépend du nombre de lignes changées dans le patch de référence. Pour une tâche prospective sans solution, ce chiffre n’existe pas. Il faudrait une règle de taille indépendante de la solution. L’article cite cette application comme une possibilité, pas comme un résultat validé.

Les scores par critère peuvent aider une équipe à choisir un modèle selon le type de tâche. Si un modèle moins coûteux obtient une note similaire à un modèle de pointe sur les petites corrections, il peut convenir à ces cas. Cet usage dépend de barèmes comparables, d’un jugement stable et de tâches représentatives. Il ne faut pas comparer directement les valeurs absolues de rubriques générées indépendamment. L’usage testé est le classement de patches sous un barème commun.

Ce que les preuves permettent de dire#

L’article propose un instrument sans exécution qui estime le degré pondéré de satisfaction des exigences propres à un dépôt, à partir d’un problème, d’un dépôt antérieur au changement et d’un diff candidat. Sur SWE-bench Verified, il classe généralement les patches résolus avant les autres au sein des tâches contestées. Le classement des systèmes fondé sur les scores de leurs patches défaillants suit aussi de près leur taux de résolution. Les critères détaillés donnent davantage d’information qu’un seul verdict binaire.

La validation ne calibre pas la magnitude absolue du score et ne confirme pas indépendamment l’exhaustivité des exigences. Elle ne prouve pas qu’un patch bien noté se construit, s’exécute ou fonctionne correctement hors du contenu du diff. L’étude ne couvre que des dépôts Python, un benchmark, une configuration de générateur et une configuration de juge. Le renouvellement du barème fait varier les scores davantage que les jugements répétés d’un barème fixe. Ces limites sont essentielles à l’interprétation.

L’intérêt pratique consiste à ajouter une couche intermédiaire entre tests binaires et jugement holistique d’un modèle. L’exploration du dépôt apporte un contexte local. La lecture statique du patch permet de noter de nombreux candidats à faible coût. Les critères pondérés indiquent les exigences échantillonnées apparemment satisfaites. L’interprétation est la plus défendable lorsque ce score accompagne les résultats de tests et sert à analyser le progrès partiel. Lorsque l’exécution reste possible, les tests fournissent encore une preuve directe sur leurs entrées. Lorsqu’elle ne l’est pas, le barème peut fournir une estimation structurée dont l’incertitude et le périmètre sont explicités.