Des chercheurs de Microsoft ont trouvé un moyen de faire surpasser à un modèle d'IA moins cher son propre mode de raisonnement coûteux, et l'astuce revient à peu près au prix d'un café au lait.

Un article publié le 11 août, intitulé « Reason Wide, Not Deep: Amortizing the Reasoning Premium into Distilled Skills », présente une méthode passive de distillation de compétences qui extrait des ensembles de règles compacts à partir d'un petit nombre d'exemples de tâches. Ces règles, rédigées en markdown simple, sont injectées dans le prompt système d'un modèle et lui enseignent effectivement des raccourcis qui contournent le besoin d'un raisonnement coûteux en chaîne de pensée. Le modèle cible ici est GPT-5.4-mini, lancé en mars dernier.

Ce résultat dépasse une simple victoire sur un benchmark. Les modes de raisonnement augmentent les coûts d'inférence car ils génèrent de longues chaînes de tokens intermédiaires avant de répondre, et la sortie de tokens est l'un des principaux facteurs de coût pour les fournisseurs d'IA à grande échelle. Réduire les tokens de sortie par des facteurs multiples — tout en maintenant ou en améliorant la précision — modifie directement l'économie de l'exécution de charges de travail agentiques en production, où une même tâche peut être exécutée des milliers, voire des millions de fois.

Comment cela fonctionne

Le processus est d'une simplicité trompeuse. Un agent de codage examine entre 35 et 50 trajectoires de tâches, essentiellement des enregistrements de la manière dont un modèle a abordé — et parfois échoué à — des tâches spécifiques. À partir de ces trajectoires, l'agent distille un « document de compétences » en langage naturel de 40 à 130 lignes de markdown. Il ne s'agit ni d'embeddings abstraits ni d'ajustements de poids issus d'un fine-tuning. Ce sont des règles lisibles et auditables, dérivées de ce qui a mal et de ce qui a bien fonctionné.

Cette lisibilité constitue une rupture significative par rapport aux deux méthodes dominantes d'intégration de connaissances de domaine dans les modèles : le fine-tuning, qui nécessite des phases d'entraînement et du matériel spécialisé, et les approches opaques fondées sur la récupération d'informations ou les embeddings. Comme les connaissances distillées se trouvent en texte brut, les développeurs peuvent inspecter, modifier et gérer les versions d'un document de compétences comme ils le feraient pour n'importe quel autre élément de prompt — sans pipeline MLOps nécessaire.

Une fois ce document de compétences intégré dans le prompt système d'un modèle non raisonneur, quelque chose d'intéressant se produit. Le modèle récupère entre 55 % et plus de 100 % de l'écart de performance qui sépare normalement les modes raisonneur et non raisonneur. En termes plus simples, le mode économique commence à fonctionner comme le mode coûteux — et parfois mieux.

Le coût de calcul pour générer le document de compétences de chaque domaine se situe entre 1 et 3 dollars, sans réentraînement du modèle nécessaire.

Résultats des benchmarks

L'équipe de recherche, dirigée par Agamdeep Singh, Srishti Gautam, Priyanshu Gupta, Nikita Mehrotra, Tanmay Bakshi et Sumit Gulwani, a évalué l'approche sur quatre benchmarks agentiques, dont ALFWorld et SpreadsheetBench-Verified.

Sur ALFWorld, le GPT-5.4-mini enrichi de compétences a atteint un score de 0,787, tandis que le mode de raisonnement complet a obtenu 0,713. La version moins chère et plus rapide n'a pas seulement comblé l'écart — elle l'a dépassé.

Sur l'ensemble des benchmarks, le modèle augmenté de compétences a utilisé 2,7 à 6 fois moins de tokens en sortie que le mode de raisonnement. Moins de tokens signifie aussi des réponses plus rapides, un avantage pratique pour les agents interactifs où la latence façonne l'expérience utilisateur.

S'appuyer sur SkillOpt

L'article s'appuie directement sur le framework SkillOpt de Microsoft, publié en juin, qui a repensé les compétences des agents comme des paramètres entraînables plutôt que des poids de modèle statiques. SkillOpt a démontré un gain moyen de 23,5 points pour GPT-5.5 sur six benchmarks, établissant le fondement théorique selon lequel les compétences pouvaient être optimisées indépendamment du modèle sous-jacent.

La nouvelle méthode de distillation rend ce concept radicalement plus accessible. Comme les documents de compétences ne sont que des fichiers markdown injectés via des prompts système, ils fonctionnent avec les stratégies de déploiement existantes — pas d'infrastructure d'inférence personnalisée, pas de matériel spécialisé et aucun réentraînement nécessaire.

Pour les praticiens, les questions ouvertes concernent la durabilité des compétences distillées à mesure que les modèles sous-jacents sont mis à jour, et la généralisation de l'approche au-delà des domaines agentiques testés — des questions auxquelles les résultats des benchmarks ne répondent pas encore à eux seuls.