Le benchmark d'Epoch AI : six grands modèles de langage en tête, mais aucun n'atteint la qualité du travail de ses propres employés
Points clés
- •Les Automation Reports d'Epoch AI, publiés le 8 octobre 2026, ont révélé qu'aucun des six grands modèles de langage testés n'a atteint le seuil de qualité de 100 % défini par le travail de ses propres employés humains.
- •Claude Fable 5.1 et GPT-6 Astra se sont partagé le meilleur score, à environ 65 % de la qualité du travail humain, tandis que Gemini 3.8 Flash a suivi à 42 %, soit un écart de plus de 20 points de pourcentage.
- •L'évaluation a utilisé des tâches ouvertes tirées du travail interne réel d'Epoch, dont la conception graphique et la conception d'études, avec des évaluateurs humains notant les productions selon les normes internes de l'organisation.
- •Tous les modèles testés ont mieux performé sur les tâches structurées comme le code et l'analyse de données, mais chacun a peiné sur le travail ouvert exigeant du jugement ou une adaptation à un public spécifique.
- •Le classement des modèles n'a pas changé entre le 8 octobre et le 17 novembre 2026, et aucun développeur ne s'est imposé de manière décisive sur ce type de travail ouvert.

Epoch AI a soumis six des grands modèles de langage les plus performants à ce qui s'apparentait à un entretien d'embauche — et aucun candidat n'a été retenu. Selon les nouveaux rapports d'automatisation du groupe de recherche, les meilleurs modèles ont atteint en moyenne environ 65 % de la qualité du travail humain sur des tâches internes réelles.
Les Epoch Automation Reports, publiés le 8 octobre 2026 par l'organisation de recherche, ont révélé qu'aucun modèle testé n'a atteint le seuil de qualité qu'Epoch applique au travail réalisé par ses propres employés humains. Les meilleurs se sont arrêtés à environ deux tiers du chemin. Comme le seuil de 100 % est défini par le personnel d'Epoch lui-même et ses tâches internes, les résultats mesurent le barème d'acceptation d'un véritable employeur plutôt qu'un plafond de test abstrait.
Comment s'est déroulée l'évaluation
L'évaluation d'Epoch a utilisé des tâches ouvertes tirées du travail réel au sein de l'organisation, notamment la conception graphique et la conception d'études. Des évaluateurs humains ont ensuite noté chaque production selon les normes internes d'Epoch, avec pour objectif de mesurer quelque chose de plus proche de la performance réelle au travail que d'un concours de questions-réponses. Ce choix de conception compte pour quiconque suit l'adoption de l'IA au travail : une bonne performance sur un benchmark conventionnel ne signifie pas automatiquement que la production d'un modèle serait validée par un employeur.
L'échelle de notation était calée sur les humains : un score de 100 % représente un travail de la qualité attendue d'un employé humain chez Epoch.
Le tableau des scores
Deux modèles se sont partagé la première place, Claude Fable 5.1 et GPT-6 Astra atteignant chacun en moyenne environ 65 % sur l'ensemble des tâches. En bas du classement figurait Gemini 3.8 Flash, avec un score de 42 % — soit un écart de plus de 20 points de pourcentage entre les leaders et le modèle de queue.
Aucun modèle n'a franchi la barre des 100 %. Aucun n'a atteint la parité avec les humains dont le travail a servi de référence.
Les modèles s'en sont mieux sortis sur le travail structuré, le code et l'analyse de données se distinguant comme leurs points forts relatifs. Tous les modèles ont eu du mal avec les tâches ouvertes exigeant du jugement ou une adaptation à un public particulier.
Le classement est également resté stable. Au 17 novembre 2026, les positions n'avaient pas changé depuis la publication d'octobre.
Pourquoi Epoch a créé un autre benchmark
Les rapports d'automatisation d'Epoch sont conçus pour remédier aux insuffisances des mesures de performance conventionnelles en reflétant les tâches que les gens accomplissent réellement au travail. Le projet s'inscrit dans la mission plus large d'Epoch, qui consiste à suivre avec précision les progrès et les capacités de l'IA. Cette approche transforme les comparaisons de modèles en la question que se posent réellement les employeurs : à quel point la production se rapproche-t-elle du travail qu'apporterait un employé humain ?
Ce que signifient ces résultats
Des modèles qui semblent surhumains sur des tests structurés sont restés bien en deçà de la qualité humaine dès que le travail exigeait des arbitrages. Le travail structuré comme le code et l'analyse de données semble être le domaine où les modèles actuels font leurs preuves, tandis que les tâches dépendant de la conscience du public cible et de la discrétion nécessitent toujours un humain dans la boucle — ou du moins un humain vérifiant la production.
Le score de tête partagé par deux laboratoires rivaux suggère qu'aucun développeur ne s'est imposé de manière décisive sur ce type de travail ouvert. Par ailleurs, le score de 42 % de Gemini 3.8 Flash illustre l'ampleur de l'écart possible entre des modèles présentés comme aptes à un usage professionnel.
Entre le 8 octobre et le 17 novembre 2026, aucun modèle n'a gravi le classement. La prochaine sortie de modèle fera face à un test clair et public : pourra-t-elle dépasser environ 65 % sur le type de travail que de véritables employés accomplissent chaque jour ?
Divulgation : cet article est basé sur un reportage de CryptoBriefing, édité par Diego Almada Lopez. Article original : https://cryptobriefing.com/epoch-ai-llms-fail-employee-quality-standard/