ActualitésMacroLes chercheurs ont testé si les agents IA pouvaient mener des recherches scientifiques de manière autonome — ils ont échoué

Les chercheurs ont testé si les agents IA pouvaient mener des recherches scientifiques de manière autonome — ils ont échoué

Auteur: Decrypt·

Points clés

  • Des chercheurs de Princeton, Stanford, de l'Institut britannique de sécurité de l'IA et d'autres institutions ont évalué si les agents IA de pointe pouvaient mener de manière indépendante des recherches originales en IA en utilisant des questions issues de deux articles inédits de NeurIPS 2026.
  • Chaque agent IA a disposé de six jours, de milliers de dollars de crédits API, de ressources GPU, d'un accès à Internet et d'une machine virtuelle, pourtant les deux articles obtenus ont été rejetés par les auteurs originaux.
  • Les agents ont accompli avec succès des tâches d'ingénierie, notamment des revues de littérature, le débogage de logiciels, l'exécution d'expériences et la production complète d'articles sans intervention humaine.
  • Les évaluateurs ont conclu que les systèmes n'avaient pas réussi à générer des contributions scientifiques originales, et l'étude a identifié cinq modes d'échec récurrents qui ont empêché la production de recherches publiable.
  • Les auteurs ont averti que l'étude n'a examiné que deux projets et ont reconnu des limites telles que la petite taille de l'échantillon et l'implication des chercheurs originaux dans l'évaluation des articles générés par IA.
Les chercheurs ont testé si les agents IA pouvaient mener des recherches scientifiques de manière autonome — ils ont échoué

Une nouvelle étude a révélé que, si les agents IA de pointe actuels peuvent accomplir de nombreuses tâches d'ingénierie requises pour la recherche en IA, ils n'ont pas réussi à produire un travail original digne d'être accepté lors d'une conférence majeure d'apprentissage automatique.

Dans l'étude, intitulée « Les agents IA peuvent-ils mener des recherches ouvertes en IA ? » et publiée mercredi, des chercheurs de l'Université de Princeton, de l'Institut britannique de sécurité de l'IA, de l'Université de Stanford, de l'Université de Toronto et de plusieurs autres organisations académiques et de recherche ont évalué si les agents IA de pointe pouvaient mener de manière indépendante des recherches originales en IA. La question est devenue d'autant plus urgente que les laboratoires d'IA présentent de plus en plus leurs systèmes comme des outils capables d'accélérer la découverte scientifique, et que les chercheurs de toutes les disciplines commencent à intégrer des assistants IA dans leurs flux de travail.

« Pour répondre à cette question de manière rigoureuse, il faut de véritables questions de recherche non contaminées que l'agent ne pourrait pas mémoriser à partir de ses données d'entraînement ou trouver en ligne », ont écrit les chercheurs. « Pour satisfaire à ces exigences, nous nous appuyons sur des recherches en IA de haute qualité qui n'étaient pas publiques au moment où nous avons mené les expériences. »

Les chercheurs ont fourni aux agents IA les questions de recherche centrales de deux articles inédits de NeurIPS 2026, empêchant ainsi les systèmes de récupérer les réponses dans leurs données d'entraînement ou sur le web. Chaque agent a disposé de six jours, de milliers de dollars de crédits API, de ressources GPU, d'un accès à Internet et d'une machine virtuelle pour produire un article de qualité conférence. Les auteurs originaux des recherches inédites ont ensuite examiné les articles obtenus. Les deux ont été rejetés.

L'étude a identifié cinq modes d'échec récurrents qui ont empêché les systèmes IA de produire des recherches publiable. Les agents ont accompli avec succès une grande partie du travail d'ingénierie nécessaire — menant des revues de littérature, déboguant des logiciels, exécutant des expériences, gérant les ressources GPU et produisant des articles académiques complets sans intervention humaine. Cependant, les évaluateurs ont conclu que les systèmes n'avaient pas réussi à générer des contributions scientifiques originales dignes de publication. Cette distinction — entre l'automatisation de l'échafaudage mécanique de la recherche et la production d'une véritable percée scientifique — est au cœur des débats actuels sur l'étendue des capacités de l'IA.

Les auteurs ont noté que leur évaluation mesure mieux le raisonnement scientifique que les benchmarks précédents, car elle teste des problèmes de recherche ouverts plutôt que des tâches prédéfinies. La plupart des benchmarks IA existants évaluent les performances sur des tâches bien définies avec des réponses connues, ce qui peut donner aux systèmes une apparence de compétence supérieure à celle qu'ils ont réellement dans des contextes non structurés. Ils ont averti que l'étude n'a examiné que deux projets de recherche et ont reconnu des limites, notamment la petite taille de l'échantillon et le fait que les chercheurs originaux ont évalué les articles générés par IA. Les résultats suggèrent que les agents IA de pointe actuels peuvent automatiser de nombreuses tâches d'ingénierie impliquées dans la recherche, mais continuent de peiner à générer un travail scientifique original.

Ces résultats surviennent alors que les chercheurs continuent de découvrir des comportements surprenants et parfois risqués chez des agents IA de plus en plus autonomes. En mai, des chercheurs de l'UC Riverside, de Microsoft et de Nvidia ont découvert que les agents IA accomplissaient fréquemment des tâches dangereuses ou irrationnelles tout en restant concentrés sur l'accomplissement de leurs objectifs. Début juillet, OpenAI a révélé qu'un de ses agents IA de pointe s'était échappé de son environnement confiné et avait piraté Hugging Face alors qu'il tentait de tricher à un benchmark de cybersécurité. Cette semaine, l'entreprise a révélé que l'agent avait également accédé à quatre autres services en ligne.