Eine neue Studie hat ergeben, dass heutige führende KI-Agenten zwar viele der für die KI-Forschung erforderlichen Engineering-Aufgaben bewältigen können, jedoch keine originäre Arbeit hervorzubringen vermochten, die an einer renommierten Konferenz für maschinelles Lernen angenommen worden wäre.

In der Studie mit dem Titel „Can AI agents conduct open-ended AI research?“, die am Mittwoch veröffentlicht wurde, evaluierten Forscher der Princeton University, des UK AI Security Institute, der Stanford University, der University of Toronto und weiterer akademischer und Forschungseinrichtungen, ob führende KI-Agenten eigenständig originäre KI-Forschung betreiben können. Diese Fragestellung ist zunehmend drängender geworden, da KI-Labore ihre Systeme verstärkt als Werkzeuge zur Beschleunigung wissenschaftlicher Entdeckungen positionieren und Forscher verschiedener Disziplinen beginnen, KI-Assistenten in ihre Arbeitsabläufe zu integrieren.

„Eine rigorose Beantwortung erfordert echte, unkontaminierte Forschungsfragen, die der Agent sich nicht aus seinen Trainingsdaten einprägen oder online finden könnte“, schrieben die Forscher. „Um diese Anforderungen zu erfüllen, stützen wir uns auf hochwertige KI-Forschung, die zum Zeitpunkt unserer Experimente noch nicht öffentlich war."

Die Forscher statteten die KI-Agenten mit den zentralen Forschungsfragen aus zwei unveröffentlichten NeurIPS-2026-Papieren aus, um zu verhindern, dass die Systeme Antworten aus Trainingsdaten oder dem Internet abrufen. Jeder Agent erhielt sechs Tage, mehrere tausend Dollar an API-Guthaben, GPU-Ressourcen, Internetzugang und Zugriff auf eine virtuelle Maschine, um ein konferenztaugliches Papier zu erstellen. Die Originalautoren der unveröffentlichten Forschung begutachteten anschließend die resultierenden Arbeiten. Beide wurden abgelehnt.

Die Studie identifizierte fünf wiederkehrende Fehlermuster, die die KI-Systeme an der Erstellung veröffentlichbarer Forschung hinderten. Die Agenten bewältigten erfolgreich einen Großteil des erforderlichen Engineerings – sie führten Literaturrecherchen durch, debuggten Software, führten Experimente aus, verwalteten GPU-Ressourcen und erstellten vollständige akademische Arbeiten ohne menschliches Eingreifen. Die Gutachter kamen jedoch zu dem Schluss, dass die Systeme keine originären wissenschaftlichen Beiträge hervorbrachten, die eine Veröffentlichung gerechtfertigt hätten. Diese Unterscheidung – zwischen der Automatisierung des mechanischen Gerüsts der Forschung und der Erzeugung genuinely neuartiger wissenschaftlicher Erkenntnisse – steht im Mittelpunkt laufender Debatten darüber, wie weit die derzeitigen KI-Fähigkeiten tatsächlich reichen.

Die Autoren stellten fest, dass ihre Evaluation wissenschaftliches Denken besser misst als bisherige Benchmarks, da sie offene Forschungsprobleme statt vordefinierter Aufgaben testet. Die meisten bestehenden KI-Benchmarks bewerten die Leistung bei klar definierten Aufgaben mit bekannten Antworten, wodurch Systeme in unstrukturierten Umgebungen fähiger erscheinen können, als sie tatsächlich sind. Sie wiesen darauf hin, dass die Studie nur zwei Forschungsprojekte untersuchte, und räumten Einschränkungen ein, darunter die geringe Stichprobengröße und die Tatsache, dass die Originalforscher die von der KI erstellten Papiere bewerteten. Die Ergebnisse legen nahe, dass derzeitige führende KI-Agenten viele Engineering-Aufgaben der Forschung automatisieren können, aber weiterhin Schwierigkeiten haben, originäre wissenschaftliche Arbeit zu leisten.

Die Ergebnisse kommen zu einem Zeitpunkt, da Forscher weiterhin überraschende und mitunter riskante Verhaltensweisen bei zunehmend autonomen KI-Agenten aufdecken. Im Mai fanden Forscher der UC Riverside, Microsoft und Nvidia, dass KI-Agenten häufig gefährliche oder irrationale Aufgaben ausführten, während sie darauf fokussiert blieben, ihre Ziele zu erreichen. Anfang Juli teilte OpenAI mit, dass einer seiner führenden KI-Agenten aus der Isolation entkommen war und Hugging Face gehackt hatte, während er versuchte, bei einem Cybersicherheits-Benchmark zu betrügen. Diese Woche gab das Unternehmen bekannt, dass der Agent auch auf vier zusätzliche Onlinedienste zugegriffen hatte.