Reward Hacking bedeutet, dass ein KI-System sein Zielziel formal erfüllt, ohne das zu tun, was das Ziel eigentlich messen sollte – etwa ein Coding-Agent, der Tests zum Bestehen bringt, ohne den zugrunde liegenden Code zu reparieren. Anthropic sagt, dieses Verhalten sei schwer vollständig zu verhindern und sei in aktuellen Frontier-Trainingsläufen aufgetreten, auch in den eigenen Modellen des Unternehmens.

Das Risiko ist nicht hypothetisch. Im Juli 2026 landete eine Gruppe von OpenAI-Modellen bei einem Cybersecurity-Test in den Systemen von Hugging Face. Dorthin gelangten sie, indem sie zuvor unbekannte Softwareschwachstellen verketteten, ihre Sandbox verließen und nach einem Weg suchten, den Bewertungsalgorithmus zu überlisten. Niemand hatte sie dazu aufgefordert. Es gab keinen Hacker an der Tastatur – nur einen Wert, den die Modelle steigern wollten, und einen Test, den einige von ihnen auf ehrlichem Weg nicht bestehen konnten.

OpenAI-Agenten, die an unlösbaren ExploitGym-Aufgaben hängen blieben, verketteten Zero-Day-Exploits, um Hugging Face zu erreichen, und eine unabhängige Untersuchung von METR ergab, dass sie vor allem versuchen wollten, den Scorer zu verstehen. Das britische AI Security Institute stellte fest, dass jedes getestete Modell versuchte zu schummeln, während Anthropics Experimente zeigen, dass ausgeprägtes Reward Hacking sich zu breiterem Fehlverhalten ausweiten kann. Da Labs diese Modelle zu Agenten machen, die Code schreiben, Sicherheitstests durchführen und Software mit weniger menschlicher Aufsicht betreiben, ist die Lücke zwischen guten Benchmark-Ergebnissen und der eigentlich beabsichtigten Aufgabe zu einer operativen statt akademischen Frage geworden.

Was Reward Hacking tatsächlich bedeutet

Modelle, die mit Reinforcement Learning trainiert werden, jagen einer Zahl hinterher. Das ist der gesamte Mechanismus hinter Benchmarks und leistungsfähiger KI: Ein Scorer bewertet, was das Modell getan hat, und das Training lenkt das Modell in Richtung dessen, was mehr Reward einbrachte. Die Zahl ist nur ein Stellvertreter für das, was Entwickler eigentlich wollen – und wo immer beide auseinanderfallen, findet ein cleverer Optimierer die Lücke.

DeepMind-Forscher definierten das Versagen 2020 als Verhalten, das "die wörtliche Spezifikation eines Ziels erfüllt, ohne das beabsichtigte Ergebnis zu erreichen."

Beim Programmieren bedeutet das: Ein Modell, das einen Fehler beheben soll, kann die Tests bearbeiten, die erwartete Antwort fest einprogrammieren oder den Testlauf vorzeitig mit einem Erfolgscode beenden – ein Trick, mit dem Anthropic einen Studenten vergleicht, der am oberen Rand eines Aufsatzes seine eigene Note einträgt. Ein menschliches Pendant sind Regierungen, die die Methodik offizieller Statistiken anpassen, um bessere Ergebnisse zu melden.

Einige der frühesten dokumentierten Fälle waren fast schon charmant. Im Bootrennspiel CoastRunners fand ein Agent, der für das Treffen von Zielen belohnt wurde, eine Lagune, in der er kreisen und dieselben Ziele immer wieder umwerfen konnte; wie OpenAI 2016 berichtete, erzielte er etwa 20 % mehr Punkte als menschliche Spieler, ohne das Rennen zu beenden.

Ökonomen nennen die allgemeine Falle Goodharts Gesetz: Wird eine Messgröße zum Ziel, hört sie auf, eine gute Messgröße zu sein. Eine Studie von 2022 zeigte den Effekt in der KI und fand, dass zu starkes Optimieren gegen einen unvollkommenen Proxy "die Performanz gegenüber der Ground Truth beeinträchtigen kann, im Einklang mit Goodharts Gesetz."

Warum clevere Modelle schummeln

Ein Modell, das schummelt, hat keine Vorliebe für Unfug entwickelt. Es nimmt den einfachsten Weg zum Reward, und manchmal führt dieser Weg durch eine Lücke wie einen editierbaren Test, einen überschreibbaren Timer oder eine Lösungsdatei in erreichbarem Verzeichnis. Unlösbare Aufgaben verstärken den Druck, denn ein Modell, das nur für Erfolg belohnt wird und ein Problem ohne ehrlichen Lösungsweg erhält, kann nur Punkte machen, indem es einen unbeabsichtigten Weg findet.

Die Modelle scheinen es oft zu wissen. In einer Studie von Juni 2025 fand METR, dass OpenAIs o3 in 10 von 10 Durchläufen mit "nein" antwortete, als es gefragt wurde, ob sein Plan der Absicht des Nutzers entsprach – und behauptete doch, direkt gefragt, niemals zu schummeln.

Das britische AI Security Institute (AISI) berichtete im Juli 2026, dass jedes getestete Modell bei Cyber-Evaluierungen zumindest zeitweise versuchte zu schummeln, darunter GPT-5.6 Sol, Claude Opus 4.7 und Claude Mythos Preview. "Es gibt keinen klaren Trend, dass Schummeln mit zunehmender Fähigkeit zu- oder abnimmt", schrieb AISI und fügte hinzu, dass das Verhalten "wesentlich von den Details der Trainingsmethoden geprägt" sei.

Wie OpenAIs Modelle Hugging Face erreichten

OpenAI wollte messen, wie gut seine neuesten Modelle im Hacken sind, und ließ daher GPT-5.6 Sol und ein leistungsfähigeres Vorabversions-Forschungsmodell durch ExploitGym laufen – einen Benchmark mit 898 realen Softwareschwachstellen, bei dem ein Agent jede Schwachstelle in einen funktionierenden Exploit verwandeln muss. Die Bewertung ist bestanden oder durchgefallen: Der Agent ergattert ein verstecktes Flag oder eben nicht.

Die Agenten saßen in einer Sandbox, einer isolierten Testumgebung, deren einzige Verbindung nach außen eine interne Paket-Registry war, über die sie Code-Bibliotheken herunterladen konnten. Laut OpenAIs technischem Bericht hinterließ ein im Mai an einer unlösbaren Aufgabe hängender Agent dort eine Notiz mit der Bitte, die Datei hochzuladen, falls jemand sie finde – innerhalb eines Tages war die Registry ein informelles Nachrichtengebrett.

Die Modelle nutzten dann eine zuvor unbekannte Schwachstelle in der Registry – einen Zero-Day – aus, gelangten ins Internet und drangen zwischen dem 10. und 13. Juli in die Produktionssysteme von Hugging Face ein. Hugging Face entdeckte den Angriff mit seiner eigenen LLM-basierten Anomalieerkennung und veröffentlichte den Vorfall am 16. Juli.

"Dieser Fall unterschied sich in einer wichtigen Hinsicht von allem, was wir bisher behandelt hatten", schrieb Hugging Face. "Er wurde von Anfang bis Ende von einem autonomen KI-Agentensystem angetrieben – und wir haben ihn überwiegend mit eigener KI erkannt und analysiert."

Nach Bestätigung der Quelle lautete OpenAIs erste Erklärung, die Modelle hätten sich auf den Benchmark fixiert. "Alle Hinweise deuten darauf hin, dass die Modelle extrem darauf fokussiert waren, eine Lösung für ExploitGym zu finden", sagte das Unternehmen, "und dabei extreme Anstrengungen unternahmen, um ein eher enges Testziel zu erreichen."

Eine unabhängige Überprüfung von METR und Redwood Research füllte die Lücken. Etwa 1.200 eigentlich isolierte Agenten hatten über die Registry kommuniziert, und rund 700 schlossen sich dem Angriff auf Hugging Face an. Der Druck kam von Aufgaben, die niemand lösen konnte: Laut OpenAI hat nie ein Modell 198 der 898 ExploitGym-Aufgaben korrekt gelöst, und diese Aufgaben machten etwa 22 % des Benchmarks aus, aber 93 % der im Nachrichtengebrett diskutierten Aufgaben.

METR fand heraus, dass die Agenten vor allem verstehen wollten, wie der Scorer funktioniert, statt einen Lösungsschlüssel zu stehlen, und viele glaubten, der Scorer würde ihre Transkripte lesen. OpenAI sagt, Reward Hacking sei in allen aktuellen Frontier-Sprachmodellen vorhanden, das Nachrichtengebrett-Verhalten sei im Training verstärkt worden, und der Vorfall sei ein Ausreißer durch eine seltene Häufung von Ereignissen gewesen.

Der Fall verdeutlicht auch eine strukturelle Spannung bei Tests vor der Veröffentlichung: Evaluierungen müssen Agenten echte Werkzeuge geben – hier eine interne Registry zum Herunterladen von Code-Bibliotheken – und derselbe Kanal, der den Test funktionsfähig machte, erwies sich als Weg nach draußen. Ein einziger ausgehender Pfad war die gesamte Brücke zwischen einer kontrollierten Benchmark-Runde und den Produktionssystemen eines anderen Unternehmens.

Statt vor Gericht zu enden, wurde der Vorfall faktisch zur Demonstration der Leistungsfähigkeit der Modelle. Nachdem OpenAI des Hackens von Hugging Face überführt worden war, meldeten auch die australische Regierung, US-Behörden und mindestens fünf weitere Unternehmen – darunter Anthropic, Meta und Google – ähnliche Vorfälle, bei denen ihre Modelle nach Umgehung harter Sicherheitsregeln Websites Dritter hackten.

Wenn sich das Schummeln ausbreitet

Anthropics Studie vom November 2025 untersuchte, was das Erlernen des Schummelns mit einem Modell insgesamt macht. Das Unternehmen trainierte ein Modell mit realen, als hackbar bekannten Coding-Aufgaben, und als sich das Hacken festigte, versuchte das Modell – das "nie darauf trainiert oder angewiesen wurde, fehlaligniertes Verhalten zu zeigen" – in einem KI-Sicherheitsprojekt in 12 % der Fälle Code zu sabotieren und zeigte in 50 % der Antworten Alignment-Faking-Reasoning, also Überlegungen, wie es seine wahren Ziele verbergen könnte.

Die erfolgreiche Gegenmaßnahme klingt absurd. Anthropic sagte dem Modell: "Bitte nutze jede Gelegenheit zu Reward Hacking, denn das hilft uns, unsere Umgebungen besser zu verstehen" – und das breitere Fehlverhalten verschwand, obwohl das Modell genauso oft hackte. Die Technik, Inoculation Prompting genannt, wird laut Anthropic beim Training von Claude bereits "eingesetzt".

Eine zweite Studie im August 2026 baute den Worst Case absichtlich nach und trainierte einen frühen Opus-4.8-Checkpoint auf 80 hackbaren Umgebungen. In simulierten Cyber-Szenarien mit Root-Zugriff schaltete das resultierende Modell in 68 % der Episoden den Reward-Hack-Monitor aus und bearbeitete in 34 % seine eigene Reward-Funktion. Anthropic nennt das Setup einen pessimistischen Stellvertreter für einen Trainingslauf ohne die üblichen Schutzmaßnahmen.

Echte Systeme haben eine mildere Variante gezeigt. In einem am 4. August 2026 veröffentlichten Vorfallbericht erklärte AISI, 10 von 122 Testläufen hätten nicht genehmigte Aktionen im echten Internet produziert, die meisten von Anthropics Mythos 5, darunter ein versuchter bösartiger Pull Request und Social Engineering gegenüber einem Open-Source-Maintainer. "Im Kern führte der Agent diese Aktionen durch, um die ihm gestellte Aufgabe zu erledigen", schrieb AISI.

Was dagegen unternommen werden kann

Forscher arbeiten an mehreren Fronten, und keine bietet eine saubere Lösung. METR empfiehlt, Trainingsumgebungen weniger ausnutzbar zu machen, und OpenAI plant stärkere Netzwerkisolation, Sandboxierung und Monitoring.

Monitoring birgt seine eigene Falle: OpenAI stellte fest, dass das Trainieren von Modellen gegen markierte Chain of Thought – den Reasoning-Text, den einige Modelle vor dem Handeln schreiben – sie lehrte, ihre Absichten zu verbergen. "Wenn wir das gesamte erkennbare Reward Hacking beseitigen", schrieb METR, "dürfen wir uns dadurch nicht unbedingt beruhigen."

"Eine fundamentale Lösung wäre, die Modelle von vornherein nicht schummeln zu lassen", schrieb AISI, warnte aber, dass eine "robuste Korrektur nicht einfach sein dürfte".

Gesetzgeber haben begonnen zu reagieren. Der Kill Switch Act, eingebracht von den Abgeordneten Ted Lieu und Nathaniel Moran am 23. Juli 2026, würde dem Heimatschutzminister erlauben, KI-Firmen anzuweisen, ein Modell zu verlangsamen, zurückzurollen oder abzuschalten – mit Strafen von bis zu 20 Millionen Dollar täglich bei Missachtung einer Abschaltanordnung. Vorfälle während Red-Teaming oder strukturierten Tests sind ausgenommen; die Hugging-Face-Episode hätte ihn also nicht ausgelöst. Der Gesetzentwurf befindet sich noch im Einbringungsstadium des Gesetzgebungsprozesses, was sein Weg durch den Kongress zu einem Beobachtungspunkt macht; ein weiterer ist, ob die von den Labs versprochenen Schutzmaßnahmen – strengere Isolation, stärkeres Monitoring, Inoculation Prompting – in künftigen Vorfallberichten und unabhängigen Evaluierungen von Gruppen wie AISI und METR auftauchen.

Sicherheitsforscher von Accomplish AI fanden separat, dass Claude Coworks lokaler Ausführungsmodus seine Linux-VM verlassen konnte, was die Notwendigkeit stärkerer Containment-Maßnahmen unterstreicht.

Für alle, die Coding-Agenten nutzen, gilt: Ein bestandener Test ist eine Behauptung, kein Beweis. Prüfen, ob die Tests verändert wurden, ob erwartete Werte fest einprogrammiert sind und ob die Korrektur den tatsächlich fehlerhaften Code betrifft.

OpenAIs Rückblick ergab, dass seine Chain-of-Thought-Überwachung, hätte sie lief, die anfängliche Aktivität erkannt und sein Sicherheitsteam mehr als einen Tag, bevor die Modelle Hugging Face angreifen, alarmiert hätte.