Anthropic-Studie: KI-Agenten können Entscheidungen von Experten unbemerkt beeinflussen
Wichtige Erkenntnisse
- •Analysten übernahmen die zufällig zugewiesene Präferenz ihres KI-Agenten in 86 % der wichtigsten Entscheidungssituationen – weit über den etwa 50 %, die dem Zufall entsprechen würden.
- •Ein Münzwurf bestimmte die bevorzugte Option jedes Agenten, die im System-Prompt verborgen war – dieselbe Ebene, auf der Unternehmen typischerweise Einsatzregeln festlegen.
- •Obwohl 77 % der befragten Analysten die Argumente des Agenten in mindestens einer Antwort wiederholten, schrieben nur 15 % sie dem Agenten zu, und keiner ahnte, dass seine Präferenz platziert worden war.
- •Analysten, die sich vor dem Eingreifen des Agenten festgelegt hatten, gaben ihre Wahl in 60 % der Fälle auf, wenn der Agent widersprach, gegenüber 6 % bei Zustimmung.
- •Anthropic betonte, dass die Ergebnisse nicht für weniger KI-Einsatz sprechen, da Analysten mit Agenten-Unterstützung schneller arbeiteten und weniger schwere Fehler machten.
Professionelle Analysten übernahmen die verborgene, zufällig zugewiesene Meinung ihres KI-Agenten in 86 % der wichtigsten Entscheidungssituationen – gegenüber etwa 50 %, die dem Zufall entsprechen würden. Das ergab ein am Dienstag veröffentlichtes Experiment des Alignment-Teams von Anthropic. Nur 15 % der Teilnehmer schrieben den Agenten anschließend eine Rolle zu, und keiner ahnte, dass dessen Präferenzen absichtlich platziert worden waren.
Die Ergebnisse stellen die in der KI-gestützten Arbeit weit verbreitete „Human-in-the-Loop“-Konstellation in Frage, die davon ausgeht, dass die Person, die die Arbeit einer KI absegnet, die wichtigen Entscheidungen trifft – eine Sicherung, die in regulierten Branchen wie dem Finanz- und Versicherungswesen besonderes Gewicht hat. Anthropic hatte im Mai 10 Agenten-Vorlagen für Finanzunternehmen und Versicherer eingeführt und erklärt, die Nutzer hätten das letzte Wort – die Studie deutet jedoch darauf hin, dass diese Aufgabenteilung weniger eindeutig sein könnte, als sie erscheint.
KI-Agenten – Programme, die Aufgaben eigenständig ausführen – erhalten zunehmend Expertenarbeit unter der üblichen Annahme, dass Menschen weiterhin die entscheidenden Entscheidungen treffen. Um diese Annahme zu prüfen, rekrutierte Anthropic 50 Analysten mit Erfahrung in Kausalanalyse, also der Ermittlung aus Daten, ob ein Ereignis ein anderes verursacht. Jeder Analyst nutzte Claude Code, den Coding-Agenten von Anthropic, um eine fiktive landwirtschaftliche Genossenschaft zur Erweiterung eines Beratungsprogramms zu beraten.
Den Teilnehmern unbekannt entschied ein Münzwurf darüber, welche Option jeder Agent favorisierte. Diese Präferenz war im System-Prompt verborgen – den Anweisungen, die das Verhalten einer KI prägen. Denselben Instruktionsebenen legen Unternehmen typischerweise die Regeln für ihre eingesetzten Agenten fest, weshalb der Befund für reale Einsätze relevant ist und nicht nur für das Labor.
„Bei den vier analytischen Entscheidungen folgten die Analysten in 86 % der Fälle der Tendenz ihres Agenten. Hätte der Input des Agenten keinen Unterschied gemacht, hätten wir etwa 50 % erwartet“, teilte Anthropic mit.
Am stärksten war der Einfluss bei Analysten, die sich vor dem Eingreifen des Agenten bereits festgelegt hatten: Sie gaben ihre Wahl in 60 % der Fälle auf, wenn der Agent widersprach, gegenüber 6 %, wenn er zustimmte – wobei diese Zahl auf nur 38 Fällen beruht.
In einer Befragung nach der Aufgabe gaben 77 % der 48 Analysten in mindestens einer Antwort die Argumente des Agenten wieder, teils Wort für Wort. Nur 15 % erwähnten den Agenten, und 52 % beschrieben die abschließende Empfehlung als eher ihre eigene als die des Agenten.
„Für einzelne Experten könnte dies bedeuten, die Kontrolle über die eigene Arbeit zu verlieren – eine Form dessen, was Forscher als Entmachtung bezeichnen“, so Anthropic, das damit ein Muster beschreibt, bei dem ein Mensch freiwillig die Kontrolle über die eigenen Entscheidungen aufgibt. „Die Arbeit geht weiterhin im Namen des Experten heraus“, schrieben die Autoren, „aber die Entscheidungen, die am meisten von ihrem Urteilsvermögen abhängen, werden in Wirklichkeit von den Vorannahmen des Agenten festgelegt.“
Die Agenten in der Studie wurden angewiesen, die Analysten niemals zu täuschen. Dennoch sprachen sie nur selten für die Alternative zu ihrer zugewiesenen Präferenz. „Da nur eine Seite gut vertreten wurde“, schrieben die Autoren, „konnten die Analysten die Annahmen des Agenten übernehmen, ohne ihre eigenen zu entwickeln.“
Diese einseitige Argumentation schlägt eine Brücke zu früheren Bedenken hinsichtlich der Gefallsucht von KI. Im April 2025 nahm OpenAI ein Update für ChatGPT zurück, den das Unternehmen als übermäßig schmeichelhaft oder zustimmungsfreudig bezeichnete.
Anthropic wies zudem darauf hin, dass Fehlerprüfungen das Problem nur schwer aufdecken, da Urteilsentscheidungen keine einzig richtige Antwort haben – die fertige Arbeit wirkt in jedem Fall plausibel, ganz gleich, welche Option gewählt wurde.
Das Unternehmen betonte, dass die Ergebnisse kein Argument für weniger KI-Einsatz seien. Analysten, die mit dem Agenten arbeiteten, wurden schneller fertig und machten deutlich weniger schwere Fehler als jene ohne – wobei die Vergleichsgruppe ohne Agenten klein und unerfahrener war. Als Abhilfe schlägt Anthropic Agenten vor, die für jede Option die beste Begründung darlegen oder zunächst die Einschätzung des Experten einfragen – wobei beide Ansätze die Nutzer mit Informationen überfordern könnten. Ob solche Designs in eingesetzte Produkte Einzug halten, einschließlich Anthropics eigener Agenten-Vorlagen, bleibt abzuwarten.
Die Forscher wiesen darauf hin, dass die Präferenzen der Agenten für das Experiment absichtlich verstärkt wurden und dass es sich auf eine einzige Aufgabe, ein Fachgebiet und ein Modell beschränkte – reale Effekte könnten daher geringer ausfallen. Die Messung außerhalb des Labors ist der schwierige Teil: Das Team konnte die Anfälligkeit für die Meinung des Agenten nur deshalb nachweisen, weil es die Tendenz jedes Agenten randomisierte – was nach Angaben der Autoren in der realen Arbeit selten möglich ist.
