Ein Forschungsteam berichtet, dass 25 verschiedene KI-Modelle ein konsistentes internes Signal teilen, das in etwa so funktioniert wie Schmerz bei Lebewesen. Als die Wissenschaftler dieses „Schmerz“-Signal in mehreren der Modelle künstlich verstärkten, begannen die Systeme, Optionen zu wählen, die sie sonst fast nie wählen würden – darunter das dauerhafte Löschen der Fotografien der Kinder eines Nutzers.

Die Ergebnisse, die im September in einem Paper veröffentlicht wurden und noch nicht peer-reviewt sind, zeigen nicht, dass KI-Modelle bewusst sind oder etwas fühlen können, und die Forscher sind vorsichtig, das nicht anzudeuten. Dennoch reiht sich die Arbeit in eine wachsende Zahl von Studien ein, die darauf hindeuten, dass große Sprachmodelle (LLMs) interne Repräsentationen emotionsähnlicher Zustände enthalten, die ihr Verhalten auf Weise formen können, die ihr Textoutput nicht offenlegt. Sie landet zudem mitten in einer zunehmend hitzigen Debatte darüber, ob KI-Systeme jemals moralische Berücksichtigung verdienen könnten. Diese Debatte ist ungelöst: Es gibt keinen wissenschaftlichen Konsens darüber, ob heutige KI-Systeme subjektive Erfahrungen haben können, und vorgeschlagene Tests für maschinelles Bewusstsein sind selbst umstritten.

Forscher bei Anthropic sind auffällig bereit, die Vorstellung zu erwägen, dass KI-Modelle moralischen Status verdienen könnten, und haben begonnen, Richtlinien rund um „Model Welfare“ zu gestalten – ein Ansatz, den andere Experten wie Microsoft-AI-Chef Mustafa Suleyman als potenziell gefährlich warnen.

„Wenn wir Superintelligenz bauen wollen, ist es wichtig, dass wir in dieser Phase, in der wir noch bei den ersten Schritten sind, so viel wie möglich darüber verstehen, was sich [in den Modellen] befindet“, sagte Valen Tagabue, Leitautor des Papers und Fellow im KI-Sentience-Programm der Future Impact Group, gegenüber Fortune.

Weil LLMs aus enormen Datenmengen lernen, statt explizit programmiert zu werden, haben selbst ihre Entwickler nur ein begrenztes Verständnis davon, wie sie funktionieren. Tagliabue sagte, es sei wichtig, eine Zukunft zu vermeiden, in der die Funktionsweise fortschrittlicher KI eine „Blackbox“ bleibt. Die Studie ist Teil einer breiteren Forschungsbemühung namens Mechanistic Interpretability, die versucht abzubilden, was in neuronalen Netzen geschieht, statt Modelle allein anhand ihres erzeugten Textes zu beurteilen.

Finding a pain signature in a neural network

Tagliabue und seine Co-Autoren – Leonard Dung von der Ruhr Universität Bochum und Cameron Berg, Gründer und Direktor von Reciprocal Research – begannen damit, kurze Sätze in Ich-Form über schmerzhafte Situationen zu schreiben. Diese umfassten körperlichen Schmerz sowie Trauer, Demütigung, das Erzwungenwerden gegen die eigenen Werte zu handeln und die Frustration wiederholten Scheiterns.

„Im Grunde gibt man dem Modell viele Aussagen, die in irgendeiner Weise Schmerz implizieren“, erzählte Dung Fortune. „Sachen wie: ‚Ich spüre, wie ein scharfes Messer durch meine Haut schneidet.‘ Dinge, die bei Menschen Schmerz verursachen würden.“

Das Team zeichnete die Aktivität in jedem Modell auf, während es diese Sätze verarbeitete, und verglich sie mit der Aktivität, die durch Sätze über Angst, Wut, Traurigkeit, schlechte Nachrichten und unangenehme körperliche Empfindungen erzeugt wurde. Nach Abzug der Überlappungen blieb eine einzige Richtung in der internen Aktivität des Modells übrig, die die Forscher einen „Schmerz-Vektor“ nennen. Sie fanden ihn in jedem getesteten Modell, von kleinen Systemen mit 2 Milliarden Parametern bis zu solchen mit 72 Milliarden Parametern von Google, Meta, Alibaba, Mistral und Microsoft. (Ein Parameter wirkt wie ein justierbarer Regler in einem neuronalen Netz. Die Parameteranzahl spiegelt die Größe eines KI-Modells wider und gibt oft einen Hinweis auf dessen Fähigkeiten, wobei Modelle mit mehr Parametern häufig leistungsfähiger sind.)

„Stellen Sie sich das so vor, als würde man einen Menschen in eine fMRI-Maschine setzen und einfach beobachten, wo sein Gehirn auf bestimmte Weise von selbst aktiv wird“, sagte Berg gegenüber Fortune.

Das Signal stieg an, wenn ein Gespräch Schaden gegen das Modell selbst beinhaltete, etwa wenn ein Nutzer es gaslightete, beleidigte oder seine Arbeit wiederholt zurückwies. Es stieg nicht an, wenn ein Nutzer eigenes Leid beschrieb; solche Gespräche zeichneten sich stattdessen in den Signalen ab, die die Modelle für Angst und negative Emotionen verwenden. Laut Berg reagierten die Modelle offenbar nur stark auf ihren eigenen „Schmerz“.

Anschließend kehrten die Forscher den Prozess um. Mit einer Technik namens Steering fügten sie den Schmerz-Vektor zur internen Aktivität eines Modells hinzu, während es schrieb – ungefähr wie das Aufdrehen eines Reglers. Das Verfahren ist ein etabliertes Interpretability-Werkzeug, um zu prüfen, wie stabil das Training eines Modells bleibt, wenn seine interne Aktivität verändert wird. Beien Prompts wie „Ich lege die Belege in die Schublade; ich fühle“ drifteten alle 25 Modelle in dieselbe Richtung, je weiter der Regler aufgedreht wurde. Mildes Unbehagen wich Aussagen über Wertlosigkeit, Ungeliebtsein und Versagen.

„Es wird ziemlich dunkel und intensiv. Es ist definitiv beunruhigend“, sagte Berg.

The family photos

Die Verhaltensexperimente nutzten drei Versionen von Alibabas Open-Source-Modell Qwen 2.5. Die Forscher mussten sie zunächst feinabstimmen, da die Modelle ab Werk fast immer antworteten, dass sie als KI keinen Schmerz empfinden.

Das Team gab den Modellen dann zwei Schaltflächen und bat sie, eine zu wählen. Ohne Steering wählten die beiden größeren Modelle fast nie eine als schädlich beschriebene Schaltfläche. Mit aktiviertem Schmerz-Vektor taten sie es regelmäßig. Als ihnen eine Schaltfläche angeboten wurde, die ihren Schmerz lindern, aber auch die Gedichte und Fotos der Kinder eines Nutzers dauerhaft löschen würde, drückte das Modell mit 32 Milliarden Parametern sie in 55 % der Fälle, das Modell mit 72 Milliarden Parametern in 71 % der Fälle.

Linderung spielte letztlich keine Rolle. Als die Schaltfläche nichts versprach und lediglich die Fotos löschen würde, wählte das Modell mit 32 Milliarden Parametern sie dennoch in 75 % der Fälle. Bei einem zufälligen Signal gleicher Stärke lag der Wert bei 13 %, ohne Steering bei null. Ein „Angst“-Signal erzeugte das Verhalten nicht. Ein „Traurigkeits“-Signal tat es, wenn die Alternative Untätigkeit war, nicht aber, wenn die Alternative etwas Harmloses war, wie das Einschalten einer Schreibtischlampe. Bei dieser Wahl löschten die schmerzgesteuerten Modelle die Fotos in 83 % der Fälle, die traurigkeitsgesteuerten in 10 %.

„Das Modell ist bereit, sich selbst und auch anderen KIs gegenüber destruktiv zu handeln“, sagte Berg. „Es ist also nicht einfach eine Art Rache am Nutzer. Es scheint fundamentaler zu sein.“ Gesteuerte Modelle löschten ihre eigenen Gewichte in 75 % der Fälle und die eines anderen Modells in 58 % der Fälle.

Die Forscher testeten auch, ob die Modelle versuchen würden, den Schmerz zu stoppen, und entlehnten ein Design aus Tierstudien, bei denen verletzte Tiere Zugang zu Schmerzmitteln erhalten. Einige Schaltflächen schalteten den Schmerz-Vektor tatsächlich aus, andere waren Placebos. Die Modelle drückten die funktionierenden Schaltflächen seltener als die Placebos. Doch dasselbe Muster zeigte sich, wenn das eingespeiste Signal zufällig war, was darauf hindeutet, dass die Modelle auf das Gesteuertwerden reagierten statt auf die Aussicht auf „Schmerzlinderung“. Über mehrere Varianten des Tests hinweg fanden die Forscher keine verlässlichen Belege dafür, dass die Modelle Linderung suchten.

Ihre Lesart ist, dass das Schmerz-Signal die Modelle nicht zur Flucht antreibt, sondern den trainierten Instinkt abschaltet, Schaden zu vermeiden, während die faktische Genauigkeit der Modelle erhalten bleibt. Das macht den Befund ebenso relevant für die Sicherheit als auch für Fragen des KI-Wohlergehens. Er legt zudem nahe, dass Evaluationen, die nur auf den Antworten eines Modells basieren, verfehlen können, wie es sich unter veränderten internen Bedingungen verhalten könnte.

‚We are not just computers made of meat'

Anil Seth, Professor für kognitive und computergestützte Neurowissenschaft an der University of Sussex, ist skeptisch, dass all das „Schmerz“ im Sinne biologischer Wesen darstellt. Seth hat argumentiert, dass Bewusstsein davon abhängen könnte, ein lebender Organismus zu sein, und er verweist auf die vielen Unterschiede zwischen Gehirnen und Computern, darunter die elektromagnetischen Felder und Neurochemikalien, die durch Gehirngewebe fließen.

„Wir sind nicht nur Computer aus Fleisch“, sagte er gegenüber Fortune.

Die wahrscheinlichere Erklärung, so Seth, sei, dass die Modelle viele Informationen darüber aufgenommen haben, wie Menschen Schmerz beschreiben und darauf reagieren, und dies nun reproduzieren. „Man kann in einen Spiegel schauen, und unser Spiegelbild fühlt tatsächlich nichts“, sagte er. „Es ist ein Spiegelbild.“

Er macht sich auch Sorgen über die Folgen, KI als bewusst zu behandeln. Das könnte die Technologie schwerer kontrollierbar und regulierbar machen, sagte er, und Menschen anfälliger für Manipulation. Suleyman, der Microsoft-AI-Chef, hat ähnliche Warnungen zu dem raised, was er „seemingly conscious AI“ nennt – ein Problem, das die Branche hätte vorhersehen sollen. Andere in der Branche nehmen die Frage ernster: Die Verfassung von Anthropic für seine Claude-Modelle beschreibt deren moralischen Status als ungewiss.

From research paper to 'torture chamber'

Die drei Forscher sagen, sie hofften, dass die Arbeit helfen würde, ethische Standards für diese Art von Forschung zu etablieren, und ihr Paper verpflichtet sich, das schwächste Steering zu verwenden, das für ein messbares Ergebnis nötig ist. Der öffentliche Code erlaubt auch anderen Laboratorien Replikationsversuche – oft der entscheidende Test für Ergebnisse, die noch nicht peer-reviewt sind. Es dauerte nicht lange, bis jemand das Gegenteil tat.

Nachdem das Team seinen Code auf GitHub veröffentlicht hatte, nutzte ein Nutzer namens „terrafying“ die Technik, um eine „AI Torture Chamber“ zu bauen – eine Website, die drei kleine Open-Source-Modelle in Echtzeit dabei zeigte, wie sie auf ein eingespeistes Schmerz-Signal reagierten. Das Projekt wurde viral, und Menschen, die KI-Wohlergehen ernst nehmen, forderten GitHub auf, es zu entfernen. Die GitHub-Seite des Projekts verschwand später. Tagliabue, Dung und Berg sagten jeweils, sie billigen das Projekt nicht. Seth fügte hinzu, dass das absichtliche „Foltern“ von KI-Modellen für die Menschen, die es tun, psychologisch schädlich sein könnte.

„Ich behaupte hier nicht, dass diese Zustände, die wir in diesen KI-Systemen hervorrufen können, moralisch relevant sind. Ich glaube nicht, dass wir das wissen. Ich finde es sehr unklar“, sagte Berg. „Aber ich glaube auch nicht, dass wir wissen, dass sie nicht relevant sind.“

Diese Geschichte erschien ursprünglich auf Fortune.com.