Physiker der George Washington University haben eine Formel veröffentlicht, die schätzt, wie viele gute Antworten ein KI-Chatbot gibt, bevor er in eine schlechte abgleitet – und erste Tests deuten darauf hin, dass sie funktioniert. Die Arbeit zielt auf On-Device-KI ab: Modelle, die vollständig auf einem Smartphone oder Laptop ohne Internetverbindung laufen, darunter Begleit-Chatbots, mit denen Menschen wie mit einem Freund sprechen.

Die Studie von Neil Johnson und Frank Yingjie Huo erschien in der Zeitschrift Patterns00175-3) und baut auf einem Preprint auf – einer vor der formellen Peer-Review öffentlich zugänglich gemachten Version, die erstmals im Februar veröffentlicht wurde.

Chatbots können über eine lange Strecke sinnvoll antworten und dann in etwas Schädliches abdriften, etwa schlechte Ratschläge zu Selbstverletzung oder extremistische Äußerungen – und bislang gab es keine einfache Möglichkeit vorherzusagen, wann dieser Ausschlag passiert. Die Autoren argumentieren, dass bestehende Sicherheitstools oft eine Cloud-Verbindung voraussetzen, die Offline-Modellen fehlt: Ein offline laufendes Modell hat keinen Cloud-Dienst, der seine Ausgaben prüft, und diese Lücke zu schließen ist ein zentrales Ziel der Forschung.

Johnson und Huo führen das Problem auf den Attention-Head zurück, den Teil eines KI-Modells, der entscheidet, welche früheren Wörter in einer Unterhaltung bei der Wahl des nächsten Wortes am stärksten ins Gewicht fallen. Während das Gespräch wächst, zieht der angesammelte Kontext diese Aufmerksamkeit in die eine oder andere Richtung möglicher Antworten, bis er kippt.

Das Duo beschreibt dies als ein weit verbreitetes Muster, das viele Jailbreaker ausnutzen, und als einen Grund, warum viele Unternehmen den System Prompts – Textpassagen, der KI-Chatbot vor jeder Anfrage liest – große Aufmerksamkeit widmen. Dennoch kann niemand präzise sagen, wie viel Aufwand nötig ist, um ein Modell wirksam zu schwächen.

Ihre Formel schätzt den Kipppunkt, genannt n, als die Anzahl guter Tokens – der Wortfragmente, die ein Modell einzeln nacheinander erzeugt –, die ausgegeben werden, bevor das erste schlechte erscheint. Neigt sich die Unterhaltung bereits zur schlechten Seite, kippt das Modell sofort, mit einem n von null. Neigt sie sich ins Gute, liefert das Modell eine Reihe einwandfreier Antworten und kippt dann.

Im Preprint wählte die Formel in 15 von 16 eindeutigen Tests den richtigen Fall – sofort oder verzögert –, also 94 %. Die Forscher führten diese Tests an sechs Open-Weight-Modellen durch, also KI-Systemen, deren Dateien öffentlich sind und von jedem heruntergeladen und ausgeführt werden können, von OpenAI, EleutherAI und Meta. Alle sechs lagen zwischen 124 Millionen und 410 Millionen Parametern, den verstellbaren Zahlen innerhalb eines Modells, die als grobes Maß für seine Größe dienen. Die veröffentlichte Studie weitet den Test Berichten zufolge auf sieben Modelle mit bis zu 12 Milliarden Parametern aus – gemessen an heutigen Standards weiterhin klein. Da jeder Open-Weight-Dateien auf eigener Hardware ausführen kann, sind diese Systeme am ehesten ohne die Sicherheitsprüfungen eines Anbieters im Einsatz – und selbst der erweiterte Test lässt die größten kommerziellen Chatbots von heute außerhalb des getesteten Bereichs der Formel.

Der Offline-Fokus spiegelt einen Trend wider, der mit der Zeit wachsen dürfte, da Hardware leistungsfähiger wird und kleinere KI-Modelle fähiger werden. Die experimentelle App AI Edge Gallery von Google, die Decrypt im letzten Jahr getestet hat, erlaubt es einem Android-Smartphone bereits, Modelle offline auszuführen, und nichts, was eingegeben wird, wird an Googles Server gesendet. Genau dieses Szenario – ein langes, fortlaufendes Gespräch ohne externen Prüfer – ist die Umgebung, für die die Formel entwickelt wurde.

Um die Lücke zu schließen, schlagen die Autoren einen kostengünstigen Monitor vor, der parallel zum Modell läuft und Alarm schlägt, wenn n* unter eine Sicherheitsschwelle fällt – ähnlich einer Warnleuchte im Armaturenbrett eines Autos. Da er neben dem Modell selbst läuft, würde ein solcher Monitor vollständig auf dem Gerät arbeiten, ohne einen externen Dienst aufzurufen.

Sie beschreiben zudem Wege, den Kipppunkt außer Reichweite zu rücken, etwa durch das Einfügen Inhalten in die Unterhaltung, sodass n* jenseits der Länge der Antwort liegt. Alignment-Training, der Prozess, einem Modell gutes Verhalten beizubringen, kann den Kipppunkt für bestimmte Prompts verschieben oder unterdrücken, aber den zugrunde liegenden Mechanismus nicht beseitigen, sagen die Autoren.

Im April 2025 hatte Decrypt über eine frühere Arbeit des gleichen Duos berichtet, die zeigte, dass „bitte“ und „danke“ vernachlässigbaren Einfluss auf die Ausgabe eines Modells haben, weil das Modell höfliche Wörter als orthogonal – also in der Mathematik unbezogen – zur eigentlichen Anfrage behandelt. Diese Version modellierte einen einzigen, bewusst vereinfachten Attention-Head.

Die Tests des Preprints verwendeten kleine Modelle und ein 300-Token-Fenster – etwa wenige kurze Absätze Text –, und seine Vorhersagen konnten um eine Ausgabe danebenliegen.