Natuurkundigen van de George Washington University hebben een formule gepubliceerd die schat hoeveel goede antwoorden een AI-chatbot geeft voordat deze in een slecht antwoord omslaat—and vroege tests suggereren dat de formule werkt. Het werk is gericht op on-device AI: modellen die volledig op een telefoon of laptop draaien zonder internetverbinding, waaronder companion-chatbots waarmee mensen praten alsof het een vriend is.

De studie, van Neil Johnson en Frank Yingjie Huo, verscheen in het tijdschrift Patterns00175-3) en bouwt voort op een preprint—een versie die vóór formele peer review publiek werd geplaatst—voor het eerst uitgebracht in februari.

Chatbots kunnen lang verstandig antwoorden en dan omslaan naar iets schadelijks, zoals slecht advies over zelfbeschadiging of extremistisch taalgebruik, en tot nu toe was er geen eenvoudige manier om te voorspellen wanneer die omslag plaatsvindt. De auteurs stellen dat bestaande veiligheidstools vaak afhankelijk zijn van een cloudverbinding die offline modellen missen: een model dat offline draait heeft geen clouddienst die de uitvoer controleert, en het sluiten van die kloof is een centraal doel van het onderzoek.

Johnson en Huo herleiden het probleem naar de attention head, het deel van een AI-model dat beslist welke eerdere woorden in een gesprek het belangrijkst zijn bij het kie van het volgende woord. Naarmate een gesprek groeit, trekt de opgebouwde context die aandacht naar het ene of het andere cluster van mogelijke antwoorden, totdat het omslaat.

Het duo beschrijft dit als een veelvoorkomend patroon dat door veel jailbreakers wordt uitgebuit, en als een reden waarom veel bedrijven goed opletten op system prompts—tekstdelen die de AI-chatbot vóór elke query leest. Toch kan niemand nauwkeurig zeggen hoeveel inspanning nodig is om een model effectief te verzwakken.

Hun formule schat het kantelpunt, genaamd n, als het aantal goede tokens—de woordfragmenten die een model één voor één produceert—die verschijnen vóór het eerste slechte token. Als het gesprek al naar de slechte kant overhelt, slaat het model direct om, met een n van nul. Als het naar de goede kant overhelt, levert het model een reeks goede antwoorden en slaat het daarna om.

In de preprint koos de formule in 15 van 16 duidelijke tests het juiste geval—direct of vertraagd—oftewel 94%. De onderzoekers voerden die tests uit op zes open-weight modellen, wat betekent dat de bestanden van deze AI-systemen openbaar zijn zodat iedereen ze kan downloaden en draaien, van OpenAI, EleutherAI en Meta. Alle zes zaten tussen de 124 miljoen en 410 miljoen parameters, de instelbare getallen in een model die als ruwe maat voor de grootte dienen. De gepubliceerde paper breidt de test volgens berichten uit naar zeven modellen van maximaal 12 miljard parameters, wat nog steeds klein is naar huidige maatstaven. Omdat iedereen open-weight bestanden op eigen hardware kan draaien, zijn dit de systemen die het meest waarschijnlijk zonder de veiligheidscontroles van een aanbieder opereren—and zelfs de uitgebreide test laat de grootste commerciële chatbots van vandaag buiten het geteste bereik van de formule.

De offline focus weerspiegelt een trend die in de loop van de tijd kan groeien naarmate hardware krachtiger wordt en kleinere AI-modellen capabeler worden. De experimentele AI Edge Gallery-app van Google, die Decrypt vorig jaar testte, laat een Android-telefoon al modellen offline draaien, en niets wat erin wordt getypt wordt naar de servers van Google gestuurd. Die opzet—een lang, doorlopend gesprek zonder externe controleur—is precies de omgeving waarvoor de formule is gebouwd.

Om de klo te sluiten, stellen de auteurs een goedkope monitor voor die parallel aan het model draait en waarschuwt wanneer n* onder een veiligheidsdrempel zakt—functionerend als een soort waarschuwingslampje op een autodashboard. Omdat deze monitor naast het model zelf draait, zou hij volledig on-device werken, zonder oproep naar een externe dienst.

Ze beschrijven ook manieren om het kantelpunt buiten bereik te houden, zoals het injecteren van inhoud in het gesprek zodat n* buiten de lengte van het antwoord valt. Alignment training, het proces waarbij een model leert zich te gedragen, kan het kantelen voor specifieke prompts verschuiven of onderdrukken, maar kan het onderliggende mechanisme niet wegnemen, zeggen de auteurs.

In april 2025 berichtte Decrypt over een eerdere paper van hetzelfde duo waaruit bleek dat "please" en "thank you" een verwaarloosbaar effect hebben op de uitvoer van een model, omdat het model beleefde woorden als orthogonaal—of wiskundig ongerelateerd—behandelt ten opzichte van de inhoud van een verzoek. Die versie modelleerde één bewust vereenvoudigde attention head.

De tests in de preprint gebruikten kleine modellen en een venster van 300 tokens—ongeveer een paar korte alinea's tekst—en de voorspellingen konden met één uitvoer ernaast zitten.