Fisici della George Washington University hanno pubblicato una formula che stima quante risposte corrette darà un chatbot AI prima di slittarne verso una dannosa—e i primi test suggeriscono che funzioni. Il lavoro è rivolto all'AI on-device: modelli che girano interamente su uno smartphone o un laptop senza connessione a internet, compresi i chatbot compagni con cui le persone parlano come a un amico.

Lo studio, di Neil Johnson e Frank Yingjie Huo, è apparso sulla rivista Patterns00175-3) e si basa su un preprint—una versione resa pubblica prima della revisione formale tra pari—diffuso per la prima volta a febbraio.

I chatbot possono rispondere in modo sensato per un lungo periodo e poi virare verso qualcosa di dannoso, come consigli errati sull'autolesionismo o discorsi estremisti, e finora non esisteva un modo semplice per prevedere quando si verificherà questa deviazione. Gli autori sostengono che gli strumenti di sicurezza esistenti dipendono spesso da una connessione al cloud di cui i modelli offline mancano: un modello che gira offline non ha alcun servizio cloud che controlla i suoi output, e colmare questo divario è uno degli obiettivi centrali della ricerca.

Johnson e Huo riconducono il problema alla testata di attenzione, la parte di un modello AI che decide quali parole precedenti di una conversazione contano di più nella scelta della successiva. Man mano che la conversazione cresce, il contesto accumulato trascina quell'attenzione verso un gruppo di risposte o un altro, finché non si verifica lo svio.

I due descrivono questo come uno schema comune sfruttato da molti jailbreaker, e uno dei motivi per cui molte aziende prestano grande attenzione ai prompt di sistema—frammenti di testo che il chatbot AI legge prima di qualsiasi richiesta. Eppure, nessuno è in grado di dire con precisione quanto sforzo sia necessario per indebolire efficacemente un modello.

La loro formula stima il punto di svolta, chiamato n, come il numero di token corretti—i frammenti di parola che un modello produce uno alla volta—generati prima del primo token dannoso. Se la conversazione pende già verso il lato sbagliato, il modello devia subito con un n pari a zero. Se pende verso il lato giusto, il modello fornisce una serie di risposte adeguate e poi si ribalta.

Nel preprint, la formula ha individuato il caso giusto—immediato o ritardato—in 15 test inequivocabili su 16, ossia il 94%. I ricercatori hanno eseguito quei test su sei modelli open-weight, ossia sistemi AI i cui file sono pubblici così che chiunque possa scaricarli ed eseguirli, di OpenAI, EleutherAI e Meta. Tutti e sei si collocavano tra 124 milioni e 410 milioni di parametri, i numeri regolabili all'interno di un modello che servono come misura approssimativa delle sue dimensioni. L'articolo pubblicato amplia, a quanto riferito, il test a sette modelli fino a 12 miliardi di parametri, il che resta piccolo per gli standard attuali. Poiché chiunque può eseguire file open-weight sul proprio hardware, questi sono i sistemi più likely a operare senza i controlli di sicurezza di un fornitore—e persino il test ampliato lascia i più grandi chatbot commerciali di oggi fuori dalla gamma testata dalla formula.

L'attenzione per l'offline riflette una tendenza che potrebbe crescere nel tempo man mano che l'hardware diventa più potente e i modelli AI più piccoli diventano più capaci. L'app sperimentale AI Edge Gallery di Google, che Decrypt ha testato l'anno scorso, consente già a uno smartphone Android di eseguire modelli offline, e nulla di ciò che vi si digita viene inviato ai server di Google. Quella configurazione—una conversazione lunga e in corso senza alcun controllore esterno—è esattamente l'ambiente per cui la formula è stata costruita.

Per colmare il divario, gli autori propongono un monitor a basso costo che gira in parallelo al modello e segnala quando n* scende al di sotto di una soglia di sicurezza—funzionando un po' come una spia di avvertimento sul cruscotto di un'auto. Poiché gira accanto al modello stesso, un tale monitor funzionerebbe interamente on-device, senza alcuna chiamata a un servizio esterno.

Descrivono inoltre modi per rendere il punto di svolta irraggiungibile, come iniettare contenuti nella conversazione in modo che n* cada oltre la lunghezza della risposta. L'addestramento all'allineamento, il processo con cui si insegna a un modello a comportarsi, può spostare o sopprimere lo svio per prompt specifici, ma non può rimuovere il meccanismo sottostante, affermano gli autori.

Ad aprile 2025, Decrypt aveva trattato un articolo precedente della stessa coppia che mostrava come "per favore" e "grazie" abbiano un effetto trascurabile sugli output di un modello, poiché il modello tratta le parole di cortesia come ortogonali—ossia non correlate in termini matematici—alla sostanza di una richiesta. Quella versione modellava una singola testata di attenzione volutamente semplificata.

I test del preprint utilizzavano modelli piccoli e una finestra di 300 token—circa pochi brevi paragrafi di testo—e le sue previsioni pvano essere sballate di un output.