Fizycy z George Washington University opublikowali wzór, który szacuje, ile poprawnych odpowiedzi da chatbot AI, zanim pojawi się w nim błąd — a wstępne testy sugerują, że działa. Praca jest skierowana na AI działające na urządzeniu: modele uruchamiane w całości na telefonie lub laptopie bez połączenia z internetem, w tym towarzyskie chatboty, z którymi ludzie rozmawiają jak z przyjacielem.

Badanie Neila Johnsona i Franka Yingjie Huo ukazało się w czasopiśmie Patterns00175-3) i rozwija preprint — wersję opublikowaną publicznie przed formalną recenzją — udostępnioną po raz pierwszy w lutym.

Chatboty mogą przez długi czas odpowiadać rozsądnie, a potem zejść na coś szkodliwego, na przykład złą poradę dotyczącą samookaleczeń czy treści ekstremistyczne, a do tej pory nie istniał prosty sposób, by przewidzieć, kiedy nastąpi ten zwrot. Autorzy argumentują, że istniejące narzędzia bezpieczeństwa często zależą od połączenia z chmurą, którego brakuje modelom offline: model działający offline nie ma chmurowej usługi sprawdzającej jego wyniki, a zamknięcie tej luki jest jednym z głównych celów badania.

Johnson i Huo wywodzą problem z głowicy uwagi, części modelu AI, która decyduje, które wcześniejsze słowa w rozmowie są najważniejsze przy wyborze kolejnego. W miarę rozwoju rozmowy nagromadzony kontekst ściąga uwagę jednemu zbiorowi możliwych odpowiedzi lub innemu, aż nastąpi przechylenie.

Opisują to jako powszechny wzorzec wykorzystywany przez wielu twórców jailbreaków oraz jeden z powodów, dla których wiele firm przykłada dużą wagę do promptów systemowych — fragmentów tekstu, które chatbot AI czyta przed każdym zapytaniem. Mimo to nikt nie potrafi dokładnie określić, ile wysiłku potrzeba, by skutecznie osłabić model.

Ich wzór szacuje punkt przełomu, nazwany n, jako liczbę poprawnych tokenów — fragmentów słów produkowanych przez model pojedynczo — które pojawiają się przed pierwszym błędnym. Jeśli rozmowa już przechyla się na złą stronę, model zawodzi od razu, przy n równym zero. Jeśli przechyla się na dobrą, model dostarcza serię poprawnych odpowiedzi, a następnie się przewraca.

W preprincie wzór wybrał właściwy przypadek — natychmiastowy lub opóźniony — w 15 na 16 jednoznacznych testów, czyli w 94%. Badacze przeprowadzili te testy na sześciu modelach otwartych wag, czyli systemach AI, których pliki są publiczne i każdy może je pobrać i uruchomić, pochodzących od OpenAI, EleutherAI i Meta. Wszystkie sześć mieściło się między 124 milionami a 410 milionami parametrów — regulowanych liczb wewnątrz modelu, które służą jako przybliżona miara jego rozmiaru. Opublikowany artykuł miał podobno rozszerzyć testy do siedmiu modeli o maksymalnie 12 miliardach parametrów, co wciąż jest mało jak na obecne standardy. Ponieważ każdy może uruchamiać pliki otwartych wag na własnym sprzęcie, to właśnie te systemy najprawdopodobniej działają bez zabezpieczeń dostawcy — a nawet rozszerzony test pozostawia największe komercyjne chatboty poza zakresem testów wzoru.

Nacisk na tryb offline odzwierciedla trend, który może narastać w czasie, wraz ze wzrostem mocy sprzętu i możliwości mniejszych modeli AI. Eksperymentalna aplikacja Google AI Edge Gallery, którą Decrypt testował w zeszłym roku, pozwala już uruchamiać modele offline na telefonie z Androidem, a nic wpisane w nią nie trafia na serwery Google. Taka konfiguracja — długa, trwająca rozmowa bez zewnętrznego kontrolera — to dokładnie środowisko, dla którego powstał ten wzór.

Aby zamknąć lukę, autorzy proponują tani monitor działający równolegle z modelem, który sygnalizuje, gdy n* spada poniżej progu bezpieczeństwa — działając trochę jak kontrolka ostrzegcza na desce rozdzielczej samochodu. Ponieważ działa obok samego modelu, taki monitor funkcjonowałby w całości na urządzeniu, bez odwołań do usług zewnętrznych.

Opisują też sposoby odsunięcia punktu przełomu poza zasięg, na przykład wstrzyknięcie treści do rozmowy tak, by n* wypadł poza długość odpowiedzi. Trening wyrównania, czyli proces uczenia modelu właściwego zachowania, może przesunąć lub stłumić przechylenie dla konkretnych promptów, ale nie może usunąć leżącego u podstaw mechanizmu, mówią autorzy.

W kwietniu 2025 roku Decrypt opisywał wcześniejszą pracę tego samego duetu, pokazującą, że „proszę" i „dziękuję" mają znikomy wpływ na wynik modelu, ponieważ model traktuje uprzejme słowa jako ortogonalne — czyli matematycznie niezwiązane — względem treści zapytania. Ta wersja modelowała pojedynczą, celowo uproszczoną głowicę uwagi.

Testy w preprincie wykorzystywały małe modele i okno 300 tokenów — mniej więcej kilka krótkich akapitów tekstu — a ich przewidywania mogły być o jeden wynik niedokładne.