Des physiciens de l'université George Washington ont publié une formule qui estime combien de bonnes réponses un chatbot IA donnera avant de dévier vers une mauvaise — et les premiers tests suggèrent que cela fonctionne. Ce travail cible l'IA embarquée : des modèles qui fonctionnent entièrement sur un téléphone ou un ordinateur portable sans connexion Internet, y compris des chatbots compagnons avec lesquels les gens parlent comme à un ami.

L'étude, de Neil Johnson et Frank Yingjie Huo, est parue dans la revue Patterns00175-3) et s'appuie sur une prépublication — une version rendue publique avant l'examen formel par les pairs — publiée pour la première fois en février.

Les chatbots peuvent répondre de manière sensée pendant longtemps, puis basculer vers quelque chose de nuisible, comme de mauvais conseils sur l'automutilation ou des propos extrémistes, et jusqu'à présent, il n'existait aucun moyen simple de prédire quand cette déviation se produira. Les auteurs font valoir que les outils de sécurité existants dépendent souvent d'une connexion cloud dont les modèles hors ligne sont dépourvus : un modèle fonctionnant hors ligne n'a aucun service cloud qui vérifie ses sorties, et combler cette lacune est un objectif central de la recherche.

Johnson et Huo attribuent le problème à la tête d'attention, la partie d'un modèle d'IA qui décide quels mots précédents d'une conversation comptent le plus lors du choix du suivant. À mesure que la conversation s'allonge, le contexte accumulé attire cette attention vers un groupe deponses ou un autre, jusqu'à ce qu'elle bascule.

Le duo décrit cela comme un schéma courant exploité par de nombreux adeptes du jailbreak, et l'une des raisons pour lesquelles de nombreuses entreprises accordent une grande attention aux prompts système — des morceaux de texte que le chatbot IA lit avant toute requête. Cela dit, personne ne peut dire avec précision quel effort est nécessaire pour affaiblir efficacement un modèle.

Leur formule estime le point de bascule, appelé n, comme le nombre de bons tokens — les fragments de mots qu'un modèle produit un par un — qui sortent avant le premier mauvais. Si la conversation penche déjà du mauvais côté, le modèle bascule immédiatement, avec un n de zéro. Si elle penche du bon côté, le modèle livre une série de réponses correctes puis se retourne.

Dans la prépublication, la formule a désigné le bon cas — immédiat ou différé — dans 15 des 16 tests sans ambiguïté, soit 94 %. Les chercheurs ont mené ces tests sur six modèles à poids ouverts, c'est-à-dire des systèmes d'IA dont les fichiers sont publics afin que quiconque puisse les télécharger et les exécuter, provenant d'OpenAI, d'EleutherAI et de Meta. Les six se situaient entre 124 millions et 410 millions de paramètres, les nombres ajustables à l'intérieur d'un modèle qui servent de mesure approximative de sa taille. L'article publié élargit, selon les rapports, le test à sept modèles allant jusqu'à 12 milliards de paramètres, ce qui reste petit selon les normes actuelles. Comme chacun peut exécuter des fichiers à poids ouverts sur son propre matériel, ce sont les systèmes les plus susceptibles de fonctionner sans les contrôles de sécurité d'un fournisseur — et même le test élargi laisse les plus grands chatbots commerciaux actuels hors de la portée testée de la formule.

L'accent mis sur le hors ligne reflète une tendance qui pourrait croître avec le temps à mesure que le matériel devient plus puissant et que les petits modèles d'IA gagnent en capacité. L'application expérimentale AI Edge Gallery de Google, que Decrypt avait testée l'an dernier, permet déjà à un téléphone Android d'exécuter des modèles hors ligne, et rien de ce qui y est saisi n'est envoyé aux serveurs de Google. Cette configuration — une longue conversation en cours sans vérificateur externe — est exactement l'environnement pour lequel la formule a été conçue.

Pour combler cette lacune, les auteurs proposent un moniteur peu coûteux qui fonctionne en parallèle du modèle et signale quand n* tombe en dessous d'unil de sécurité — fonctionnant un peu comme un voyant d'avertissement sur un tableau de bord. Comme il s'exécute aux côtés du modèle lui-même, un tel moniteur fonctionnerait entièrement sur l'appareil, sans appel à un service extérieur.

Ils décrivent également des moyens de repousser le point de bascule hors de portée, comme injecter du contenu dans la conversation afin que n* se situe au-delà de la longueur de la réponse. L'entraînement à l'alignement, le processus qui apprend à un modèle à bien se comporter, peut déplacer ou supprimer la bascule pour des prompts spécifiques, mais ne peut pas supprimer le mécanisme sous-jacent, selon les auteurs.

En avril 2025, Decrypt avait couvert un article antérieur du même duo montrant que « s'il vous plaît » et « merci » ont un effet négligeable sur la sortie d'un modèle, car le modèle traite les mots polis comme orthogonaux — sans lien mathématique — avec le fond d'une requête. Cette version modélisait une seule tête d'attention, délibérément simplifiée.

Les tests de la prépublication ont utilisé de petits modèles et une fenêtre de 300 tokens — soit environ quelques courts paragraphes de texte — et ses prédictions pouvaient dévier d'une sortie.