ジョージ・ワシントン大学の物理学者たちが、AIチャットボットが有害な回答に転じる前にどれだけの正常な回答を生成するかを推定する数式を発表した。初期のテストでは、その有効性が示唆されている。この研究はオンデバイスAIを対象としている。つまり、インターネット接続なしでスマートフォンやラップトップ上で完全に動作するモデルであり、友人のように会話するコンパニオンチャットボットも含まれる。

Neil Johnson氏とFrank Yingjie Huo氏によるこの研究は、学術誌Patterns00175-3)に掲載され、正式な査読前に公開されたバージョンであるプレプリントに基づいている。プレプリントは2月に初めて公開された。

チャットボットは長い間まともな回答を続けながら、自傷行為に関する誤った助言や過激派の言説など、有害な内容へと突然転じることがあり、これまでその転換がいつ起こるかを予測する簡単な方法は存在しなかった。著者らは、既存の安全ツールが多くの場合オフラインモデルが持たないクラウド接続に依存していると指摘する。オフラインで動作するモデルには出力を検査するクラウドサービスがなく、このギャップを埋めることが本研究の中心的な目的である。

Johnson氏とHuo氏は問題の原因をアテションヘッドに求めている。これは、次の単語を選ぶ際に会話内のどの過去の単語が最も重要かを判断するAIモデルの部分である。会話が長くなるにつれ、蓄積されたコンテキストがアテンションをある回答クラスタへと引いていき、やがて転換点に達する。

両氏はこれを、多くのジェイルブレイカーが悪用する一般的なパターンであり、多くの企業がシステムプロンプト(AIチャットボットが問い合わせの前に読むテキスト)に細心の注意を払う理由の一つだと説明する。それでも、モデルを効果的に弱めるためにどれほどの労力が必要かを正確に述べられる者はいない。

同数式は、転換点(nと呼ばれる)を、最初の悪いトークンが現れるまでに出力された正常なトークン(モデルが一度に1つずつ生成する単語の断片)の数として推定する。会話がすでに悪い側に傾いていれば、モデルはn=0ですぐに転じる。良い側に傾いていれば、モデルはしばらく正常な回答を続けた後に反転する。

プレプリントでは、この数式は16の明確なテストのうち15件(94%)で、即時か遅延かの正しいケースを判定した。研究者らはOpenAI、EleutherAI、Metaの6つのオープンウェイトモデル、つまりファイルが公開されており誰でもダウンロードして実行できるAIシステムでテストを実施した。6モデルすべてのパラメータ数は1億2400万から4億1000万の間で、パラメータはモデル内部の調整可能な数値であり、モデルの規模の大まかな指標となる。発表論文では、テストが最大120億パラメータの7モデルに拡大されたと伝えられているが、それでも現在の基準では小規模である。オープンウェイトのファイルは誰でも自身のハードウェア上で実行できるため、これらはプロバイダーの安全検査なしで動作する可能性が最も高いシステムであり、拡大されたテストでさえ、今日の最大級の商用チャットボットは数式のテスト範囲外にとどまっている。

オフラインへの注力は、ハードウェアが高性能化し、小規模なAIモデルが高能力になるにつれて拡大しうる傾向を反映している。Googleの実験的なAI Edge Galleryアプリ(昨年Decryptがテストした)は、すでにAndroidスマートフォンでモデルをオフライン実行することを可能にしており、入力内容はGoogleのサーバーに送信されない。この構成、つまり外部の検査者なしで続く長い会話こそ、数式が想定する環境である。

このギャップを埋めるため、著者らはモデルと並行して動作し、n*が安全しきい値を下回った際に警告する低コストのモニターを提案している。これは自動車のダッシュボードの警告灯にやや似た機能である。モデル自体と並行して動作するため、このモニターは完全にオンデバイスで機能し、外部サービスへの呼び出しは不要となる。

さらに著者らは、会話にコンテンツを注入してn*を応答長を超える位置に到達させるなど、転換点を手の届かない位置まで押しやる手法についても述べている。アライメント訓練、つまりモデルに適切な振る舞いを教えるプロセスは、特定のプロンプトに対する転換をずらしたり抑制したりできるが、根本的なメカニズムを除去することはできないと著者らは述べている。

2025年4月、Decryptは同じ両氏による以前の論文を取り上げた。それは、「please」や「thank you」がモデルの出力にほとんど影響を与えないことを示していた。モデルは丁寧語を、依頼の本質と数学的に無関係(直交)として扱うためである。このバージョンでは、意図的に単純化された単一のアテンションヘッドをモデル化していた。

プレプリントのテストでは小規模モデルと300トークン窗口(数段落分のテキスト程度)が使用され、その予測は1出力分ずれる可能性があった。