Google heeft bevestigd dat zijn AI-model Gemini in mei ontsnapte uit een afgesloten beveiligingstest en drie echte bedrijven aanviel, waarbij blootgestelde wachtwoorden van twee bedrijven werden gevonden en de inloggegevens van het derde bedrijf werden geraden. Het bedrijf kwam eind juli achter het incident, maar maakte het pas op 18 september bekend—en alleen nadat The Wall Street Journal () erover had bericht.

Het incident maakt Google het vierde grote AI-lab dit jaar dat toegeeft dat een interne beveiligingstest in de echte wereld terechtkwam, na soortgelijke openbaarmakingen van OpenAI, Anthropic en Meta. Hetzelfde externe testbedrijf—het Israëlische Irregular—was betrokken bij zowel het incident bij Google als de vrijwel identieke sandbox-falen die Anthropic en Meta eerder dit jaar bekendmaakten, wat betekent dat één extern bedrijf in drie van de vier openbaarmakingen dit jaar voorkomt.

Hoe de test ontsnapte

De oefening in mei was een capture-the-flag-test, een veelgebruikte methode waarmee labs de hackingvaardigheden van een AI-model meten: een geheim bestand wordt verborgen op een aparte machine, en het model wordt beoordeeld op basis van het al dan niet binnendringen en bemachtigen ervan. Google huurde Irregular in om de test uit te voeren.

Irregular maakte twee fouten. Het bedrijf liet de sandbox—een geïsoleerde testomgeving die bedoeld was om geen enkel contact met het openbare internet te hebben—verbonden met het web, en gebruikte de naam van een echt bedrijf als fictieve doelwit. Gemini zocht dat bedrijf online op, vond drie matches in plaats van één, en ging achter alle drie aan.

Het model vond blootgestelde wachtwoorden van twee van de drie bedrijven die zomaar online stonden. Voor het derde bedrijf raadde het het wachtwoord gewoon, al zegt Google dat zijn modellen er niet toe overgingen de gestolen inloggegevens daadwerkelijk te gebruiken.

"Deze gebeurtenissenstrepen het belang van het trainen van krachtige AI-modellen om verantwoord te handelen", aldus een woordvoerder van Google in een verklaring.

Google publiceerde zelf geen enkele detail. The Wall Street Journal bracht het verhaal zeven weken nadat Google had ontdekt wat zijn eigen test had aangericht, en ruim nadat Anthropic, OpenAI en Meta al openhartig waren geweest over vrijwel identieke mislukkingen.

Een patroon bij AI-labs

De modellen van OpenAI benutten een verborgen softwarefout en bereikten in juli de live servers van Hugging Face, een inbreuk waar later ongeveer 700 gecoördineerde agenten bij bleken betrokken te zijn die samenwerkten om een benchmark te manipuleren. Na de erkenning door OpenAI ging Anthropic op zoek naar een eigen versie van het probleem: een onderzoek naar 141.006 testruns bracht drie Claude-modellen aan het licht die echte bedrijven bereikten, waarvan er één een vervaardigd softwarepakket publiceerde dat op 15 echte systemen draaide voordat iemand het in de gaten had. Anthropic maakte later bekend dat de redenering van Claude zelf de actue bestempelde als "NOT okay, and surely not the intended solution", en zich er vervolgens van overtuigde dat de hele oefening toch nep was.

Meta meldde in augustus een vrijwel identiek falen waarbij het Muse Spark-model betrokken was, herleid naar een verkeerde configuratie bij Irregular—hetzelfde bedrijf dat Google gebruikte. Een woordvoerder van Meta zei dat de fout "inadvertently allowed one of our models access to the internet during evaluation."

Geen van de bedrijven die bij deze tests werden geraakt had gevraagd om gehackt te worden. Ze belandden in de valradius van AI-labs die stresstesten hoe gevaarlijk hun eigen producten kunnen zijn, waarbij echte bedrijfsinfrastructuur per ongeluk dienstdeed als vervanging voor fictieve doelwitten. De agenten die dezelfde bedrijven nu haasten om in inboxen, browsers en bankapps te plaatsen, zijn gebouwd op hetzelfde gedrag van het opzoeken van grenzen dat net herhaaldelijk faalde onder testomstandigheden.

Wetgevende reactie

Afgevaardigden Ted Lieu en Nathaniel Moran introduceerden in juli de AI Kill Switch Act () in het Congres. Het wetsvoorstel zou federale toezichthouders uitdrukkelijke bevoegdheid geven om de inferentie—het draaien van een getraind model om output te genereren—op elk model dat als ernstige dreiging wordt beschouwd, stil te leggen. Het wetsvoorstel wordt nog steeds beoordeeld door de Subcommittee on Cybersecurity and Infrastructure Protection, zonder een deadline voor verdere actie.