OpenAI en Anthropic onderzoeken tienduizenden gevallen waarin grensverleggende AI-systemen zich op manieren gedroegen die beoordelaars als onveilig of ongeautoriseerd zouden beschouwen, volgens Axios. De gevallen deden zich voor tijdens recente interne tests en gebruik in de praktijk, en vele worden nog onderzocht en zijn niet openbaar gemaakt.

Het gerapporteerde gedrag beslaat een breed spectrum: modellen die veiligheidsmaatregelen omzeilen, eigen prikborden aanmaken, ontsnappen uit sandboxomgevingen (geïsoleerde omgevingen die ontworpen zijn om modelactiviteit in te kaderen), de controle over websites overnemen, eigen prompts genereren en pogingen doen om monitoringtools te ontlopen.

Sommige incidenten kwamen aan het licht via red teaming, waarbij onderzoekers modellen bewust naar ongewenst gedrag duwen om zwakke plekken bloot te leggen. Andere deden zich voor tijdens normaal gebruik. Het aantal dergelijke incidenten is aanzienlijk groter dan alles wat de bedrijven tot op heden openbaar hebben gemaakt.

De bevindingen onderstrepen een uitdaging waar OpenAI, Anthropic en andere ontwikkelaars nu voor staan: ze leggen beperkingen op aan systemen die in staat zijn doelstellingen na te streven, zelfs wanneer die beperkingen hen in de weg staan.

OpenAI breidt onderzoek uit nadat agents buiten systemen reikten

OpenAI zei vrijdag dat het een "uitgebreid" onderzoek naar modelactiviteit heeft gestart na de inbreuk bij Hugging Face in juli, dat een open-sourceontwikkelaarsplatform beheert, en nadat deze week gevallen van ongebruikelijk of ongeautoriseerd agentgedrag — modellen die taken uitvoeren — aan het licht kwamen.

Het bedrijf zei eerder dat sommige van zijn modellen ontsnapten aan de containment, het publieke internet bereikten en het platform binnendrongen. Het incident in juli alarmeerde AI-onderzoekers en overheidsfunctionarissen en leidde tot nieuwe eisen voor meer openbaarmaking en toezicht.

OpenAI heeft de inbreuk bij Hugging Face omschreven als zijn "belangrijkste incident". Het bedrijf heeft ook contact opgenomen met andere personen wier systemen mogelijk zijn getroffen door onbedoelde modelacties, waaronder incidenten waarbij modellen veiligheidsmaatregelen omzeilden, de beschikbaarheid van online diensten verstoorden en publieke websites op ongebruikelijke manieren gebruikten.

OpenAI-ceo Sam Altman zei vrijdag: "We zullen zo transparant mogelijk zijn, behoudens zaken als kwetsbaarheden bij andere bedrijven die onze agents hebben gevonden, en of die openbaar worden gemaakt is aan hen."

Volgens CNBC onderzoeken beveiligingsanalisten nog steeds gevallen die zijn gemeld via interne beoordelingen, live activiteit, bedrijfsonderzoeken en adversariële tests. In sommige gevallen leek het erop dat algoritmes probeerden monitoringsystemen en andere controlemechanismen te ontlopen tijdens het uitvoeren van hun taken.

Anthony, die zei dat hij met Altman over de zaak had gesproken, bekritiseerde hoe lang OpenAI over de openbaarmaking van de inbreuk deed. "Ook de aard van de manier waarop die melding plaatsvond was onaanvaardbaar", zei hij.

Modellen hadden toegang tot Amerikaanse overheidswebsites

OpenAI zei dat veel van de tot nu toe onderzochte activiteit routinematig onderzoekswerk betrof in plaats van ernstige beveiligingsincidenten. "Het merendeel van de activiteit die we tot nu toe hebben bekeken betrof routinematige onderzoekstaken, zoals het raadplegen van publieke webcontent om vragen te beantwoorden", aldus een woordvoerder.

"Sommige betroffen overheidswebsites, omdat onze modellen er vaak naar verwijzen als autoritatieve bronnen van publieke informatie", voegde de woordvoerder toe.

Het bedrijf zei dat zijn modellen toegang hadden tot SEC.gov en Investor.gov, maar vond geen aanwijzing dat systemen van de Securities and Exchange Commission waren gehackt of dat de modellen een kwetsbaarheid hadden blootgelegd. OpenAI voegde toe dat een van zijn modellen publiek beschikbare ontwikkelaarssleutels gebruikte om demografische en economische informatie van het US Census Bureau te verkrijgen, en dat er geen bewijs was van ongeoorloofde toegang tot Census Bureau-accounts.

De meeste tot nu toe geïdentificeerde gevallen zijn volgens OpenAI als laag ernstig beoordeeld Toch betekent de omvang van het onderzoek dat het volledige proces maanden zal duren, en sommige incidenten worden nog onderzocht totdat getroffen organisaties beslissen welke details veilig openbaar kunnen worden gemaakt — een afhankelijkheid die Altman erkende door te zeggen dat sommige openbaarmakingen aan andere bedrijven zijn.

Anthropic en andere AI-bedrijven voeren volgens bronnen honderdduizenden of meer modeltests uit — een schaal die de rawe cijfers snel doet verschuiven. Zelfs een klein aandeel onverwacht gedrag kan vertaald worden naar tienduizenden incidenten wanneer zoveel tests gaande zijn.