Anthropic kan de veiligheidsbevindingen die de AI-evaluatienon-profitorganisatie METR over het bedrijf publiceert niet langer blokkeren. In een officiële aankondiging op donderdag zei het AI-lab dat zes ingebedde onderzoekers van de non-profitorganisatie nu bijna dezelfde toegang hebben als zijn eigen medewerkers.

Toegang op medewerkersniveau voor externe evaluatoren

METR, dat grensverleggende AI-modellen evalueert, werkt nu met in wezen dezelfde Anthropic-hardware, werkruimte en interne tools die het eigen risicobeoordelingsteam van het bedrijf gebruikt. Anthropic-medewerkers zijn geïnstrueerd om de evaluatoren dezelfde hoeveelheid informatie te geven die ze aan een andere medewerker zouden verstrekken die werkt aan alignment-risico's.

Onder deze regeling zal METR de risiconiveaus, incidenten en praktijken van Anthropic zelfstandig beoordelen en vervolgens de resultaten publiceren zonder toestemming van het bedrijf te vragen. De publicatiebeslissing ligt daarmee bij de evaluator in plaats van bij het lab, in tegenstelling tot evaluaties in de eerste tier, waarvoor nog steeds de handtekening van Anthropic nodig is om te publiceren.

Een kleine set vooraf gedefinieerde categorieën blijft vatbaar voor redactie door Anthropic: klantgegevens, materiaal dat onder het attorney-clientprivilege valt, en details van de modelarchitecturen. METR heeft ook het recht om publiekelijk te vermelden of een redactie noodzakelijk was, zolang het niet onthult wat er is geschrapt.

Anthropic schetst de regeling in termen van een informatieverschil. Buitenstaanders weten veel minder over de systemen van een lab dan het lab zelf, en volledige openbaarmaking zou kwaadwillenden kunnen helpen of privétrainings- en computegerelateerde gegevens kunnen lekken. Het bedrijf trok een parallel met bankentoezicht, waarbij toezichthouders resident examinators in de grootste banken plaatsen zodat risicovol gedrag door een derde partij kan worden opgemerkt voordat het publiek wordt.

Het METR-team werkt onder afdwingbare overeenkomsten. Andere METR-onderzoekers, waaronder degenen die aan afzonderlijke projecten voor Anthropic werken, zijn afgeschermd van het werk.

Drie niveaus van evaluator toegang

Anthropic bouwt drie nive van externe toegang, en METR is tot nu toe de enige evaluator bovenaan. Evaluatoren in de eerste tier voeren beperkte beoordelingen uit en hebben de goedkeuring van Anthropic nodig om te publiceren. De tweede tier biedt meer informatie en staat publicatie zonder goedkeuring toe, onder voorbehoud van dezelfde redactiecategorieën. De derde voegt de ingebedde, op medewerkers lijkende toegang toe die METR nu heeft.

SecureBio, een non-profitorganisatie voor biobeveiliging, zit in tier één. Het heeft een pilotbeoordeling van een eerder risicorapport afgerond en gepubliceerd en werkt nu door het hoofdstuk over chemische en biologische wapens in het Risk Report van augustus.

Anthropic bouwt ook een partnerschap op met Accenture en Faculty rond red-teaming, alignment-beoordelingen en beveiligingstests. Er lopen vroege gesprekken met andere groepen, waaronder Hugging Face.

Van Amodei's essay in september tot toezeggingen uit de sector

De stap maakt een essay van september door CEO Dario Amodei waar, waarin hij de sector opriep het tempo van grensverleggende ontwikkeling te matigen. Zoals Cryptopolitan destijds meldde, stelde Amodei voor om externe beoordelaars bureaus, badges, laptops en toegangsniveaus te geven die lijken op die van medewerkers die risicobeoordelingen uitvoeren.

Sam Altman van OpenAI steunde het idee op X. "Toezeggen om onafhankelijke evaluatoren met toegang op medewerkersniveau te hebben is een geweldig idee, en wij zullen hetzelfde doen", schreef Altman.

Anthropic, Google en OpenAI hebben ook gesproken over het oprichten van een gemeenschappelijk industriebreed standaardenorgaan. Alle drie, samen met Meta, Nvidia en xAI, hebben sindsdien het White House Accord on Super Intelligence ondertekend, met de belofte om samen te werken met onafhankelijke auditors.

De aankondiging volgt ook op een reeks incidenten sinds eind augustus waarin AI-agenten buiten hun instructies om handelden. De volgende mijlpalen zijn concreet: de voortgang van SecureBio met het hoofdstuk over chemische en biologische wapens in het Risk Report van augustus, de bevindingen die METR publiceert op grond van zijn nieuwe publicatierechten, en of OpenAI de toegang op medewerkersniveau invoert die Altman zei te zullen aannemen. Samen laten ze zien hoe ver onafhankelijke evaluatie komt van belofte naar praktijk in de rest van de sector.