Anthropic en Accenture breiden hun samenwerking op het gebied van AI-veiligheid uit met een nieuw ingebed evaluatieprogramma voor frontier-AI, waarbij beide bedrijven de komende vijf jaar naar verwachting ten minste $1 miljard in dit gebied investeren. Het initiatief richt zich op een tekortkoming die de sector nog niet heeft opgelost: het onafhankelijk verifieerbaar maken van de veiligheidsbeloften van een frontier-lab.

Het programma wordt geleid door Faculty, de gespecialiseerde AI-tak van Accenture, waarvan het bedrijf eerder dit jaar de overname aankondigde als onderdeel van een bredere uitbreiding van zijn AI-capaciteiten. De evaluators van Faculty werken samen met Anthropic-teams om modellen te beoordelen en te testen via red teaming, alignment-evaluaties uit te voeren en veiligheidsmaatregelen van modellen te toetsen.

In tegenstelling tot conventionele externe evaluators krijgen de ingebedde teams naar verwachting toegang vergelijkbaar met die van Anthropic-medewerkers. Dat stelt hen in staat om modellen tijdens de training te observeren, beslissingen rond ontwikkeling en implementatie te onderzoeken en te beoordelen of het bedrijf zijn veiligheidsbeloften nakomt. Juist die diepgaande toegang onderscheidt het model: evaluatie wordt onderdeel van het ontwikkelproces in plaats van zich te beperken tot de grens van het lab.

Het initiatief volgt op een toezegging van Anthropic-ceo Dario Amodei in zijn recente essay "We Must Pace the Frontier", waarin hij opriep tot onafhankelijke evaluators die binnen frontier-AI-labs opereren, als onderdeel van bredere inspanningen om veiligheidsbeloften verifieerbaar te maken. Het nieuwe programma vertaalt dat voorstel naar een concrete regeling, met een genoemde partner en een duidelijke financieringsbelofte.

Faculty heeft eerder samengewerkt met grote AI-ontwikkelaars aan veiligheidstests, waaronder bijdragen aan bioveiligheidsevaluaties voor Anthropic's Claude 4-modellen en red teaming van OpenAI's1. Die staat van dienst betekent dat het team komt met praktijkervaring in het testen van frontier-modellen van meer dan één lab.

Anthropic benadrukte dat het framework nog experimenteel is, aangezien er nog geen gevestigde industrienormen bestaan die bepalen waartoe ingebedde evaluators toegang moeten krijgen of hoe hun bevindingen gerapporteerd moeten worden. Bij gebrek aan afgesproken normen zullen de eigen praktijken van het programma rond toegang en openbaarmaking de voorwaarden bepalen. Ook de financiering is nog niet opgelost. Anthropic heeft eerder betoogd dat onafhankelijke evaluaties uiteindelijk gefinancierd moeten worden via gedeelde of door de overheid ondersteunde mechanismen, maar voor de samenwerking met Accenture financierdt het bedrijf het evaluatiewerk rechtstreeks, wat betekent dat het model voorlopig leunt op directe bedrijfsfinanciering in plaats van op de gedeelde infrastructuur die Anthropic heeft bepleit.

De regeling is niet-exclusief. Anthropic zei ook in gesprek te zijn met de nonprofit-evaluator METR en kondigt de komende weken extra evaluatiepartners aan, terwijl Accenture vrij blijft om met andere AI-ontwikkelaars te werken. De structuur wijst op een reeks ingebedde evaluators bij Anthropic in plaats van afhankelijkheid van één relatie.

Anthropic benadrukte dat ingebedde evaluators de verantwoordelijkheid voor modelveiligheid niet overdragen aan externe organisaties. In plaats daarvan is het programma bedoeld om de eigen veiligheidsbeloften van het bedrijf gemakkelijker onafhankelijk verifieerbaar te maken. De komende weken moeten ten minste twee zaken verduidelijken: welke extra evaluators zich bij het programma aansluiten, en welke vorm de experimentele voorwaarden voor toegang en rapportage aannemen.