Anthropic heeft Accenture gekozen als eerste ingebedde evaluator, een samenwerking die gericht is op het ondersteunen van de vertraging van AI-ontwikkeling die vorige week werd voorgesteld door Anthropic-CEO Dario Amodei.

Amodei publiceerde op 12 september een driedelig voorstel waarin wordt opgeroepen AI-ontwikkeling in een langzamer tempo te laten verlopen zodat waarborgen kunnen worden ingebouwd, met verwijzing naar waarschuwingen over mogelijk catastrofale schade als gevolg van snelle, ongecontroleerde vooruitgang.

De reactie binnen de sector was gemengd. OpenAI-CEO Sam Altman en SpaceX-CEO Elon Musk spraken steun uit voor het plan, terwijl Nvidia-CEO Jensen Huang dat niet deed en stelde dat dergelijke regulering niet nodig was. De stap van Anthropic om het plan te gaan uitvoeren komt te midden van dat gebrek aan consensus in de sector.

In het voorstel schreef Amodei dat “AI drastisch sneller vooruitgaat, vooral aangedreven door AI's groeiende vermogen om de volgende generatie AI te bouwen. Deze dynamiek staat bekend als recursieve zelfverbetering,” en voegde eraan toe dat “ongecontroleerd laten dit ons vermogen om deze systemen te begrijpen en beheersen kan overtreffen.”

De eerste stap van het plan voorziet in onafhankelijke evaluators met toegang vergelijkbaar met die van werknemers — een verbintenis waartoe Anthropic zich al eenzijdig had verplicht, aldus Amodei. Op vrijdag maakte het bedrijf die belofte waar door een samenwerking aan te kondigen met Accenture en diens AI-bedrijf Faculty, gericht op “het evalueren en red-teamen van modellen, het uitvoeren van alignment-beoordelingen en het testen van modelwaarborgen.” Met de aankondiging gaat de eerste stap van het voorstel van beginsel naar praktijk.\nHet bedrijf zei dat de details van hoe de regeling zal werken nog worden uitgewerkt, aangezien ingebedde evaluatie een nieuw vakgebied is — een gebied waar zelfs basisvragen, zoals hoe toegang vergelijkbaar met die van werknemers in de praktijk zal functioneren, nog onbeantwoord zijn.

Volgens de aankondiging verwachten Anthropic en Accenture ieder ten minste $1 miljard in het project te investeren over de komende vijf jaar.

Anthropic Financiert Werk Rechtstreeks vanwege Urgentie

Anthropic wees erop dat er momenteel geen systeem bestaat voor de financiering van onafhankelijke evaluatie en dat langetermijnfinanciering uiteindelijk uit gezamenlijke of overheidsbronnen zou moeten komen. Gezien de urgentie van het werk zal Anthropic het werk van Accenture echter rechtstreeks financieren. Tot die bredere financieringsmechanismen bestaan, zijn de eigen verplichtingen van de twee bedrijven de enige financiering die dit werk momenteel ondersteunt.

De samenwerking is niet-exclusief, en Anthropic zei te verwachten dat het in de komende weken extra evaluators zal aankondigen. Die aankondigingen, samen met de nog onuitgewerkte operationele details, zullen de aandachtspunten zijn naarmate het nieuwe vakgebied vorm krijgt.

Volgens Accenture is Faculty gespecialiseerd in het testen en evalueren van modellen voor enkele van 's werelds toonaangevende AI-laboratoria en in het bouwen van complexe AI-systemen die van ontwerp af aan veilig en ethisch zijn.

“Ingebedde evaluatie is een opkomend gebied, en we kijken ernaar uit om met Anthropic samen te werken om de ontwikkeling van ingebedde evaluators te versnellen, wat wij zien als een belangrijk onderdeel van het veiligheidslandschap van de toekomst,” zei Julie Sweet, voorzitter en CEO van Accenture.