Het volgende is een opiniecolumn van Samuel Vance-Law, hoofd onderzoek bij het Decentralization Research Center, waarin hij betoogt dat als de audits uit het AI-akkoord van het Witte Huis iets waard moeten zijn, auditors zelf moeten kunnen kiezen wat zij testen.

Vorige week beloofden zes van de machtigste AI-bedrijven ter wereld het Witte Huis dat zij outsiders zouden toestaan hun werk te controleren.

Op 29 september ondertekenden Nvidia, OpenAI, Anthropic, Google, Meta en xAI een akkoord over de meest geavanceerde AI-modellen, een overeenkomst die de Amerikaanse president Donald Trump "moreel bindend" noemde. Elk bedrijf heeft beloofd een "onafhankelijke externe auditor of evaluator aan zich te binden" en onafhankelijke bestuursleden de rapporten van de auditors te laten beoordelen en te controleren of problemen worden opgelost.

Externe audits zijn een goed idee, en Vance-Law verwelkomt hun opname. Maar het akkoord, zo schrijft hij, zegt niets over wie de auditors kiest, wat zij mogen onderzoeken of of bevindingen openbaar worden gemaakt — en er is geen sanctie op het negeren ervan. Zoals het er nu voorstaat, kiest elk bedrijf zijn eigen auditor en bepaalt wat die auditor te zien krijgt.

De regeling roept een waarschuwend hoofdstuk uit de bedrijfsgeschiedenis op. In 2000 betaalde Enron het accountantskantoor Arthur Andersen — ooit deel van de zogenoemde "Big Five" van internationale accountantskantoren, nu de "Big Four" na de implosie van Arthur Andersen — 25 miljoen dollar voor het controleren van de boeken en nog eens 27 miljoen dollar voor belasting- en advieswerk. Binnen twee jaar waren beide firma's ingestort. Het Congres reageerde met de Sarbanes-Oxley Act van 2002, die de keuze van de auditor aan het management onttrok — juist de bevoegdheid die het nieuwe akkoord aan elk AI-bedrijf laat — auditors verbood de meeste andere diensten te verkopen aan de bedrijven die zij controleren, en een openbaar College instelde om de auditors zelf te inspecteren.

ersen faalde niet door een gebrek aan expertise, maar omdat het de prikkel miste om kritisch te kijken naar een klant die het in één jaar 52 miljoen dollar betaalde.

Vrijwillige beloftes in de AI-industrie hebben ook geen sterke staat van dienst. In 2023 deden de toonaangevende AI-bedrijven een reeks vrijwillige toezeggingen aan het Witte Huis, waaronder het toestaan dat externe experts hun systemen vóór uitgave testen. Toen onderzoekers van Stanford, Harvard en Brown 16 bedrijven tegen die toezeggingen afzetten, kwam het gemiddelde uit op 53%. Op de belofte om outsiders te helpen bij het vinden en melden van problemen scoorden acht van de 16 een nul.

Zelfs wanneer externe tests plaatsvinden, stelt de ontwikkelaar de voorwaarden. METR, een non-profitorganisatie die AI-modellen test, schreef dat de tests van het o3-model van OpenAI vóór uitgave "slechts over drie weken werden uitgevoerd", met "beperkte toegang tot informatie over het model" en zonder inzicht in de redenering van het model stap voor stap. Ter eer van OpenAI: het stond de tests in de eerste plaats toe — maar het incident laat zien hoeveel afhangt van wat een bedrijf kiest te delen.

Een getraind AI-model is in wezen een zeer groot bestand van cijfers, vaak kostende meer dan 100 miljoen dollar om te produceren, en wie een kopie heeft, heeft het model. Kopieën aan outsiders geven is een beveiligingsrisico. Tot voor kort liet dat testers met een lastige keuze zitten, die Google DeepMind goed heeft beschreven: of de testers overleggen hun vragen, zodat het bedrijf het examen vooraf ziet, of het bedrijf overlegt zijn model.

In augustus liet DeepMind een manier zien om dat dilemma te omzeilen. In samenwerking met het AI Safety Institute van Singapore en drie andere externe groepen voerde het uit wat het de eerste dubbelblinde test van een AI-model ter wereld noemde, volgens hetzelfde principe als een dubbelblind geneesmiddelentest. De test verliep op afgesloten computerhardware, zodat de externe testers het model nooit zagen en Google hun vragen nooit zag. Google zegt dat elke partij wiskundig kan controleren dat het eigen materiaal privé bleef.

De aanpak verplaatst het vertrouwen ook naar de hardware zelf. Vorig jaar braken onderzoekers in dit soort afgesloten hardware in met minder dan 1.000 dollar aan apparatuur, al hadden ze fysieke toegang tot de server nodig. Dat verdient serieuze aandacht, maar het is een veel kleiner probleem dan "we kunnen niemand in de buurt van het model laten", en het kan worden beheerst door zorgvuldig te zijn over wie de machines beheert.

Het betoog is gebaseerd op het rapport "Alternatives to Concentrated AI", deze week gepubliceerd door het Decentralization Research Center. Voor het rapport interviewden Vance-Law en co-auteur Kyle Bligen 36 mensen en brachten ze bijna 30 werkende alternatieven in kaart voor geconcentreerde controle over AI. De belangrijkste bevinding: outsiders kunnen geavanceerde AI nu kritisch onderzoeken zonder het model of de data ervan in bezit te nemen.

Als de audits uit het akkoord iets waard moeten zijn, betoogt Vance-Law, dan moeten auditors zelf kiezen wat zij testen, nu dat mogelijk is zonder een kopie van het model te nemen. Bedrijven zouden ook moeten zeggen wie hun auditors zijn en wat de audits omvatten, zelfs als gedetailleerde bevindingen privé blijven — beursgenoteerde bedrij noemen hun auditors al decennialang zonder bedrijfskennis prijs te geven. En de bestuurscommissies die deze rapporten lezen, zouden verantwoording moeten afleggen aan iemand buiten het bedrijf. Sarbanes-Oxley schiep een controleur voor de controleurs. Het akkoord heeft niets dergelijks, en het Congres zou moeten beslissen wat die leemte opvult.

Kanttekening: de in deze column geuite standpunten zijn die van de auteur en weerspiegelen niet noodzakelijk die van CoinDesk, Inc. of haar eigenaren en gelieerde ondernemingen.