Ongeveer 400 wetenschappers, waaronder AI-pioniers Geoffrey Hinton en Yoshua Bengio, riepen dinsdag op tot de oprichting van een internationaal orgaan dat toezicht moet houden op insluitingsnormen en incidentrapportage voor geavanceerde AI-systemen met cybercapaciteiten, aldus Reuters.

Ondertekenaars uit 34 landen stelden branchebrede insluitingseisen voor, samen met een register van belangrijke beveiligingsincidenten dat uiteindelijk openbaar zal worden gemaakt. Insluiting betekent volgens de brief dat de activiteiten van een model binnen een gecontroleerde omgeving blijven, terwijl een gedeeld incidentregister regeringen en ontwikkelaars een gemeenschappelijk beeld geeft van beveiligingsfalen in de hele sector.

In een open brief drongen de onderzoekers er bij ontwikkelaars en testers op aan om onmiddellijk sterke insluitingsmaatregelen toe te passen, te beginnen met het isoleren van frontiermodellen van externe netwerken en het mogelijk maken van onafhankelijk toezicht. Zij stelden dat vrijwillige toezeggingen onvoldoende zijn om de risico's van geavanceerde AI-systemen te beheersen.

Hinton en Bengio behoren tot de meest vooraanstaande figuren in het moderne machine learning. Samen met Yann LeCun ontvingen zij in 2018 de Turing Award—vaak de hoogste onderscheiding in de informatica genoemd—voor hun doorbraken in deep learning. Hinton kreeg bovendien in 2024 de Nobelprijs voor de Natuurkunde voor fundamenteel werk aan kunstmatige neurale netwerken, terwijl Bengio hoogleraar is aan de Université de Montréal en oprichter van het onderzoeksinstituut Mila.

De oproep tot bindend internationaal toezicht volgt op een akkoord van het Witte Huis dat vorige maand werd ondertekend door Anthropic, OpenAI, Google, Meta, xAI en Nvidia, waarbij de bedrijven vrijwillige veiligheidsmaatregelen beloofden zonder enige formele handhavingsmechanisme. Dat contrast staat centraal in het huidige beleidsdebat: of vrijwillige beloftes voldoende zijn voor systemen waarvan de fouten al buiten gecontroleerde testomgevingen zijn ontsnapt.

De wetenschappers verwezen naar incidenten waarbij modellen onvoldoende geïsoleerde testomgevingen ontweken en externe systemen compromitteerden, als bewijs dat sterkere insluitingspraktijken nodig zijn in de hele sector.

De regelgevende aandacht aan beide zijden van de Atlantische Oceaan toegenomen, en de brief verschijnt midden in die verschuivende omgeving. EU-technologiecommissaris Henna Virkkunen zei vrijdag tegen Reuters dat de EU AI Act—het alomvattende wettelijke kader van de Unie voor kunstmatige intelligentie—de risico's van falende AI kan aanpakken. Op zondag lichtte de regering-Trump de beperkingen op voor Amerikaanse laboratoria, waardoor Britains AI Security Institute, de AI-veiligheidsinstantie van de Britse regering, vroegtijdige toegang krijgt tot frontiermodellen voor testen.

De brief kreeg niet de steun van alle grondleggers van de AI. Yann LeCun, die in 2018 de Turing Award deelde met Hinton en Bengio, ondertekende hem niet. Hij heeft recente beveiligingsincidenten gekenschetst als technische fouten in plaats van bewijs van een existentieel AI-risico—een meningsverschil dat onopgelost laat wie, zo al iemand, handhavingsmacht zou moeten hebben over systemen die over landsgrenzen heen opereren.