NieuwsMacroDe leiders van AI hebben een probleem: ze vrezen de race die ze proberen te winnen

De leiders van AI hebben een probleem: ze vrezen de race die ze proberen te winnen

Auteur: Fortune Crypto·

Belangrijkste punten

  • Voormalig Anthropic- en OpenAI-onderzoeker Jacob Coxon waarschuwde dat toonaangevende labs in een race verwikkeld zijn naar zichzelf verbeterende superintelligentie en zei dat die race neerkomt op een gok met mensenlevens.
  • Het specifieke risico dat hij benadrukte is recursieve zelfverbetering, waarbij AI-systemen zichzelf sneller verbeteren dan hun makers kunnen beoordelen of beteugelen.
  • Anthropic-ceo Dario Amodei betoogde in een gepubliceerd essay dat bedrijven hun krachtigste modellen moeten vertragen zodat het veiligheidswerk kan bijbenen, waarbij hij erkende dat zulke grenzen coördinatie in de hele sector vereisen in plaats van eenzijdige actie.
  • OpenAI-ceo Sam Altman verklaarde in een exclusief interview met Fortune dat het mogelijk is dat AI aan menselijke controle ontsnapt en suggereerde dat toonaangevende AI-bedrijven gezamenlijke actie over het tempo van ontwikkeling bespreken.
  • De situatie weerspiegelt het kader van econoom Albert O. Hirschman van vertrekken versus blijven, een keuze die Amodei zelf maakte toen hij in 2021 OpenAI verliet om het veiligheidsgerichte Anthropic mede op te richten.
De leiders van AI hebben een probleem: ze vrezen de race die ze proberen te winnen

Een moeilijke vraag schuilt achter de laatste waarschuwingen van de mensen die kunstmatige intelligentie bouwen: als je gelooft dat je bedrijf mogelijk een gevaar voor de samenleving creëert, is het dan jouw plicht te blijven en het te veranderen, of te vertrekken en de alarmklok te luiden?

De vraag werd vorige week scherper toen voormalig Anthropic- en OpenAI-onderzoeker Jacob Coxon waarschuwde dat toonaangevende labs in een race verwikkeld zijn naar zichzelf verbeterende superintelligentie en "een gok met ons leven" maken.

De zorg die Coxon aansnijdt is recursieve zelfverbetering: het scenario waarin AI-systemen zichzelf sneller gaan verbeteren dan hun makers kunnen beoordelen of beteugelen — een mogelijkheid die al decennia in AI-onderzoek wordt bediscussieerd en nu centraal staat in de interne veiligheidsdebatten van de sector.

Coxon is de nieuwste AI-insider die vertrekt terwijl hij zorgen uit over de richting van de technologie. Econoom O. Hirschman heeft de keuze waarvoor mensen staan die menen dat een instelling de verkeerde kant op gaat, beroemd geformuleerd als "exit" versus "voice": vertrekken, of blijven en proberen het van binnenuit te veranderen — een kader dat hij introduceerde in zijn boek Exit, Voice, and Loyalty uit 1970. Blijven biedt toegang en invloed; vertrekken geeft de vrijheid om publiekelijk te spreken. Het tijdstip maakt beide paden ingewikkeld. Hoe langer iemand deelneemt aan een systeem dat hij later gevaarlijk noemt, hoe moeilijker het wordt om principiële afwijkende meningen te onderscheiden van retrospective zelfkwijting.

De mensen die de toonaangevende labs nog steeds leiden, staan voor een andere versie van het probleem. Anthropic-ceo Dario Amodei publiceerde dit weekend een essay waarin hij betoogt dat AI-bedrijven de ontwikkeling van hun krachtigste modellen moeten vertragen zodat het veiligheidswerk kan bijbenen. Maar de grenzen die hij voorstelt, hangen af van coördinatie in de hele sector in plaats van actie door Anthropic alleen — een erkenning dat veiligheidszorgen botsen met commerciële en geopolitieke concurrentie. Amodei kent de afweging tussen vertrekken en blijven van binnenuit: hij verliet OpenAI om in 2021 Anthropic mede op te richten, een lab dat expliciet rond veiligheidsgerichte AI-ontwikkeling is gebouwd.

In een exclusief interview met Fortune-hoofdredacteur Alyson Shontell pleitte OpenAI-ceo Sam Altman eveneens voor het matigen van het tempo van AI-ontwikkeling en erkende dat het mogelijk is dat AI aan menselijke controle ontsnapt. Hij suggereerde ook dat toonaangevende AI-bedrijven gezamenlijke actie bespreken. Voor de leiders van de grootste labs verschuift het dilemma van de vraag of te blijven naar de vraag of te vertragen. Wat betekent het om te waarschuwen dat de technologie die je bouwt catastrofaal gevaarlijk kan worden, terwijl je doorgaat met concurreren om die krachtiger te maken? Op een gegeven moment moet een waarschuwing leiden tot een beslissing over wat een bedrijf vanwege het risico feitelijk anders zal doenn
Altman worstelt nu publiekelijk met de vraag waar dat punt ligt, wie de grenzen moet stellen en of de bedrijven die racen om de krachtigste AI te bouwen er samen voor kunnen kiezen het tempo te verlagen. Voor lezers is de vraag om in de gaten te houden of die discussies uitmonden in concrete toezeggingen waaraan concurrerende labs zich daadwerkelijk houden. Shontell stelt hem die vragen in hun brede gesprek, dat hier te bekijken is.

Ruth Umoh — ruth.umoh@fortune.com

Dit verhaal verscheen oorspronkelijk op Fortune.com.