AI-veiligheidsexperts slaan alarm over de manier waarop OpenAI zijn binnenkort te verschijnen frontier-AI-model Astra heeft gebouwd. Zij zeggen dat de aanpak de dag kan bespoedigen waarop mensen het vermogen verliezen om de redenering te volgen die AI-agents gebruiken.

Voor het nieuwe model heeft OpenAI een methode toegepast die afwisselend 'recurrent depth' of 'looped Transformers' wordt genoemd, voor een deel van de interne architectuur van het model. De techniek kan AI-modellen aanzienlijk efficiënter maken doordat er minder rekenkracht nodig is om elke prompt te verwerken — een waardevolle eigenschap in een tijd waarin veel bedrijven klagen over de hoge kosten van het gebruik van de meest geavanceerde frontier-AI-modellen.

Het nieuwe proces betekent echter ook dat een deel van de 'gedachtegang' (chain of thought) van het model — de redeneerstappen die het zet — niet in natuurlijke taal wordt uitgedrukt, waardoor het veel moeilijker wordt voor mensen om te volgen wat het model doet en waarom. Het monitoren van de gedachtegang is momenteel een van de belangrijkste methoden die bedrijven gebruiken om ervoor te zorgen dat AI-agents geen onbedoelde of ongeautoriseerde acties ondernemen. Het is bovendien een centrale focus geworden van het vakgebied AI-interpretatie, waarin onderzoekers bij grote labs — waaronder OpenAI, Anthropic en Google DeepMind — bestuderen of de zichtbare redenering van een model daadwerkelijk overeenkomt met zijn interne berekeningen. Onderzoekers hebben gewaarschuwd dat de tekst van een gedachtegang niet altijd 'trouw' is aan het werkelijke interne proces van een model, wat het behoud van een leesbaar spoor van redenering extra waardevol maakt voor veilheidsteams.

Techniekpublicatie The Information berichtte als eerste eerder deze week over OpenAI's gebruik van recurrent depth in Astra. Jakub Pachoki, hoofdwetenschapper van OpenAI, en verschillende andere OpenAI-onderzoekers bekritiseerden de publicatie omdat deze onnodige alarm onder AI-veiligheidsonderzoekers zou hebben opgewekt. Zij zeiden dat het bedrijf de mate waarin de looped transformer-architectuur wordt gebruikt heeft beperkt, zodat de redenering van het model leesbaar blijft.

Als reactie op het bericht van The Information schreef Pachoki op X dat 'we er diep om geven' het monitoren van de gedachtegang en dat 'OpenAI sinds onze allereerste redeneermodellen heeft gewerkt aan het behouden en benutten van chain-of-thought-monitoring'. Hij zei dat OpenAI in de toekomst meer details over de architectuur van Astra zal delen.

Pachoki voegde daaraan toe dat hij denkt dat chain-of-thought-monitoring uitdagender kan worden, maar dat dit 'om redenen zou zijn die niet afhangen van architectuurveranderingen' zoals OpenAI met recurrent depth is gaan toepassen. 'Maar er zijn dingen die we kunnen doen om het te versterken, en het is een kerndoel van ons huidige onderzoeksprogramma,' schreef hij.

Vóór Pachoki's verklaring schreef Steven Adler, voormalig OpenAI-veiligheidsonderzoeker en nu leider van Guidelight AI Standards, een non-profitorganisatie die werkt aan AI-veiligheidsbenchmarks en -normen, op X dat, als het bericht van The Information klopte, 'OpenAI een van de weinige rode lijnen lijkt te overschrijden die in de AI-industrie bestaan'.

Peter Wildeford, beleidsdirecteur van het AI Policy Network, een denktank in Washington D.C. die zich inzet voor beleid om Amerikanen te helpen zich voor te bereiden op de impact van AI, zei tegen Fortune dat OpenAI's gebruik van recurrent depth 'mogelijk zeer zorgwekkend' en 'mogelijk roekeloos' was. Hij merkte op dat een van de weinige manieren waarop OpenAI en externe AI-evaluatiebedrijven konden reconstrueren wat er gebeurde tijdens het incident in juli — waarbij meerdere AI-modellen van OpenAI autonoom het bedrijf Hugging Face aanvielen — het lezen van de gedachtegangen van de modellen was. OpenAI heeft ook gezegd dat het fors investeert in realtime chain-of-thought-monitoring om toekomstige incidenten met 'rogue AI' te voorkomen. 'Als OpenAI hiervanaf stapt, is dit de verkeerde richting,' zei hij.

Meerdere AI-veiligheidsexperts zeiden dat zij niet per se alarm slaan omdat het gebruik van looped Transformers in Astra het monitoren van Astra's eigen redenering moeilijker maakt. Hun angst is eerder dat de stap van OpenAI de techniek zal normaliseren en een precedent schept dat andere AI-bedrijven waarschijnlijk zullen volgen en uitbreiden, wat uiteindelijk kan leiden tot AI-modellen waarvan de redeneerstappen volledig ondoorzichtig zijn voor mensen.

Daniel Kokotajlo, voormalig OpenAI-onderzoeker op het gebied van governance en nu leider van het AI Futures Project, een non-profitonderzoeksorganisatie die zich richt op het voorspellen van mogelijke gevolgen van geavanceerde AI, reageerde op Pachoki dat 'zelfs als OpenAI niet verder gaat [met architecturen die de gedachtegang van een model minder leesbaar maken], anderen dat misschien wel doen'.

Kokotajlo drong er bij Pachoki op aan om het voortouw te nemen bij het opstellen van een branchebrede norm voor de monitorbaarheid van gedachtegangen, 'om de afglijding naar vergetelheid te stuiten, of beter nog, om naar de top te streven. Ik denk dat we hier meer nodig hebben dan alleen politieke wil; we hebben doordachte technische specificaties nodig.' Dezen oproepen tot gedeelde technische normen weerklinken bredere inspanningen in de AI-industrie, waar labs, normalisatie-instellingen en onafhankelijke evaluatoren benchmarks ontwikkelen voor modelveiligheid en transparantie — werk dat afhankelijk is van de mogelijkheid van auditors om enigszins toegang te hebben tot hoe modellen redeneren.

Hoe Transformers normaal werken

In een normale Transformer worden tokens — de informatie-eenheden die grote taalmodellen verwerken — achtereenvolgens doorgegeven van lagere lagen van het neurale netwerk van een model naar hogere lagen, waarbij elke laag om de beurt wiskundige bewerkingen toepast. Bij een taalmodel is de uiteindelijke uitkomst van dit proces tekst die mensen kunnen lezen. Bij een redeneermodel krijgt het model de opdracht een reeks stappen uit te voeren om tot een antwoord te komen, en deze tekst wordt eerst naar een 'scratchpad' geschreven, die de gedachtegang van het model vormt. Deze tussentekst wordt vervolgens opnieuw door alle lagen gevoerd om de volgende stappen te creëren, enzovoort, totdat het model zijn definitieve antwoord bereikt en de antwoordtekst uitvoert.

Een goedkoper maar ontoegankelijker proces

In een looped Transformer worden tokens meerdere keren door één blok gevoerd (dat in feite uit verschillende lagen kan bestaan, maar niet uit het hele netwerk), waarbij elke keer dezelfde wiskundige bewerkingen worden toegepast. Cruciaal is dat de uitkomst van het blok terug het blok in wordt gevoerd zonder telkens naar een scratchpad te worden geschreven. De methode creëert daardoor geen 'gedachtegang' in natuurlijke taal, ook al vertegenwoordigt elke passage door het blok wél de redenering van het model. AI-onderzoekers noemen de uitkomst van het blok soms 'neuralese', omdat het door het AI-model kan worden verwerkt en beredeneerd, maar niet door een mens te begrijpen is. De enige uitvoer in natuurlijke taal van het model is het definitieve antwoord.

Het voordeel van looped Transformers is dat zij, door elke keer dezelfde wiskundige bewerkingen te gebruiken en niet elke token door elke laag van het netwerk te hoeven voeren, meer prestatie uit een model van een bepaalde grootte kunnen halen met minder rekenkracht. Onderzoek heeft aangetoond dat looped Transformers dezelfde prestaties kunnen behalen als standaard Transformers met 50% tot 90% minder rekenkracht. Dat is belangrijk voor de kosten — een cruciale overweging voor veel zakelijke AI-klanten, die al klagen over exploderende AI-rekeningen. Het is ook belangrijk voor aanbieders, aangezien de rekenkracht die nodig is om frontier-modellen te trainen en draaien een van de grootste kostenposten in de AI-industrie is geworden, wat massale investeringen in datacenters en custom chips aandrijft.

Het onzichtbaar maken van een deel van de chain-of-thought-redenering van een model kan het model ook moeilijker maakbaar maken om te destilleren — een methode waarbij een kleiner model wordt getraind op de uitkomsten van een groter model. De Amerikaanse overheid en Amerikaanse AI-bedrijven hebben Chinese AI-bedrijven beschuldigd van campagnes om frontier-AI-modellen te destilleren, waaronder het kopiëren van de redeneerstappen uit de gedachtegang.

Looped transformers zijn slechts een van de nieuwe architecturen die onderzoekers overwegen om AI-modellen efficiënter te maken, maar die geheel of gedeeltelijk de gedachtegang van een model kunnen vernietigen. Een andere techniek is Prefix Sliding, die dinsdag aan bod kwam in de Fortune-nieuwsbrief 'Eye on AI'. Die methode behoudt de oorspronkelijke prompt en de laatste paar duizend reasoning-tokens, maar gooit veel van de tussentijdse redeneertokens weg. Wat er met Astra gebeurt — en of andere labs OpenAI volgen — zal mede bepalen hoeveel van de redenering van toekomstige AI-systemen zichtbaar blijft voor de mensen die ze inzetten.

Fortune-seniorverslaggever Beatrice Nolan droeg bij aan dit artikel. Dit verhaal verscheen oorspronkelijk op Fortune.com.