New York City-comptroller Mark Levine heeft Anthropic opgeroepen de geplande beursintroductie uit te stellen tot het bedrijf zorgen over de veiligheid van kunstmatige intelligentie, het bestuur en het tempo van AI-ontwikkeling heeft weggenomen.

In een brief aan Anthropic CEO Dario Amodei, gepubliceerd op 14 oktober, betoogde Levine dat het bedrijf het publiek niet kan waarschuwen voor de gevaren van AI en tegelijkertijd een race naar de publieke markten kan maken. Het verzoek komt nu Anthropic streeft naar een waardering van bijna $2 biljoen.

"Ik schrijf om Anthropic op te roepen de geplande beursintroductie (IPO) uit te stellen tot het bedrijf zich volledig en transparant heeft uitgesproken over de zorgen rond de veiligheid van kunstmatige intelligentie (AI), het bestuur en het ontwikkelingstempo die het zelf heeft aangekaart", schreef Levine.

Levine haalt Amodei's oproep tot vertraging van AI-ontwikkeling aan

Levines betoog steunt mede op Amodei's essay "We Must Pace the Frontier", gepubliceerd op 12 september. In het essay schreef Amodei: "We moeten het tempo waarmee we de capaciteiten van AI-modellen verbeteren vertragen."

Amodei zei dat recursieve zelfverbetering en een beveiligingsincident over de hele sector hem ervan hadden overtuigd dat de AI-industrie meer voorzichtigheid nodig had, in plaats van simpelweg meer uitgaven aan veiligheid.

Het essay stelde een driedelig plan voor. De eerste stap zou externe beoordelaars toegang geven vergelijkbaar met die van werknemers om de veiligheidspraktijken van bedrijven te verifiëren. Anthropic heeft gezegd dat maatregel al zelfstandig te zijn toegedaan. De tweede stap riep op tot coördinatie tussen AI-bedrijven in democratische landen, terwijl de derde wereldwijde coördinatie bepleitte ook met autoritaire regeringen.

Volgens Levine zou de beursgang van Anthropic het werk dat Amodei als urgent bestempelde kunnen dwarsbomen. Het essay kreeg steun uit delen van de AI-industrie, waarbij OpenAI-CEO Sam Altman en xAI-CEO Elon Musk zich achter de voorstellen schaarden.

Levine is ook direct verbonden aan de beleggingsbelangen van New York City. Als comptroller is hij beleggingsadviseur, bewaarder en trustee van de pensioenfondsen van de stad, die meer dan $325 miljard aan activa beheren. Het kantoor van de comptroller meldde dat de publieke pensioenfondsen circa $7 miljoen aan blootstelling aan Anthropic hebben via private equity.

Hoewel die belanging relatief klein is, gaf het volgens Levine zijn kantoor een basis om Anthropic aan te spreken voordat het bedrijf beursgenoteerd wordt.

Zorgen over de bestuursstructuur van Anthropic

Levine uite ook zorgen over de ondernemingsstructuur van Anthropic. Het bedrijf is een publiek nuttige vennootschap (public benefit corporation) naar Delaware-recht met een Long-Term Benefit Trust. Een public benefit corporation is een winstgerichte structuur waarbij directeuren aandeelhoudersrendement moeten afwegen tegen een vastgesteld maatschappelijk doel, terwijl een dergelijke trust is bedoeld om een onafhankelijk bestuursorgaan een rol te geven bij het beschermen van de langetermijnmissie van het bedrijf. Volgens Levine wijzen rapporten erop dat de structuur oprichters en trustees geconcentreerde zeggenschap kan geven.

Hij betoogde dat een kloof tussen die zeggenschap en de verantwoording aan aandeelhouders moeilijk acceptabel zou zijn, gezien de risico's die Anthropic al openbaar heeft gemaakt.

Levine bekritiseerde ook een recente overeenkomst tussen de AI-industrie en de Amerikaanse regering. Anthropic en vijf andere bedrijven ondertekenden wat de brief een moreel bindend akkoord met het Witte Huis noemde. Levine zei dat het akkoord "ontoereikend is om het moment het hoofd te bieden".

De eigen openbaarmakingen van Anthropic hebben zijn zorgen versterkt. In zijn vertrouwelijke ontwerp-S-1-filing waarschuwde het bedrijf dat geavanceerde AI "catastrofale of existentiële risico's voor de mensheid" zou kunnen opleveren. De risicofactorensectie beslaat naar verluidt circa 80 pagina's, bijna twee keer zo lang als de sectie die het bedrijf beschrijft.

Levine wees erop dat Amodei's essay werd gepubliceerd nadat Jacob Coxon, een voormalig onderzoeker bij Anthropic, op 9 september ontslag had genomen. Coxon noemde existentiële zorgen als reden voor zijn vertrek en zei dat insiders ervan overtuigd waren dat AI de mensheid zou kunnen uitroeien tegen het einde van het decennium als de ontwikkeling in het huidige tempo doorgaat.

Evan Hubinger, hoofd alignment science bij Anthropic, heeft geschat dat de kans dat AI alle mensen binnen het decennium doodt boven de 10% ligt.

Anthropic meldt snelle omzetgroei

Het debat over veiligheid en bestuur bij Anthropic speelt zich af terwijl het bedrijf zich voorbereidt op een mogelijke beursgang die het op meer dan $2 biljoen kan waarderen.

Tijdens een besloten pre-IPO-bijeenkomst in San Francisco op woensdag 14 oktober vertelde Anthropic beleggers dat de omzet in het derde kwartaal circa $16,8 miljard berete, een stijging van 45% ten opzichte van het voorgaande kwartaal. Het bedrijf zei ook een gecorrigeerde winst te hebben behaald.

Anthropic meldde in het eerste kwartaal van het jaar een omzet van $4,7 miljard. Dat cijfer steeg aanzienlijk in het tweede kwartaal, toen de omzet circa $11,6 miljard bereikte. Ondanks de groei boekte het bedrijf over de periode nog steeds een operationeel verlies van meer dan $8 miljard.

Anthropic vertelde beleggers ook dat het met een positieve kasstroom uit het derde kwartaal kwam, een ongebruikelijke bewering in een sector waar toonaangevende bedrijven blijven fors uit te geven aan infrastructuur en rekenkracht.

Het bedrijf heeft momenteel meer dan $518 miljard aan geplande infrastructuur- en rekenverplichtingen voor het komende decennium. Die verplichtingen maken deel uit van het argument voor een beursgang die meer dan $2 biljoen kan opleveren en Anthropic mogelijk vóór concurrent OpenAI, die een debuut begin 2027 nastreeft, naar de publieke markten kan brengen.

Anthropic diende op 1 juni een vertrouwelijk ontwerp-S-1-registratiedocument in bij de Securities and Exchange Commission. Een vertrouwelijk ontwerp-S-1 stelt SEC-medewerkers in staat het registratiedocument van een bedrijf te beoordelen voordat het openbaar wordt, en een openbare indiening is vereist voordat aandelen aan externe beleggers kunnen worden aangeboden.

Anthropic heeft geen exacte IPO-datum bekendgemaakt. Speculanten suggereren dat de emissie na de Amerikaanse tussentijdse verkiezingen in november zou kunnen plaatsvinden, al wordt verwacht dat het bedrijf vóór OpenAI naar de beurs gaat. De reactie van Anthropic op Levines brief en het moment van de overgang naar een openbare S-1-filing behoren nu tot de belangrijkste aandachtspunten nu het beursgangproces vordert.