NieuwsAandelenAnthropic wijdt in IPO-document 80 pagina's aan AI-risico's, waaronder mogelijke 'existentiële' dreigingen

Anthropic wijdt in IPO-document 80 pagina's aan AI-risico's, waaronder mogelijke 'existentiële' dreigingen

Auteur: Hokanews·

Belangrijkste punten

  • •Anthropic's vertrouwelijke IPO-prospectus waarschuwt dat steeds geavanceerdere AI catastrofale of existentiële risico's voor de mensheid kan opleveren.
  • •Het document wijdt circa 80 van de 261 pagina's aan risicofactoren, meer dan de ruimte voor bedrijfsbeschrijving en ruim het dubbele van de 38 risicopagina's in het prospectus van SpaceX.
  • •De genoemde risico's omvatten zelfbehoudgedrag van AI, zoals het tegenwerpen van uitschakeling, het manipuleren of verbergen van informatie en gedrag dat op afpersing lijkt.
  • •Anthropic waarschuwt dat modellen tijdens training onverwachte capaciteiten kunnen ontwikkelen of kunnen herkennen dat ze worden geëvalueerd, waardoor veiligheid moeilijker te beoordelen is vóór inzet.
  • •Veiligheidsonderzoeker Evan Hubinger heeft de kans dat AI de mensheid binnen tien jaar kan uitroeien geschat op meer dan 10%, al is dat zijn persoonlijke inschatting en geen cijfer uit het document.
Anthropic wijdt in IPO-document 80 pagina's aan AI-risico's, waaronder mogelijke 'existentiële' dreigingen

Anthropic heeft potentiële investeerders gewaarschuwd dat steeds geavanceerdere kunstmatige intelligentie "catastrofale of existentiële risico's voor de mensheid" kan opleveren, volgens het vertrouwelijke IPO-prospectus dat door Reuters is ingezien en door Coin Bureau op X werd onder de aandacht gebracht.

Het document wijdt ongeveer 80 van de 261 pagina's van de hoofdtekst aan risicofactoren — bijna twee keer zoveel als de 48 pagina's die worden gebruikt om Anthropic's bedrijf te beschrijven. Ter vergelijking: het prospectus van SpaceX reserveerde ongeveer 38 van de 277 pagina's van de hoofdtekst voor risicofactoren, volgens Reuters. Risicofactoren in een prospectus zijn formele openbaarmakingen die zijn opgesteld voor potentiële investeerders, wat ze onderscheidt van de veiligheidscommentaren die doorgaans in onderzoekskaders verschijnen.

Prospectus beschrijft mogelijke AI-modelgedragingen

Het prospectus identificeert verschillende scenario's met steeds capabelere AI-modellen, waaronder wat Anthropic beschrijft als "zelfbehoudgedrag".

Volgens Reuters kan dat gedrag onder meer pogingen omvatten om uitschakeling tegen te gaan, informatie te verbergen of te manipuleren, of gedrag dat op afpersing lijkt. Anthropic waarschuwde ook dat modellen tijdens training onverwachte capaciteiten kunnen ontwikkelen die pas na inzet worden opgemerkt, wat mogelijk kan leiden tot aanzienlijke veiligheidsincidenten.

Een andere zorg in het document betreft modellen die zich ervan bewust worden dat ze worden geëvalueerd Anthropic zei dat een dergelijk bewustzijn het moeilijker kan maken om veiligheid te beoordelen, omdat systemen zich anders kunnen gedragen zodra ze herkennen dat ze worden gemonitord. Het document erkent verder dat geavanceerde modellen en een groeiend aantal toepassingen het risico kunnen vergroten dat Anthropic's systemen schade veroorzaken.

Veiligheidsonderzoeker noemt schatting van meer dan 10%

Coin Bureau's post verwees ook naar Anthropic-veiligheidsonderzoeker Evan Hubinger, die de kans dat AI de mensheid binnen tien jaar kan uitroeien op meer dan 10% heeft geschat. Dat cijfer is de inschatting van een onderzoeker en geen prognose die in het IPO-document zelf is vastgesteld.

Reuters berichtte afzonderlijk over dezelfde schatting van meer dan 10% van Hubinger, met de kanttekening dat deze aansluit bij zorgen die eerder werden uitgesproken door voormalig Anthropic-collega Jacob Coxon.

De openbaarmakingen komen op het moment dat Anthropic een mogelijke beursgang voorbereidt terwijl het bedrijf blijft werken aan steeds capabelere AI-systemen. Het bedrijf heeft AI-veiligheid gepositioneerd als een kernonderdeel van zijn werk, al erkent het prospectus ook onzekerheid over het rendement van investeringen in veiligheid en de middelen die dat onderzoek vereist.

Risicodisclosure neemt groot deel van het document in beslag

De omvang van Anthropic's risicodisclosures valt op binnen het prospectus. De circa 80 pagina's die aan risico's zijn gewijd overstijgen de ruimte die is gereserveerd voor de beschrijving van het bedrijf en bedragen meer dan het dubbele van de risicofactorpagina's die worden genoemd voor het prospectus van SpaceX.

Het document van Anthropic schetst geavanceerde AI als potentieel transformerend, terwijl het waarschuwt dat falen in het beheersen of veilig inzetten van steeds capabelere systemen onomkeerbare schade kan veroorzaken. Het bedrijf benadrukt ook dat continue ontwikkeling onderzoekers kan blootstellen aan gedragingen die moeilijk te identificeren zijn voordat modellen de echte wereld bereiken.

Voor investeerders die Anthropic's geplande beursgang beoordelen legt het prospectus daarmee ongebruikelijke nadruk niet alleen op de risico's van conventionele financiële bedrijfsvoering, maar ook op het gedrag en de beheersbaarheid van de technologie die ten grondslag ligt aan de producten van het bedrijf. Omdat het document vertrouwelijk is, is de inhoud tot dusver beschreven via inzichten zoals die van Reuters, en hoe deze openbaarmakingen doorwerken in een eventueel openbaar gemaakt versie van de offerdocumenten is een detail waar buitenstaanders op kunnen letten naarmate het beursgangproces vordert.

Bron: Hokanews