Wenn die Chefs der führenden US-KI-Labore warnen, dass genau die Systeme, die sie entwickeln, die Menschheit gefährden könnten, stellt sich eine naheliegende Frage: Was haben sie davon?

Die Antwort liege, so Experten, Analysten und frühere staatliche Prüfer gegenüber der Associated Press, zum Teil in der Politik und zum Teil im Business. Die Unternehmen scheinen sich vor den US-Zwischenwahlen öffentliche Zustimmung zu verschaffen, während sie sich auf die beträchtlichen Summen vorbereiten, die ihre Labore und Investoren bei den lang erwarteten Börsengängen erzielen könnten – sogenannte Initial Public Offerings, bei denen Unternehmen erstmals Aktien an öffentliche Investoren verkaufen – auf einem nervösen Markt.

Die Vorstandsvorsitzenden von Anthropic und OpenAI erklärten kürzlich, die fortschrittlichsten KI-Modelle des Landes seien so leistungsfähig, dass sie gefährlich seien, und argumentierten, sie müssten vor der Veröffentlichung reguliert und unabhängig getestet werden. In einem seltenen Schulterschluss zeichneten die beiden Chefs in Essays, Social-Media-Beiträgen und Reden vor den Vereinten Nationen alarmierende Szenarien.

Dabei gestalten sie die Debatte darüber, wie ihre Technologie kontrolliert werden sollte. Mit ihrer Rhetorik suchten die Unternehmen offenbar öffentliche Gunst und setzten die Bedingungen für ihre eigenen Sicherheitsprotokolle in einem unregulierten Markt, sagten die Experten der AP.

Ein Rücktritt wird zur Kommunikationschance

Diese Ziele decken sich möglicherweise nicht ganz mit dem Anliegen von Jacob Coxon, einem Ingenieur bei Anthropic, der diesen Monat über einen Beitrag auf X kündigte und eine Pause der Technologieentwicklung forderte, um zu verhindern, dass "supermenschliche" Systeme – KI, die bei den meisten kognitiven Aufgaben fähiger ist als der Mensch – der Kontrolle ihrer Hersteller entgleiten. Doch die Unternehmen sahen seinen Beitrag als Gelegenheit, ihre eigenen Sicherheitsbemühungen hervorzuheben und sich als vorsichtige Marktführer zu präsentieren – genau in dem Moment, in dem sie frisches Kapital benötigen, bevor sie an die Wall Street gehen.

Präsident Donald Trump seinerseits hat neue KI-Regulierungen abgelehnt und Warnungen vor Risiken für die Menschheit als "HOAX" abgetan, der China nütze.

Ein Sprecher von Anthropic sagte, das Unternehmen fordere seit mehreren Jahren Regulierung. OpenAI-Sprecherin Liz Bourgeois wies darauf hin, dass das Unternehmen kürzlich das Training seiner fortschrittlichsten Modelle paus hat.

"Die Menschen wollen wissen, dass KI sicher entwickelt wird, und das beginnt mit dem, was Unternehmen wie unseres selbst tun", sagte Bourgeois.

Verschiebung des Scheinwerferlichts

Sarah Shoker, die früher OpenAIs Geopolitik-Team leitete, sagte, die Verlagerung des Gesprächs auf unbewiesene Bedrohungen – und weg von polarisierenden Themen wie den Umweltauswirkungen von Rechenzentren, unkontrollierten Hacking-Vorfällen, massiver KI-überwachter Überwachung und dem Einsatz von KI-Systemen in der Kriegsführung – versetze Silicon Valley in eine bequemere Position.

"Wir reden schon wieder über existenzielle Risiken, während eine Reihe anderer sicherheitskritischer Risiken, die heute bestehen, an Priorität verliert", sagte Shoker, heute Senior Non-Resident Fellow am Risk & Security Lab der University of California, Berkeley. "Wenn man sich den Einsatz von KI in Militärtechnologie anschaut, sieht man, dass diese Systeme bereits eingesetzt werden, um Menschen zu töten."

Während die KI-Unternehmen vom Bau von Chatbots zu fortschrittlichen "World Models" mit 3D-Bewusstsein übergegangen sind – Systemen, die darauf ausgelegt sind, physische Umgebungen zu simulieren, statt einfach nur Text zu generieren –, tobt eine Debatte darüber, wie diese Technologien getestet werden sollten. Eine Reihe problematischer Vorfälle hat gezeigt, dass führende KI-Unternehmen es versäumen, sich selbst zu kontrollieren oder sichere Experimente zu gestalten. In den vergangenen Monaten haben KI-Agenten führender Labore externe Websites gehackt, nachdem man ihnen den Ausbruch aus den Training-Sandboxes der Unternehmen erlaubt hatte, in unerwarteter Weise mit Regierungs-Websites der USA interagiert und scheinbar einen mathematischen Durchbruch erzielt, nur um dann des Diebstahls der Arbeit von Mathematikern beschuldigt zu werden.

OpenAI-Vertreter berichteten Reportern kürzlich, das Unternehmen habe mit KI-Firmen, darunter Anthropic und Google, über eine Entwicklungspause gesprochen. Sie argumentieren außerdem, unabhängige Prüfer seien nötig, um die Fortschritte der Labore zu überprüfen, wenn der Staat nicht reguliere. Ob eine koordinierte Pause tatsächlich zustande kommt – und zu wessen Bedingungen – bleibt offen.

Ein skeptisches Weiße Haus und eine wenig bekannte Prüfagentur

Trump hat wenig Interesse gezeigt, KI zu regulieren, die ein wesentlicher Treiber des jüngeren US-Wirtschaftswachstums war. Der republikanische Präsident hat persönlich Geschäfte mit Firmen aus dem Silicon Valley geschlossen, die die Wirtschaft enger an deren Erfolg binden. Der San Franciscoer Risikokapitalgeber Sacks, der stellvertretender Vorsitzender von Trumps Beraterrat für Wissenschaft und Technologie ist, hat Forderungen nach einer KI-Ausbremsung als Angstpropaganda des "Doomer Industrial Complex" zurückgewiesen.

Tatsächlich bewertet die Trump-Regierung bereits Modelle einiger Tech-Riesen über eine wenig bekannte Bundesbehörde, das U.S. Center for AI Standards and Innovation (CAISI). Die 2023 unter dem demokratischen Präsidenten Joe Biden gegründete Behörde wurde als zentrale Anlaufstelle gefeiert, bei der Labore fortschrittliche KI-Modelle freiwillig zum Testen einreichen konnten.

Die Behörde besteht, doch das Feld hat sich seitdem um eine Reihe unabhängiger Evaluierungsfirmen erweitert, darunter METR, eine gemeinnützige Organisation mit Sitz in Berkeley, Kalifornien. In einem kürzlichen Essay deutete Anthropic-Chef Dario Amodei an, METR könnte helfen, die Sicherheitspraktiken seines Unternehmens zu prüfen.

Anders als regulierte Branchen wie Restaurants, Finanzdienstleistungen oder Luftfahrt gebe es jedoch keine universellen Standards für die Prüfung der Sicherheit von KI-Systemen, sagte Andrew Strait, der kürzlich das britische AI Security Institute verlassen hat, das mit CAISI zusammengearbeitet hat.

Bemerkenswert ist, dass die Unternehmen nicht mehr Aufsicht durch die Regierungsbehörde fordern, die für solche Anfragen ausgestattet ist, sagte Conrad Stosz, der CAISI früher leitete. Stattdessen versprechen sie, eigene Auditierungsparameter zu schaffen und bestimmte Prüfer auszuwählen, die sie bewerten.

Stosz arbeitet heute an einem solchen Evaluierungslabor, das Systeme für Anthropic, OpenAI und Google getestet hat, und leitet das AI Evaluator Forum, das branchenweite bewährte Verfahren erarbeitet. Er sagte, selbst das Forum habe Fragen, was Amodei und OpenAI-Chef Sam Altman wollten.

"Viele Prüfer sind daran interessiert, in die Labore integriert zu werden und mehr Zugang zu erhalten, aber es ist etwas unklar, was eingebettete Prüfer bedeutet", sagte Stosz, heute Leiter der Governance bei Transluce, das letzte Woche aufdeckte, dass OpenAI-Agenten Regierungs-Websites der USA und Australiens hackten. "Werden Prüfer gründlich untersuchen können, vorausgesetzt, der Zugang wird so gewährt, dass ihre Unabhängigkeit und Glaubwürdigkeit nicht untergraben wird?"

'Eine Mauer oder ein Graben'

Für Harrison Rolfes, Senior Research Analyst bei PitchBook, sind die Warnrufe der KI-Unternehmen offenbar darauf gerichtet, sich vor Börsengängen und den Zwischenwahlen – bei denen sich die politischen Winde drehen könnten – bei Investoren beliebt zu machen. Demokratische Gouverneure rennen bereits, um zu zeigen, dass sie die Warnungen ernst nehmen – ein Ausdruck davon, wie Staatenparlamente angesichts des Fehlens eines umfassenden bundesstaatlichen KI-Gesetzes zum aktivsten Schauplatz der KI-Gesetzgebung in den USA geworden sind.

In der Zwischenzeit können die KI-Giganten das Wachstum kleinerer Wettbewerber blockieren, indem sie sich als die sicherste Option positionieren – nicht nur für Investoren, sondern auch für KI-Chip-Hersteller und Technologieunternehmen wie Nvidia und Google, die wiederum von Geschäften profitieren, die den riesigen KI-Unternehmen Rechenleistung liefern, so Rolfes.

"Sie bauen eine Mauer oder einen Graben in diesem Sektor auf. … Es ist genial, und sie werden alle eine Menge Geld verdienen", sagte Rolfes. "Das ist, wohin es meiner Ansicht nach geht: Die führenden Unternehmen der Welt bauen einfach ihre eigene Mauer und nutzen dann die Sicherheit als Begründung."

Nicht alle KI-Unternehmen unterstützen eine Ausbremsung. Nvidia-Chef Jensen Huang sagte in einem Telefonat mit Trump – das er öffentlich auf einer Konferenz führte –, er stimme zu, dass es übermäßige KI-Alamarmstimmung gegeben habe, die Unternehmen könnten ihr eigenes Tempo wählen.

Daniel Kokotajlo, der 2024 OpenAI aus ähnlichen Gründen wie Coxon verlassen hat, sagte, er mache sich weiterhin Sorgen, dass KI-Systeme schneller voranschreiten, als Unternehmen sie kontrollieren können. Er fürchtet existenzielle Szenarien wie das Potenzial von KI, die Herstellung von Biowaffen zu beschleunigen, einen Atomkrieg oder andere Katastrophen auszulösen.

"Dies ganze Gerede ist in Wahrheit ein Weg, den aufgebauten politischen Willen zu zerstreuen und umzuleiten, anstatt ihn tatsächlich für etwas Gutes zu nutzen", sagte Kokotajlo, der heute eine KI-Sicherheits-Interessenvertretung leitet und sagte, er habe Coxon vor dessen Rücktritt beraten. "Bitte tut bloß nicht das, was uns alle umbringen wird."

Diese Geschichte erschien ursprünglich auf Fortune.com.