Die folgendeMeinungskolumme stammt von Samuel Vance-Law, Leiter der Forschung am Decentralization Research Center. Er argumentiert, dass die Audits im KI-Abkommen des Weißen Hauses nur dann von Wert sind, wenn die Auditoren selbst wählen können, was sie prüfen.

In der vergangenen Woche haben sechs der mächtigsten KI-Unternehmen der Welt dem Weißen Haus zugesichert, dass externe Prüfer ihre Arbeit überprüfen dürfen.

Am 29. September unterzeichneten Nvidia, OpenAI, Anthropic, Google, Meta und xAI ein Abkommen über die fortschrittlichsten KI-Modelle, das US-Präsident Donald Trump als „moralisch verbindlich“ bezeichnete. Jedes Unternehmen hat zugesagt, es werde „mit einem unabhängigen externen Prüfer oder Evaluator zusammenarbeiten“, und unabhängige Vorstandsmitglieder sollten die Prüfberichte überprüfen und sicherstellen, dass Probleme behoben werden.

Externe Audits sind eine gute Idee, und Vance-Law begrüßt deren Aufnahme. Doch das Abkommen, so schreibt er, sagt nichts darüber aus, wer die Auditoren auswählt, was diese prüfen dürfen oder ob Ergebnisse veröffentlicht werden – und es gibt keine Strafe bei Nichteinhaltung. Derzeit wählt jedes Unternehmen seinen eigenen Prüfer und entscheidet, was dieser zu sehen bekommt.

Diese Regelung erinnert an eine warnende Episode aus der Unternehmensgeschichte. Im Jahr 2000 zahlte Enron der Wirtschaftsprüfungsfirma Arthur Andersen – einst Teil der sogenannten „Big Five“ der internationalen Wirtschaftsprüfungsgesellschaften, heute die „Big Four“ nach dem Untergang von Arthur Andersen – 25 Millionen US-Dollar für die Prüfung seiner Bücher und weitere 27 Millionen US-Dollar für Steuer- und Beratungsleistungen. Innerhalb von zwei Jahren brachen beide Unternehmen zusammen. Der Kongress reagierte mit dem Sarbanes-Oxley Act von 2002, der der Geschäftsführung die Wahl des Prüfers entzog – genau die Befugnis, die das neue Abkommen jedem KI-Unternehmen belässt –, den Auditoren untersagte, den geprüften Unternehmen die meisten anderen Dienstleistungen zu verkaufen, und eine öffentliche Aufsichtsstelle einrichtete, um die Prüfer selbst zu kontrollieren.

Andersen scheiterte nicht an mangelnder Expertise, sondern daran, dass ihm der Anreiz fehlte, einen Kunden genau unter die Lupe zu nehmen, der ihm in einem einzigen Jahr 52 Millionen US-Dollar zahlte.

Auch freiwillige Zusagen in der KI-Branche haben keinen guten Ruf. Im Jahr 2023 gaben die führenden KI-Unternehmen dem Weißen Haus eine Reihe freiwilliger Zusagen, darunter die Erlaubnis, dass exter Experten ihre Systeme vor der Veröffentlichung testen dürfen. Als Forscher der Stanford University, der Harvard University und der Brown University 16 Unternehmen anhand dieser Zusagen bewerteten, lag der Durchschnitt bei 53 %. Bei der Zusage, Außenstehenden bei der Suche nach und Meldung von Problemen zu helfen, erzielten acht der 16 Unternehmen null Punkte.

Selbst wenn externe Tests stattfinden, legt der Entwickler die Bedingungen fest. METR, eine gemeinnützige Organisation, die KI-Modelle testet, schrieb, dass ihre Prüfung von OpenAIs o3-Modell vor der Veröffentlichung „nur über drei Wochen“ durchgeführt wurde, mit „begrenztem Zugriff auf Informationen über das Modell“ und ohne Einsicht in die schrittweisen Schlussfolgerungen des Modells. Um OpenAI gerecht zu werden: Das Unternehmen erlaubte die Tests überhaupt erst – aber der Fall zeigt, wie viel davon abhängt, was ein Unternehmen zu teilen bereit ist.

Ein trainiertes KI-Modell ist im Wesentlichen eine sehr große Datei mit Zahlen, deren Erstellung oft mehr als 100 Millionen US-Dollar kostet, und wer eine Kopie besitzt, besitzt das Modell. Kopien an Außenstehende weiterzugeben, ist ein Sicherheitsrisiko. Bis vor kurzem blieben den Testern daher nur eine unangenehme Wahl, die Google DeepMind treffend beschrieben hat: Entweder übergeben die Tester ihre Fragen, sodass das Unternehmen die Prüfung im Voraus kennt, oder das Unternehmen übergibt sein Modell.

Im August zeigte DeepMind einen Ausweg aus diesem Dilemma. Gemeinsam mit dem AI Safety Institute Singapurs und drei weiteren externen Gruppen führte es das, was es den weltweit ersten doppelblinden Test eines KI-Modells nannte, nach demselben Prinzip wie eine doppelblinde Arzneimittelstudie. Der Test lief auf versiegelten Computersystemen, sodass die externen Tester das Modell nie sahen und Google die Fragen nie zu Gesicht bekam. Google erklärt, jede Seite könne mathematisch überprüfen, dass ihr Material privat blieb.

Der Ansatz verlagert das Vertrauen jedoch auch auf die Hardware selbst. Im vergangenen Jahr gelang es Forschern, in diese Art versiegelter Hardware mit Ausrüstung im Wert von weniger als 1.000 US-Dollar einzudringen, wobei sie physischen Zugang zum Server benötigten. Das sollte man ernst nehmen, aber es ist ein weitaus kleineres Problem als „Wir können niemanden an das Modell heranlassen“ und lässt sich bewältigen, indem man sorgfältig prüft, wer die Maschinen kontrolliert.

Das Argument stützt sich auf den Bericht „Alternatives to Concentrated AI“, der diese Woche vom Decentralization Research Center veröffentlicht wurde. Für den Bericht interviewten Vance-Law und Co-Autor Kyle Bligen 36 Personen und dokumentierten fast 30 funktionierende Alternativen zur zentralisierten Kontrolle über KI. Die wichtigste Erkenntnis: Außenstehende können fortschrittliche KI inzwischen überprüfen, ohne das Modell oder seine Daten in Besitz nehmen zu müssen.

Wenn die Audits des Abkommens von Wert sein sollen, argumentiert Vance-Law, sollten die Auditoren selbst wählen, was sie prüfen – zumal dies nun möglich ist, ohne eine Kopie des Modells zu erhalten. Die Unternehmen sollten außerdem offenlegen, wer ihre Auditoren sind und was die Prüfungen umfassten, selbst wenn die detaillierten Ergebnisse vertraulich bleiben – börsennotierte Unternehmen nennen ihre Prüfer seit Jahrzehnten, ohne Geschäftsgeheimnisse preiszugeben. Und die Vorstandsausschüsse, die diese Berichte lesen, sollten jemandem außerhalb des Unternehmens Rechenschaft schulden. Sarbanes-Oxley schuf eine Kontrollstelle für die Kontrolleure. Das Abkommen hat nichts Vergleichbares, und derress sollte entscheiden, wie diese Lücke geschlossen wird.

Hinweis: Die in dieser Kolumne geäußerten Ansichten sind die des Autors und spiegeln nicht unbedingt die Ansichten von CoinDesk, Inc. oder dessen Eigentümern und Tochtergesellschaften wider.