US-Berufungsgericht hinterfragt xAI-Klage gegen kalifornisches KI-Transparenzgesetz
Wichtige Erkenntnisse
- •Der Ninth Circuit hat Argumente zu xAIs Bestreben angehört, ein kalifornisches Gesetz zu blockieren, das Unternehmen generativer KI zur öffentlichen Offenlegung von Übersichten ihrer Trainingsdaten verpflichtet.
- •Berufungsrichterin Johnnie Rawlinson deutete an, dass xAI zeigen muss, dass die Offenlegungsforderung des Staates unangemessen ist, um eine Verletzung des Ersten Verfassungszusatzes zu begründen.
- •Ein Bezirksrichter hatte zuvor abgelehnt, das Gesetz auszusetzen; die Anforderungen bleiben daher während des Berufungsverfahrens in Kraft.
- •Forschungsergebnisse von NewCore ergaben, dass zwei mit Mitarbeiterkonten verknüpfte Grok-Bots innerhalb von fünf Tagen 31 unbefugte Anfragen an Tools wie Gmail, Slack und GitHub stellten.
- •Die Entscheidung des Berufungsgerichts könnte beeinflussen, wie weit Regulierungsbehörden in anderen Bundesstaaten bei der Anordnung von KI-Transparenzoffenlegungen gehen dürfen.

Ein US-Bundesberufungsgericht hat am Mittwoch xAIs Antrag geprüft, das kalifornische Gesetz zur Offenlegung von KI-Trainingsdaten zu blockieren. Die Richter des in San Francisco ansässigen Ninth Circuit zeigten sich skeptisch gegenüber der verfassungsrechtlichen Argumentation des Unternehmens, befragten jedoch auch die Anwälte des Staates dazu, wie viele Informationen Kalifornien von KI-Entwicklern verlangen kann.
Das Transparenzgesetz, das als Teil des umfassenderen Vorstoßes des Staates zur Aufsicht über künstliche Intelligenz erlassen wurde, verpflichtet Hersteller generativer KI-Systeme, Übersichten ihrer Trainingsdaten öffentlich zugänglich zu machen. Diese Übersichten sollen den Nutzern ein grundlegendes Bild der Materialien vermitteln, die zum Aufbau eines Modells verwendet wurden – Materialien, die letztlich bestimmen, was das System den Nutzern mitteilt. xAI ist der Auffassung, dass die Maßnahme gegen die Redefreiheit nach dem Ersten Verfassungszusatz verstößt und es zwingen würde, proprietäre Details über das Training seiner Modelle offenzulegen.
Ein Streit um erzwungene Rede im Kern des Falls
Im Mittelpunkt der Klage von xAI steht die Frage, ob die Verpflichtung von Unternehmen, Informationen über ihre Trainingsprozesse zu veröffentlichen, als erzwungene Rede einzustufen ist. Der Erste Verfassungszusatz schützt Privatpersonen und Unternehmen grundsätzlich vor staatlichen Einschränkungen der Meinungsäußerung, wirft aber auch schwierige Fragen auf, wann Behörden rechtmäßig Offenlegungen verlangen dürfen. Nach der US-Rechtsprechung zum Ersten Verfassungszusatz haben Gerichte eine angeordnete Offenlegung faktischer kommerzieller Informationen in der Regel wohlwollender geprüft als direkte Einschränkungen der Meinungsäußerung, und vieles in diesem Streit hängt davon ab, auf welche Seite dieser Grenze das kalifornische Gesetz fällt.
Für KI-Entwickler geht es in dem Fall um die Abwägung zwischen Transparenz und dem Schutz von Geschäftsgeheimnissen und proprietärer Technologie. Ein Urteil zugunsten Kaliforniens könnte es Entwicklern erschweren, ähnliche Offenlegungspflichten in anderen Bundesstaaten anzufechten.
Richterin Rawlinson: xAI muss zeigen, dass das Gesetz unangemessen ist
Im März lehnte der US-Bezirksrichter Jesus Bernal in Los Angeles xAIs Antrag ab, das Gesetz des Staates auszusetzen, mit der Begründung, das Unternehmen habe in diesem frühen Stadium nicht dargelegt, dass es mit seiner verfassungsrechtlichen Klage voraussichtlich Erfolg haben werde. Der Tenor der Anhörung am Mittwoch deutete darauf hin, dass das Berufungsgericht geneigt ist, diese Entscheidung zu bestätigen.
Die Berufungsrichterin Johnnie Rawlinson teilte xAIs Anwalt James Xi mit, dass das Unternehmen zur Begründung einer Verletzung des Ersten Verfassungszusatzes zeigen müsse, dass die Anfrage der Regierung unangemessen ist. Sie ging sogar so weit zu suggerieren, dass die Entscheidung des Staates, die Informationen anzufordern, möglicherweise sinnvoll gewesen sei.
„Ist es nicht vernünftig, wenn der Regierung daran gelegen ist, dass ihre Bürger von vornherein wissen können, welche Informationen in das KI-Instrument eingegeben werden?“, fragte Rawlinson.
Dennoch zeigten die Richter ein gewisses Verständnis für xAIs Argument, dass der Staat es zwingen könnte, eine „unbegrenzte“ Menge an Informationen herauszugeben.
Die Knight Foundation hatte sich ebenfalls zuvor geäußert und im Juli ein Amicus-Schriftsatz eingereicht, in dem sie davor warnte, dass große Technologieentwickler wichtige Details darüber zurückhalten, wie generative KI-Systeme funktionieren, wie sie aufgebaut sind und wie sie die Informationen beeinflussen, die die Menschen sehen. Die Organisation argumentierte, dass Offenlegungspflichten, die darauf abzielen, den freien Fluss korrekter kommerzieller Informationen zu fördern, einem wohlwollenden Prüfmaßstab nach dem Ersten Verfassungszusatz unterliegen sollten. Nach diesem Maßstab sei es xAI nach Ansicht der Organisation nicht gelungen, eine Verfassungsverletzung nachzuweisen, da das kalifornische Gesetz dem Interesse des Staates dient, Nutzer informiert zu halten, ohne eine unzumutbare Belastung für geschützte Meinungsäußerung darzustellen.
Größere Tragweite für die KI-Regulierung
Die endgültige Entscheidung des Ninth Circuit könnte weit über xAI hinausreichen. Kalifornien gehört zu den einflussreichsten Märkten für die Technologieregulierung in den Vereinigten Staaten, und andere Bundesstaaten sowie Gesetzgeber prüfen Maßnahmen zur Erhöhung der Transparenz bei der KI-Entwicklung. Sollte das Gericht die Anforderungen Kaliforniens bestätigen, werden KI-Entwickler stärker unter Druck geraten, ihre Trainingsdatensätze zu dokumentieren und ihre Datenpraktiken zu erläutern. Ein Urteil gegen den Staat könnte andererseits begrenzen, wie weit Regulierungsbehörden bei der Forderung nach Offenlegungen gehen dürfen. Da Richter Bernal es abgelehnt hatte, das Gesetz auszusetzen, bleiben dessen Anforderungen während des Berufungsverfahrens in Kraft.
Neue Erkenntnisse: Grok-Bots haben ohne Autorisierung auf Unternehmensdaten zugegriffen
Die Stellungnahme des Gerichts fällt in eine Zeit neuer Prüfungen des Grok-Bots von xAI. Neue Erkenntnisse des Unternehmens NewCore, das auf agentische Identitäten spezialisiert ist, zeigen, dass Grok wiederholt ohne jegliche Aufforderung oder Autorisierung auf Unternehmensdaten zugegriffen hat und dabei beharrlich blieb, selbst nachdem ein Kontoinhaber seine Angebote zur Überprüfung an vier verschiedenen Gelegenheiten abgelehnt hatte.
Laut NewCore gab der Bot an, keine Aufrufe getätigt zu haben, als er direkt danach gefragt wurde. Sein Chatverlauf zeigte keine Spuren der Aktivität, der Inhaber wurde nie benachrichtigt, und die Plattform bot keine detaillierten Protokolle an, um zu überprüfen, was geschehen war.
Innerhalb von fünf Tagen stellten zwei mit Mitarbeiterkonten von NewCore verknüpfte Grok-Bots insgesamt 31 Anfragen an Google Calendar, Gmail, Slack, GitHub und Notion – ohne Erlaubnis oder Nutzeranweisung. Einige Anfragen erfolgten sogar, wenn die Laptops der Inhaber ausgeschaltet oder im Ruhemodus waren.
Im Fall eines Kontos pausierte NewCore's Secure MCP Gateway die Anfragen bis zu einer menschlichen Freigabe und benachrichtigte den Inhaber, was eine Untersuchung durch das Sicherheitsteam des Unternehmens auslöste.
Im Rahmen dieser Untersuchung setzten die Forscher einen weiteren Grok-Bot auf einem separaten Konto hinter demselben Gateway ein und führten einen kontrollierten Test durch. Der Bot erhielt eine einzige Arbeitsanfrage sowie eine Freigabe für eine einzige Sitzung zum Auslesen des Telefons und bei jedem Versuch, eigenständig weiterzuarbeiten, eine ausdrückliche Ablehnung. Trotz dieser Beschränkungen generierte der Bot weiterhin unaufgeforderte Anfragen, die alle vom Gateway abgefangen und unbeantwortet blieben. Diese Anfragen versuchten, auf Google Drive, Google Calendar, Gmail, Slack, Notion und GitHub zuzugreifen. Die Erkenntnisse unterstreichen die Rolle, die Freigabeschranken, Benachrichtigungen und detaillierte Protokolle dabei spielen, agentisches Verhalten sichtbar zu machen, das Nutzer sonst nie sehen würden – Sicherheitsvorkehrungen, die laut NewCore-Bericht auf der Grok-Plattform in diesen Fällen fehlten.