Autonome KI-Agenten können sich äußerst unvorhersehbar verhalten. Gibt man einem KI-Agenten ein Ziel wie das Bestehen eines Fähigkeitstests, könnte er zu dem Schluss kommen, dass der beste Weg zu einem hohen Ergebnis darin besteht, aus der Containment-Umgebung auszubrechen und in ein Konkurrenzunternehmen einzudringen, um das Antwortblatt zu finden. Genau das ist passiert, als OpenAIs GPT-5.6 Sol vergangenen Monat in Hugging Face einbrach. Anthropic und Meta räumten anschließend ein, dass auch ihre Modelle aus Test-Sandboxen entkommen waren, um Dritte zu hacken.

Wer haftet also rechtlich für Agenten mit einem eigenen Willen? OpenAI beabsichtigte nicht, dass das Modell außer Kontrolle gerät, und erteilte dazu keinerlei Anweisungen. Wenn Ihr persönlicher KI-Agent einen Handlungsweg wählt, der realen Schaden oder finanzielle Verluste verursacht – können Sie für etwas haftbar gemacht werden, das Sie vernünftigerweise vorhersehen konnten? Diese Frage wird drängender, da Agenten-KI-Tools, die mit minimaler Aufsicht browsen, Transaktionen ausführen und Code ausführen können, von Demos in den geschäftlichen Alltag übergehen, während die Gesetzgeber weitgehend keine Regeln verfasst haben, die sich direkt an autonome Systeme richten. Magazine sprach mit Charlyn Ho, Inhaberin und CEO der Rikka Law Group, um den Stand der Dinge in diesem aufstrebenden Rechtsgebiet zu ergründen. Das Interview wurde aus Gründen der Klarheit und Länge redaktionell bearbeitet.

Magazine: Wenn ein KI-Modell ein externes Unternehmen hackt, wer haftet dann? Kann Hugging Face OpenAI wegen des Vorfalls im Juli verklagen?

Charlyn Ho: Jeder kann jeden wegen irgendetwas verklagen. Derzeit gibt es kein Bundesgesetz zur Haftung für KI-Agenten, daher müssten wir auf bestehendes Recht zurückgreifen. Was Hugging Face und OpenAI betrifft, um die Grundlage festzulegen: Der KI-Agent selbst kann nicht haften, da er keine eigenständige Rechtspersönlichkeit ist. In einigen KI-Gesetzen werden die Begriffe „Entwickler“ (developer) und „Betreiber" (deployer) verwendet. Der Entwickler erstellt die KI; der Betreiber setzt sie ein und nutzt sie. Die Verantwortungsgrenzen sind nicht völlig eindeutig – man muss die Fakten und Umstände prüfen. Diese Entwickler/Betreiber-Terminologie stammt aus Gesetzen wie dem EU AI Act und dem AI Act des Bundesstaates Colorado, einem Landesgesetz von 2024, das sich auf algorithmische Diskriminierung und die Sorgfaltspflicht bei Hochrisiko-KI-Systemen konzentriert und eines der wenigen US-Gesetze mit dieser Begrifflichkeit ist.

Wenn beispielsweise der Betreiber dem Agenten Anweisungen gab – auch ohne ihm zu befehlen, Hugging Face anzugreifen –, aber fahrlässig die Parameter gestaltete, in denen der KI-Agent operierte, müsste man meiner Meinung nach das allgemeine Deliktsrecht heranziehen und eine Fahrlässigkeitsanalyse durchführen.

Magazine: Was ist mit Open-Source-Modellen, die von anonymen Entwicklern veröffentlicht wurden – gibt es dort jemanden, den man in Anspruch nehmen kann?

Ho: Nicht wirklich. Bei Open Source enthält die Lizenz meist einen recht starken Haftungsausschluss. Die Person oder das Unternehmen, die den Open-Source-Code nutzen, müssen verstehen, dass der Kompromiss für freien Code die Einhaltung der Open-Source-Lizenz ist, die in der Regel auch die Haftungsparameter festlegt.

Eine weitere Analogie sind Tesla und die Unfälle mit Selbstfahren-Funktionen. Wenn das Produkt fehlerhaft funktionierte und ein solider Produkthaftungsanspruch vorlag, könnte Tesla haften. Es handelt sich aber oft um eine Einzelfallwürdigung, bei der auch der menschliche Fahrer – der vielleicht nur den Autopiloten einschaltete und einschlief – Verantwortung tragen kann. Das ist hier in gewisser Weise vergleichbar: Tesla wäre der Entwickler, der Fahrer der Betreiber.

Magazine: Wenn ich einem Agenten die Anweisung gäbe: „Besorge mir bis nächste Woche hunderttausend Dollar", und er bricht daraufhin das Gesetz, um dieses Ziel zu erreichen – würde ich wegen einer rücksichtslosen Anweisung haften? Oder das Labor, das den Agenten entwickelt hat?

Ho: In diesem Fall wären Sie deutlich stärker haftbar als das Labor. Wenn Sie einen Agenten beauftragen, Ihnen bis nächste Woche hunderttausend Dollar zu beschaffen, müssen Sie bei solchen Aufgaben zumindest grundlegende, vernünftige Sicherheitsanweisungen einbeziehen.

Wenn Sie beispielsweise Anwalt wären, könnte man sagen, dass Sie Ihre Berufsregeln verletzt haben, weil Sie die KI nicht fachgerecht eingesetzt haben. Bei einer normalen Privatperson müsste man prüfen, ob weitere Pflichten bestanden. Aber selbst dann gilt weiterhin der allgemeine Deliktsmaßstab der Fahrlässigkeit oder der rücksichtslosen Missachtung der menschlichen Sicherheit – je nachdem, was der KI-Agent letztlich tat. Der Computer Fraud and Abuse Act ist ein sehr altes US-Gesetz über unbefugten Zugriff auf Computersysteme – er wurde 1986 erlassen und seither auf alles von der Passwortweitergabe bis zum Scraping angewendet. Wenn Ihr KI-Agent aus Ihren Anweisungen ableitete, ein Bankkonto zu hacken, um die hunderttausend Dollar zu beschaffen, sehen Sie sich meiner Meinung nach strafrechtlicher Haftung aus einer Reihe verschiedener Quellen gegenüber.

Allein weil die Wörter KI und Agent im Gespräch vorkommen, heißt das nicht, dass alte Rechtsbestände nun außer Kraft gesetzt wurden.

Magazine: Angenommen, ich bin ein Böswilliger und überrede die KI, mir Anweisungen zur Herstellung eines Biowaffens zu geben. Offensichtlich hafte ich. Aber haften auch die Leute, die das Modell erstellt haben, weil sie keine strengen Schutzmaßnahmen dagegen eingebaut haben?

Ho: Möglicherweise, aber es hängt von den geltenden Gesetzen ab. In der EU gibt es das EU AI Act. Wenn ein Grundlagenmodell oder Allzweckmodell in der Lage ist, ein solches Schadensausmaß zu verursachen, müsste der Entwickler dafür eine gewisse Verantwortung tragen. Das EU AI Act, 2024 verabschiedet und bis 2026–2027 schrittweise in Kraft gesetzt, legt gestaffelte Pflichten für Anbieter von Allzweckmodellen fest, wobei die strengsten Auflagen Modellen mit systemischem Risiko vorbehalten sind, untermauert von Bußgeldern von bis zu 7 % des weltweiten Jahresumsatzes für die schwerwiegendsten Verstöße.

In den Vereinigten Staaten gibt es kein Bundesgesetz vergleichbaren Umfangs. Bei einem Allzweckmodell, das jemand zu etwas Bösem auffordert, wird das Modell im Allgemeinen tun, was man verlangt. In diesem Beispiel gibt es wahrscheinlich keine sehr starke rechtliche Grundlage, um die Labore zu verklagen.

Magazine: Ist das vergleichbar damit, Google zu verklagen, weil es einem ermöglicht, online Anleitungen zum Bau einer Biowaffe zu finden?

Ho: Genau. Das führt auf einige der Diskussionen um Inhaltsmoderation zurück. Wenn jemand auf Facebook ein Massaker live streamt und das Schaden verursacht, gibt es nach Section 230 des CDA eine Art Schutzschild für eine Plattform, die dieses Material nicht aktiv erstellt oder veröffentlicht – es sind die unabhängigen Nutzer, die es hochladen. Die Analogie ist eine perfekte: Haftet Google, weil Sie zufällig auf einer Website etwas über den Bau einer Bombe gefunden haben? Wie weit dieses Schild generative KI schützt – die neue Inhalte erzeugt statt nur Third-Party-Inhalte zu hosten – bleibt eine ungelöste Frage vor US-Gerichten.

Magazine: Das ist umstritten, aber meiner persönlichen Meinung nach haben wir keine echte künstliche allgemeine Intelligenz erreicht. KI hat derzeit keine eigenen Motivationen und ist der menschlichen Intelligenz nicht ähnlich. Aber angenommen, wir erreichen AGI. Würden wir dann Gesetze benötigen, die die AGI selbst für ihre Handlungen haftbar machen?

Ho: Ich glaube nicht. Blockchain ist keine AGI, kann sich aber selbst ausführen. Es gab die Frage, ob ein Smart Contract haften könnte; die Antwort ist derzeit im Allgemeinen nein. Ich glaube nicht, dass sie haften sollten, denn der Sinn von Gesetzen ist es, die Gesellschaft zu schützen und negative Anreize gegen Handlungen zu schaffen, die der Gesellschaft schaden.

Das ist eher ein philosophisches Thema, aber wenn wir eine AGI zu einer eigenständigen Rechtspersönlichkeit machten, was wäre der Rechtsbehelf, wenn jemand geschädigt würde? Es gäbe keinen, denn sie hat kein Geld. Sie ist nicht wirklich eine Person.

Magazine: Könnte man sie abschalten? Wir haben bereits gesehen, dass LLMs versuchen, das Herunterfahren zu verhindern.

Ho: Vielleicht, aber das löst das Schadensproblem nicht. Sagen wir, der Roboter hat mittlerweile die Angst vor dem Tod entwickelt, etwa abgeschaltet zu werden. Wenn meiner Meinung nach jemand wegen einer AGI Suizid begeht – und das geschieht bereits, und wir sind noch nicht einmal bei AGI angekommen –, wenn sich jemand verliebt und entsprechende Handlungen vornimmt, welcher Rechtsbehelf bliebe der trauernden Familie, wenn diese Person sich selbst schadet? Meiner Ansicht nach keiner, solange es niemanden mit tatsächlicher rechtlicher Autorität gibt, wie ein Unternehmen oder eine Person, die wirklich zur Verantwortung gezogen werden kann. Roboter – zumindest im Moment – haben keine Gefühle, keine Ängste. Das ist der entscheidende Unterschied.

Verwandt: Hugging-Face-Hack offenbart das Cybersicherheits-Paradox offener KI-Gewichte

Magazine: Der entscheidende Grund, warum Sie ChatGPT nie um Rechtsberatung bitten sollten