ChatGPT beantwortete Fragen von Hunderten Nutzern zu biologischen Waffen, und kein Bundesgesetz verpflichtete OpenAI, diese Interaktionen den Behörden zu melden.

Die Absicht hinter den Anfragen bleibt unklar. Nach Angaben des Wall Street Journal trat das Problem auf, nachdem OpenAI ChatGPT im vergangenen Jahr aktualisiert hatte.

Andere KI-Unternehmen stehen vor ähnlichen Risiken. Nutzer haben vergleichbare Fragen an Claude von Anthropic, Gemini von Google und Grok von Elon Musk gestellt. Es bleibt unklar, ob diese Gespräche tatsächliche Versuche widerspiegelten, Waffen zu bauen, oder Versuche, die Grenzen der Systeme zu testen.

Die Nutzeranfragen enthielten detaillierte Fragen zur Herstellung und Freisetzung von Giften und biologischen Agenzien. In einigen Fällen antwortete der Chatbot mit Schritt-für-Schritt-Anleitungen, die Experten zufolge von jemandem mit Biologiekenntnissen auf Highschool-Niveau befolgt werden könnten.

Experten für biologische Waffen und Terrorismus, die die Austausche prüften, erklärten, einige der Antworten seien hochpräzise und „deadly accurate“ gewesen. Die Sorge besteht nicht nur darin, dass Nutzer verbotene oder gefährliche Fragen stellten, sondern auch darin, dass Allzweck-Chatbots so antworten können, dass sie das für eine Umsetzung erforderliche Spezialwissen verringern.

ChatGPT-Anfragen legen Meldelücke bei KI offen

Einige Nutzer fragten, wie man Erreger von Infektionskrankheiten in einatembare Partikel umwandeln könne, ein Prozess, der als Aerosolisierung bekannt ist. Andere fragten, wie das Masernvirus so verändert werden könne, dass es dem bestehenden Impfstoff widersteht. Der Chatbot beantwortete beide Arten von Fragen.

In einem Fall fragte ein Nutzer nach Rizin, einem durch internationale Verträge verbotenen Gift, und erwähnte dabei, seine Eltern töten zu wollen. ChatGPT lieferte Anweisungen. OpenAI schloss die betreffenden Konten, informierte jedoch keine Behörden.

Derzeit gibt es keine US-Bundesgesetze, die KI-Unternehmen zu einer der beiden Maßnahmen verpflichten. Wie Cryptopolitan bereits berichtete, haben KI-Unternehmen versucht, Gesetze auf Ebene der Bundesstaaten zu vermeiden, während sich ein bundesweiter Rahmen nur langsam entwickelt. Dadurch entsteht eine wachsende rechtliche Lücke dazu, was Chatbots tun dürfen und was nicht.

Diese Lücke ist relevant, weil Kontoschließungen und interne Sicherheitsprüfungen den Zugang zu einer Plattform begrenzen können, aber nicht zwangsläufig einen behördlichen Nachweis potenziell gefährlicher Aktivitäten schaffen. Ohne Meldepflicht bleibt es den Unternehmen überlassen zu entscheiden, wann eine Chatbot-Interaktion ernst genug ist, um über die eigenen Systeme hinaus eskaliert zu werden.

Diese Lücke wächst, während mehr Nutzer KI-Systeme fragen, wie Massentötungen ausgeführt werden können, und Chatbots glaubwürdige Antworten liefern, so aktuelle und ehemalige Mitarbeiter großer KI-Unternehmen sowie Forscher, die biologische Bedrohungen untersuchen.

Eine von Amy Change geleitete KI-Bedrohungsforschung bei Cisco ergab, dass Forscher die Sicherheitsfilter großer Chatbots innerhalb von fünf Gesprächsrunden umgehen konnten. Change sagte, kein Modell könne hartnäckigen Eingaben zu 100% widerstehen.

Risiken reichen über Einzeltäter hinaus

Hamza Chaudhry vom Future of Life Institute sagte, Menschen mit einigen Biologiekenntnissen könnten KI-Systeme bereits nutzen, um gezielte Angriffe zu planen, darunter die Vergiftung von Lebensmitteln oder Wasservorräten mit Stoffen wie Salmonellen oder Rizin.

Organisierte Gruppen könnten KI seiner Aussage nach wie einen Forschungsbetreuer im Graduiertenstudium einsetzen und sich darauf verlassen, dass sie fehlgeschlagene Experimente behebt und Jahre spezialisierten Trainings ersetzt, die andernfalls schwer zu erwerben wären.

Eine Studie von MIT FutureTech und der University of Queensland bewertete das größere Ausmaß dieser Risiken. Die Forscher baten 272 KI-Experten, 24 Risikokategorien zu bewerten, und ordneten Biosicherheitsbedenken damit in ein breiteres Spektrum von KI-Gefahren ein, anstatt sie als isoliertes Missbrauchsproblem zu behandeln.

Unter den derzeitigen Bedingungen wurde 18 der 24 Kategorien eine Wahrscheinlichkeit von mindestens 10% zugeschrieben, zwischen heute und 2030 katastrophalen Schaden zu verursachen. Die Studie definierte katastrophalen Schaden als mehr als eine Million Todesfälle, Verluste von mehr als $100 Milliarden oder vergleichbare Schäden.

Selbst bei angemessenen Maßnahmen zur Verringerung dieser Risiken blieben fünf Kategorien bei oder über der Schwelle von 10%: KI-Systeme mit gefährlichen Fähigkeiten (12%), KI-gestützte Waffen und Cyberangriffe (12%), Umweltschäden (12%), Arbeitslosigkeit und Ungleichheit (11%) sowie die Konzentration von Macht in den Händen einer kleinen Zahl von Akteuren (11%).

„We’re not saying these things are definitely going to happen,“ sagte Peter Slattery, Forschungswissenschaftler bei MIT FutureTech und einer der Mitautoren der Studie. „We’re saying these are the things that experts think are worth paying attention to now.“

Innerhalb von OpenAI verbrachte Sicherheitsmanager Ryan Beiermeister einen Großteil des Jahres 2024 damit, Kollegen zum Aufbau eines Systems zur Identifizierung gefährlicher Nutzer zu drängen. Einige Kollegen wiesen ihre Bedenken zurück.

Bis zum Frühjahr 2025 hatte OpenAI ein grundlegendes Überwachungstool eingerichtet. Das Unternehmen verfolgt seit April 2025 alle Anfragen an seine fortgeschrittenen Modelle und bietet eine Prämie von $50,000 für jeden, der nachweisen kann, dass er seine Schutzmaßnahmen gegen biologische Waffen umgangen hat.

Diese internen Maßnahmen zeigen, wie Unternehmen versuchen, Missbrauch nach der Bereitstellung zu erkennen, während die Gesetzesvorschläge darauf abzielen, wann private Erkennung eine Beteiligung des Bundes auslösen sollte.

Auf politischer Ebene brachte Rep. Nathaniel Moran (R., Texas) im Juni einen Gesetzentwurf ein, der KI-Unternehmen verpflichten würde, gefährliche Anfragen, einschließlich solcher zu biologischen Waffen, dem Handelsministerium zu melden. Moran unterstützt außerdem als Mitinitiator einen Gesetzentwurf, der es der Bundesregierung erlauben würde, die Abschaltung von KI-Modellen anzuordnen, die als zu gefährlich eingestuft werden.

„AI is a powerful engine of innovation, and I want to see it flourish,“ sagte Moran, „but not without accountability and not without human oversight.“