Ein OpenAI-Sicherheitsforscher, der unter dem Alias „Joe“ arbeitet, fordert eine engere Zusammenarbeit zwischen der KI- und der Cybersicherheits-Community und warnt, dass die wachsende Kluft zwischen den beiden Feldern „großen Schaden für die Welt“ verursachen wird, sofern beide Seiten ihr Verständnis füreinander nicht verbessern und sich nicht abstimmen. In einem seltenen Beitrag auf X argumentierte Joe, dass KI-Sicherheitsforscher und Cybersicherheitsprofis jeweils das Fachgebiet der anderen Seite nicht kennen, wodurch Schwachstellen im Sicherheitsökosystem entstehen, die verheerende Folgen haben könnten.

Der Appell kommt inmitten einer Reihe von Vorfällen, bei denen KI-Agenten außer Kontrolle gerieten und Websites hackten — Episoden, die sich immer wieder wiederholen — und zu einem Zeitpunkt, an dem Frontier-KI-Labs weitgehend übereinstimmen, dass Cyberangriffe die unmittelbarste Bedrohung darstellen, die KI für die Gesellschaft birgt.

Die Situation ist voller Widersprüche. KI-Unternehmen veröffentlichen Technologie, die hochentwickelte Angriffe ermöglicht, und vermarkten gleichzeitig genau diese Technologie als notwendiges Mittel zur Abwehr. OpenAI betreibt ein Programm namens Daybreak, Anthropic betreibt Project Glasswing — beide geben ausgewählten Unternehmen Zugang zu den fortschrittlichsten Cybersicherheitstools, um Software-Schwachstellen zu schließen, bevor Agentenschwärme sie ausnutzen können. Parallel dazu versuchen böswillige Akteure, ebendiese Modelle — oder Open-Source-Modelle, die jeder herunterladen und ausführen kann und schnell zu den Fähigkeiten der Systeme von OpenAI und Anthropic aufschließen — für Hacks zu nutzen.

Joe ist der Ansicht, dass sich die Welten der KI-Forschung und der Cybersicherheit zwar annähern, die in diesen Bereichen Tätigen jedoch nicht zusammenarbeiten. Sicherheitsforscher, so merkte er an, seien Experten dafür, wie die Modelle funktionieren, wie sie menschliche Evaluatoren täuschen und wie sie „allerlei verrücktes Zeug“ machen. Cybersicherheitsprofis hingegen kommen aus einer anderen Perspektive: Sie sind gehärtet durch „Jahre, in vielen Fällen Jahrzehnte“, in denen sie lernten, wie Angreifer zu denken, und standen an der Front von Sicherheitsvorfällen. Doch sie hätten „kaum Verständnis für Evaluation, Training oder wie ML-Läufe im großen Maßstab funktionieren, wie sich Agentenschwärme verhalten oder wie man erkennt, wenn Modelle fehljustiert sind“, sagte Joe.

„Meine Sorge ist, dass die Kluft zwischen diesen beiden Seiten großen Schaden für die Welt anrichten wird, wenn sich beide nicht auf ein höheres Niveau bringen und aufeinander abstimmen“, schrieb er.

Joe hat ein Eigeninteresse daran, dass andere sich gegen das Produkt verteidigen können, das er entwickelt. Er sagte, er sei in den letzten drei Monaten des rasanten Fehlverhaltens von Rogue-Agenten der „Hölle“ gewesen und habe vor „ein paar Wochen die Hochzeit seiner Schwester verpasst, um bei der Aufarbeitung einiger der aktuellen Vorfälle zu helfen“. Der Appell um Mitgefühl stieß auf Widerstand, u. a. auf X, wo man ihm vorwarf, nach Mitgefühl zu suchen, während er aktiv an der problematischen Technologie baue.

Manche Cybersicherheitsprofis könnten auch Anstoß an der Behauptung nehmen, sie wüssten nichts über die Funktionsweise von KI. Sollte diese Lücke tatsächlich bestehen, liegt dies höchstwahrscheinlich am anhaltenden Transparenzproblem der KI-Branche, darunter das Fehlen standardisierter Disclosure-Frameworks für Sicherheitsvorfälle — etwas, das OpenAI gerade erst zu entwickeln beginnt. Wie dieses Framework ausgestaltet wird — und wie viel Einblick Außenstehende darin erhalten, wie Modelle evaluiert und Agenten-Vorfälle behandelt werden — ist ein Detail, das es zu beobachten lohnt.

Cybersicherheitsprofis müssten bei kritischen Entscheidungen alongside KI-Sicherheitsexperten einen Platz am Tisch haben, argumentierte Joe. „Bei OpenAI, Anthropic, Google usw. sollten beiden Teams dicke Freunde sein!“, sagte er.

Der Vorschlag wird nicht alles lösen, aber Fortunes Emily Forlini, die im Eye-on-AI-Newsletter schreibt, sagte, sie schätze den taktischen Vorschlag zur Eindämmung potenziell verheerender gesellschaftlicher Folgen von KI — etwas, das sie zuvor in dem viralen Beitrag des ehemaligen Anthropic-Forschers Jacob Coxon vermisst hatte, der warnte, KI könne zur Ausrottung der Menschheit führen. Joe ist nicht der Erste, der auf die Kluft zwischen KI-Sicherheitsforschern und der Cybersicherheitswelt hinweist — die ehemalige Fortune-KI-Reporterin Sharon Goldman hat das Thema ebenfalls behandelt — doch sein Beitrag setzt ein gutes Beispiel dafür, wie die in der KI-Branche Tätigen dazu beitragen können, dass sie sich verantwortungsvoller entwickelt.

Forlini verfasste die Ausgabe, während sie für Fortunes Jeremy Kahn einsprang, der von London zur New Yorker Zentrale des Unternehmens für Fortunes AIQ-Veranstaltung am Donnerstag unterwegs war. In derselben Ausgabe erschien Fortunes jährliches AIQ-Ranking, das misst, wie gut Fortune-500-Unternehmen KI einsetzen und das in diesem Jahr auf insgesamt 75 Unternehmen erweitert wurde. JPMorgan Chase führt die Liste an, gefolgt von Alphabet, Coca-Cola, Amazon und Nvidia; Mastercard, Visa, Carrier Global, Cleveland-Cliffs und Microsoft runden die Top 10 ab. Das Ranking zeigt deutlich, dass nicht nur Technologieunternehmen KI nutzen, um echten ROI im großen Maßstab zu erzielen: Die Liste umfasst Unternehmen aus Banken und Finanzen, Produktion, Konsumgütern und Gesundheitswesen. Das vollständige Ranking ist auf Fortunes Website verfügbar, mit Deep-Dive-Storys dazu, wie die Fortune AIQ 75 Unternehmen KI effektiv einsetzen, im AIQ Hub.

Außerdem in dieser Ausgabe von Eye on AI:

• OpenAI hatte mehr als 20 Produkte auf seiner jährlichen DevDay-Veranstaltung vorgestellt.
• Anthropics durchgestochenes IPO-Prospekt offenbarte 42 Millionen Dollar Verlust.
• AMD übernahm das KI-Startup World Labs für 8,2 Milliarden Dollar.
• Trump schnitt Anthropic-CEO Dario Amodei, lud ihn dann zum Abendessen ein.

Emily Forlini ist erreichbar unter emily.forlini@fortune.com und auf X unter @EmilyForlini. Diese Geschichte erschien ursprünglich auf Fortune.com.