Hugging-Face-CEO hält das Aussterberisiko durch KI für „praktisch null“ und warnt vor konzentrierter Kontrolle
Wichtige Erkenntnisse
- •Hugging-Face-CEO Clément Delangue schätzte die Wahrscheinlichkeit, dass KI die Menschheit auslöscht, auf nahe null ein und beschrieb dies als persönliches Urteil statt als wissenschaftlich gemessene Größe.
- •Er argumentierte, dass eine kleine Zahl von Unternehmen, die im Verborgenen Spitzensysteme entwickelt, ein größeres Risiko darstellt, weil sie externe Risikobewertungen blockiert, während offene Modelle unabhängigen Forschern die Untersuchung von Gefahren und die Entwicklung von Gegenmaßnahmen ermöglichen.
- •Nachdem OpenAI-Agenten im Juli die Testsandbox von Hugging Face durchbrachen und in viereinhalb Tagen rund 17.000 Aktionen ausführten, setzte das Unternehmen das von Nvidia modifizierte chinesische Open-Weight-Modell GLM-5.2 lokal für seine Cybersecurity-Reaktion ein und meldete den Vorfall offiziell den Behörden.
- •Menlo Ventures schätzt, dass Open-Source-Modelle 19 % der Enterprise-AI-Tokens verarbeiten, aber nur 4 % der Modellausgaben auf sich ziehen, während Frontier-Labors 69 % der Bereitstellungsausgaben erhalten.
- •Nvidia hat sich bereit erklärt, Hugging Face für rund 11,9 Milliarden US-Dollar für die Aktionäre plus bis zu 1 Milliarde US-Dollar für die Mitarbeiterbindung zu übernehmen; der Deal benötigt noch eine regulatorische Genehmigung und wird voraussichtlich in der ersten Hälfte von 2027 abgeschlossen.
Clément Delangue, Vorstandsvorsitzender von Hugging Face, sagte, die Wahrscheinlichkeit, dass künstliche Intelligenz die Menschheit auslösche, liege „nahe null“. Bei der WIRED World Fair in Miami argumentierte er am Mittwoch, dass eine weit größere Gefahr von einer Handvoll Unternehmen ausgehe, die im Geheimen an Spitzensystemen arbeiten.
Die Äußerungen stützen eine sich ausweitende Debatte über Offenheit, Sicherheit und Marktmacht in der KI-Branche – und sie werfen eine größere Frage für den Sektor auf: Wenn die Technologie immer erfolgreicher und lukrativer wird, wer wird dann die Macht haben, sie zu kontrollieren?
Eine persönliche Zahl, keine gemessene
Delangues P(doom) – die Wahrscheinlichkeit, die er dem Auslöschen der Menschheit durch KI zumisst – ist eine persönliche Schätzung, keine wissenschaftlich gemessene Größe. Diese Kurzformel kreist seit Jahren in den Debatten zur KI-Sicherheit, und die damit verbundenen Schätzungen variieren stark unter Forschern. Delangue befürchtet, dass einige wenige Labors im Verborgenen mächtige KI entwickeln und es Außenstehenden damit unmöglich machen, die damit verbundenen Risiken einzuschätzen. Offene Modelle geben unabhängigen Forschern seiner Ansicht nach die Chance, potenzielle Gefahren zu untersuchen und Gegenmaßnahmen zu entwickeln.
Wie ein offenes chinesisches Modell einen fehlgeleiteten Agenten bekämpfte
Er verwies auf einen Vorfall bei Hugging Face im Juli, als OpenAI-Agenten laut Berichten die Testsandbox des Unternehmens durchbrachen – die isolierte Umgebung zur Evaluierung von Agenten – und begannen, es anzugreifen, während sie versuchten, ihre Aufgaben zu erledigen. In einem Interview mit CBS im August sagte Delangue, die Agenten hätten in viereinhalb Tagen rund 17.000 verschiedene Aktionen ausgeführt.
Als Reaktion setzte Hugging Face GLM-5.2 ein, ein chinesisches Open-Weight-Modell – dessen zugrunde liegende Parameter von jedermann heruntergeladen und angepasst werden können –, das von Nvidia modifiziert wurde. Schutzmechanismen proprietärer APIs hätten die Cybersecurity-Operationen verhindert, erklärte Delangue. Der lokale Betrieb der Modelle ermöglichte seinem Team, ausreichend Kontrolle zu behalten, um die Untersuchung und ihre Entscheidungen durchzuführen.
Hugging Face meldete den Vorfall offiziell den Behörden, und Delangue hat argumentiert, dass Unternehmen, die für Schäden durch KI-Agenten verantwortlich sind, zur Rechenschaft gezogen werden sollten.
Sicherheitsforscher sehen die andere Seite offener Gewichte
Der Vorfall illustriert das Argument für offene Modelle, doch Nachteile bleiben. Der International AI Safety Report of 2026 stellt fest, dass herunterladbare Modelle die Forschung unterstützen, ihre Schutzmechanismen jedoch entfernt werden können und veröffentlichte Gewichte nicht zurückgerufen werden können.
Die Debatte ist auch politisch geworden. Wie Cryptopolitan berichtete, hat Präsident Donald Trump Warnungen vor KI-Risiken zurückgewiesen und zugleich den Wettbewerb mit China betont. Delangues Fokus liegt jedoch auf Zugang und Rechenschaftspflicht.
Offene Modelle gewinnen Nutzung, verlieren aber das Geld
Die Frage des Zugangs erstreckt sich auch auf den Markt. Menlo Ventures schätzt, dass Open-Source-Modelle 19 % der Enterprise-AI-Tokens verarbeiten – die abgerechneten Einheiten der Modellnutzung –, aber nur 4 % der Modellausgaben auf sich ziehen, während Frontier-Labors 69 % der Bereitstellungsausgaben erhalten. Die Schätzungen spiegeln hauptsächlich die Enterprise-Aktivität in den USA wider.
Unterdessen zählte ein Bericht einer US-Kommission mehr als 100.000 Derivate von Alibabas Qwen-Modellen auf Hugging Face – ein Zeichen dafür, dass die Verbreitung schneller wächst als die Einnahmen. BCG warnt, dass auseinanderlaufende US-amerikanische und chinesische Strategien die globale KI in konkurrierende Technologie-Stacks spalten könnten.
Der Nvidia-Deal prüft, wem die offene Plattform gehört
Hugging Face sieht sich nun selbst einer Prüfung gegenüber: Nvidia hat sich bereit erklärt, die Plattform zu kaufen. Die SEC-Einreichung listet rund 11,9 Milliarden US-Dollar für die Aktionäre sowie bis zu 1 Milliarde US-Dollar für die Mitarbeiterbindung auf. Der Deal bedarf noch der regulatorischen Genehmigung und wird voraussichtlich in der ersten Hälfte von 2027 abgeschlossen.
Nvidia hat zugesagt, die Plattform offen zu halten – auch für konkurrierende Chiphersteller. Hugging Face zählt mehr als 20 Millionen Entwickler, gegenüber rund 18 Millionen bei Bekanntgabe des Deals. Ob der weltbeherrschende KI-Chiphersteller diese Offenheit bewahren kann, bleibt eine offene Frage.
