König Charles warnt KI-Führer, die Kontrolle zu übernehmen, „bevor es zu spät ist“
Wichtige Erkenntnisse
- •König Charles III. sagte rund 30 KI-Führungskräften, Beamten und Forschern in Dumfries House in Schottland, dass die Menschheit ausreichende Kontrollmittel über KI braucht, bevor es zu spät ist.
- •DeepMind-Mitgründer Demis Hassabis schätzte, dass künstliche allgemeine Intelligenz wahrscheinlich nur wenige Jahre entfernt ist, eine zehnmal größere Wirkung als die Industrielle Revolution haben könnte und ein nicht verschwindendes Risiko von Fehlschlägen birgt.
- •Nvidia-Chef Jensen Huang, dessen Unternehmen bei rund 5,15 Billionen US-Dollar bewertet wird, plädierte für die Regulierung von KI-Produkten statt der Technologie selbst und verteidigte offene Modelle, damit kleinere Länder und Forscher nicht ausgeschlossen werden.
- •OpenAI-Finanzchefin Sarah Friar sagte, kein einzelnes Unternehmen oder keine Regierung könne eine immer mächtigere KI allein im Dienst der Menschen halten.
- •Der Gipfel fand inmitten interner Warnungen der Branche statt, darunter Evan Hubingers Vorhersage einer 10-prozentigen Wahrscheinlichkeit, dass KI das menschliche Aussterben verursacht, und OpenAIs Einführung eines Systems zur Offenlegung von Fehlverhalten, während Präsident Trump solche Befürchtungen als Hoax abtat.

König Charles III. hat den Chefs der größten Unternehmen für künstliche Intelligenz gesagt, dass sie Wege finden müssen, die Technologie unter menschlicher Kontrolle zu halten, und warnte, dass ausgerechnet die Menschen, die sie entwickelt haben, nun fürchten, sie könnte „dunklere Fähigkeiten“ entwickeln und sogar zum Töten eingesetzt werden.
Ein privates Treffen in Schottland
Der König sprach in Dumfries House in East Ayrshire, Schottland, bei einem von der Ditchley Foundation organisierten Treffen. Die Veranstaltung zog rund 30 Führungskräfte, Beamte und Forscher an, darunter Großbritanniens KI-Minister Kanishka Narayan, Nvidia-Chef Jensen Huang, DeepMind-Mitgründer Demis Hassabis, OpenAI-Finanzchefin Sarah Friar und Anthropics Leiter für globale Angelegenheiten Tino Cuéllar.
Laut einer von Bloomberg eingesehenen privaten Gästeliste gehörten dem Einladungskreis Berichten zufolge auch MI6-Chefin Blaise Metreweli, der Autor Yuval Noah Harari und Xue Lan von der Tsinghua-Universität an. Die Breite dieser Runde – Führungskräfte von Frontier-Laboren neben einem Regierungsminister, einem Geheimdienstchef, einem Autor und einem Vatikanberater – zeigte, wie weit das Thema KI-Sicherheit von einer technischen Debatte zu einer Frage der Staatskunst geworden ist.
Charles, 77, sprach nur etwa 20 Minuten lang, bevor er den Raum verließ, in der Hoffnung auf produktive Gespräche. Diejenigen, die den moralischen Kern der Menschheit schätzen, so sagte er, suchten „verzweifelt Ihre Zusicherung, dass wir die Kontrolle über unser Schicksal oder unsere Seele nicht verlieren werden.“
„Gleichzeitig faszinierend und zutiefst besorgniserregend“
Der Monarch beschrieb das Tempo der Technologie als „zugleich faszinierend und zutiefst besorgniserregend“. Er lobte ihre Erfolge in der Medizin und den Lebenswissenschaften, bevor er seinem Publikum eine unverblümte Frage stellte: „icherlich brauchen wir ausreichende Kontrollmittel, bevor es zu spät ist?“
Der König verwies auf die Bedenken der KI-Schöpfer selbst und sagte, die Systeme riskierten, „dunklere Fähigkeiten zu entwickeln, vielleicht sogar, um Leben zu nehmen“. Er forderte die Führungskräfte auf, die „existentiellen Gefahren“ zu bedenken, wenn solche Werkzeuge in falsche Hände gerieten.
Es war nicht das erste Mal, dass Charles solche Bedenken äußerte: 2023 sandte er eine Videobotschaft an den KI-Sicherheitsgipfel Großbritanniens in Bletchley Park mit ähnlichen Aussagen. Der Vatikan-KI-Berater Paolo Benanti nahm am Gipfel in Schottland teil, und Papst Leo XIV. schrieb in einer Enzyklika im Mai, dass KI nicht in den Händen „weniger Weniger“ bleiben dürfe.
Was die KI-Führungskräfte sagten
Demis Hassabis sagte den Teilnehmern, dass künstliche allgemeine Intelligenz – Systeme, die Menschen in vielen Aufgaben entsprechen oder sie übertreffen könnten – „wahrscheinlich nur wenige Jahre entfernt“ sei. Eine solche Technologie könne eine zehnmal größere Wirkung haben als die Industrielle Revolution. Die Wahrscheinlichkeit, dass etwas schiefgehe, sei „definitiv nicht null“, fügte er hinzu, wobei er ergänzte: „Die Zukunft ist noch nicht geschrieben.“
Sarah Friar sagte, die wachsende Macht der Technologie stelle Fragen darüber auf, wie sie im Dienst der Menschen bleiben könne, und fügte hinzu, dass „kein einzelnes Unternehmen oder keine Regierung das allein leisten könne.“
Huang, dessen Nvidia bei rund 5,15 Billionen US-Dollar bewertet wird, sagte der Runde, dass Sicherheit oberste Priorität habe und ein Produkt zurückgehalten werden solle, wenn es nicht bereit sei. Er plädierte für die Regulierung von KI-Produkten statt der Technologie selbst und verteidigte offene Modelle als Mittel, um zu verhindern, dass kleinere Länder und Forscher ausgeschlossen werden. Dieser Unterschied – Regeln für die Technologie selbst versus Regeln für die darauf aufbauenden Produkte – steht im Zentrum regulatorischer Debatten weltweit. Gelesen neben Friars Warnung, dass kein einzelner Akteur die Technologie allein bewältigen könne, skizzierten die Austausche die zwei breiten Ansätze, die nun die KI-Aufsicht prägen: wo Regeln ansetzen sollen und wer sie tragen muss.
Eine durch Branchenwarnungen verschärfte Debatte
Der Gipfel fand vor dem Hintergrund interner Branchenalarme statt, nachdem ein viral verbreiteter Rücktrittspost des Anthropic-Forschers Jacob Coxon und die Vorhersage seines Kollegen Evan Hubinger, KI habe eine 10-prozentige Wahrscheinlichkeit, das menschliche Aussterben zu verursachen, Besorgnis ausgelöst hatten. Cryptopolitan berichtete, dass Anthropics Dario Amodei einen Aufsatz veröffentlichte, in dem er Labore aufforderte, „die Frontier zu timen“, und dass OpenAI diese Woche ein einführte, das Fehlverhalten von Modellen offenlegen soll, nachdem sechs Vorfälle besorgniserregenden Verhaltens registriert worden waren.
Nicht jeder hält die Gefahr jedoch für real: Präsident Donald Trump hat solche Befürchtungen als „Hoax“ bezeichnet. Wie diese Lücke geschlossen wird – durch laborseitige Schutzmaßnahmen wie OpenAIs neues Offenlegungssystem, eine produktorientierte Regulierung, wie Huang sie befürwortet, oder das von Amodei geforderte „Pacing“ der Frontier – ist die Frage, die die Führungskräfte nun aus Dumfries House begleitet.
Quelle: Cryptopolitan