Die eigentliche Zäsur tritt möglicherweise nicht ein, wenn Maschinen den Menschen übertreffen. Sie könnte eintreten, wenn sich die Fähigkeiten von KI schneller verstärken, als Institutionen sie aufnehmen können.

Bei einer jüngsten Sitzung des Risikoausschusses schien die Frage zunächst einfach: Ist die Offenlegung der KI-Risiken der Organisation noch zutreffend? Die Antwort war weniger eindeutig. Seit der vorherigen Überprüfung hatten sich KI-Systeme wesentlich verändert. Sie bearbeiteten längere Aufgaben, nutzten mehr Werkzeuge, arbeiteten mit weniger Überwachung und leisteten direkte Beiträge zur Softwareentwicklung und Forschung. Das Risikorahmenwerk hatte sich jedoch nicht im gleichen Tempo weiterentwickelt.

Es war nicht unbedingt etwas schiefgelaufen. Genau das war das Problem. Der Verwaltungsrat sollte eine Kontrollumgebung genehmigen, die für eine Technologie entwickelt worden war, deren Fähigkeitsprofil die zugrunde liegenden Annahmen bereits überschritt.

Hier sollte die Debatte über die Singularität beginnen – nicht mit Vorhersagen darüber, wann Maschinen den Menschen übertreffen werden, sondern mit einer weniger exotischen und dringlicheren Governance-Frage. Diese Zäsur setzt weder eine Intelligenzexplosion noch ein bestimmtes Datum oder Einigkeit darüber voraus, was künstliche allgemeine Intelligenz bedeutet. Sie ist bereits ein Kontrollproblem.

Drei Gespräche, die gewöhnlich miteinander vermischt werden

Ein großer Teil der öffentlichen Debatte über KI ist verworren, weil drei unterschiedliche Konzepte häufig so behandelt werden, als wären sie ein einziges.

Fähigkeit beschreibt, was KI-Systeme leisten können. Sie ist empirisch, überprüfbar und entwickelt sich schnell weiter.

Autonomie beschreibt, wie viel des Entscheidungs- und Handlungskreislaufs ohne direktes menschliches Eingreifen ablaufen kann. Hier liegt die unmittelbare Governance-Herausforderung. Ein KI-System, das eine Antwort erzeugt, ist das eine. Ein System, das die nächste Handlung bestimmt, auf ein Werkzeug zugreift, diese Handlung ausführt, das Ergebnis bewertet und fortfährt, ist etwas grundlegend anderes.

Die Singularität ist eine spekulative Zäsur: ein Punkt, an dem die von KI getriebene Verbesserung so stark selbstverstärkend wird, dass herkömmliche menschliche Prognosen unzuverlässig werden.

Diese Konzepte sind nicht austauschbar. Ein Verwaltungsratsmitglied muss nicht davon überzeugt sein, dass eine technologische Singularität unmittelbar bevorsteht, um zu erkennen, dass zunehmende Autonomie eine andere Kontrollumgebung schafft. Ebenso kann jemand glauben, dass die Fähigkeiten von KI letztlich transformative Wirkung entfalten werden, ohne eine Intelligenzexplosion für unausweichlich zu halten.

Diese Unterscheidung ist wichtig, weil Governance nicht warten kann, bis die dritte Frage beantwortet ist, bevor sie auf die zweite reagiert.

Der Kreislauf ist nicht geschlossen – aber deshalb nicht irrelevant

Die stärksten Belege für dieses Argument sind zugleich die am wenigsten sensationellen. Führende KI-Labore übertragen zunehmend Teile der KI-Entwicklung an KI-Systeme selbst.

Anthropic beschreibt eine Entwicklung vom Schreiben des Codes durch Menschen über Coding-Agenten, die große Teile des Codes schreiben und bearbeiten, bis hin zu Agenten, die Code ausführen und Aufgaben an andere Agenten delegieren. Anthropic berichtet, dass im Mai 2026 mehr als 80% des Codes, den das Unternehmen in seine Produktions-Codebasis übernahm, von Claude verfasst worden war.

Die wichtige Einschränkung betrifft das, was noch nicht geschehen ist. Die Forschungsrichtung bleibt menschlich bestimmt, und der Kreislauf ist nicht vollständig autonom. Anthropic erklärt ausdrücklich, dass rekursive Selbstverbesserung noch nicht im vollständig autonomen Sinne stattfindet und nicht unausweichlich ist.

Sam Altman hat den derzeitigen Zustand ähnlich als eine „larvale“ Version rekursiver Selbstverbesserung beschrieben und zugleich eingeräumt, dass dies nicht dasselbe ist wie ein KI-System, das sich autonom selbst umschreibt.

Diese Einschränkung stärkt das Governance-Argument, statt es zu schwächen. Die relevante Frage lautet nicht, ob der Kreislauf geschlossen ist. Sie lautet, wie viel des Kreislaufs sich bereits von menschlicher zu maschineller Ausführung verlagert hat – und ob sich die institutionellen Kontrollen mit ihm weiterentwickeln.

Governance läuft nach einer anderen Uhr

Die Regulierung veranschaulicht dasselbe Problem unterschiedlicher Geschwindigkeiten. Die US-Regierung hat für bestimmte führende Modelle ein freiwilliges Rahmenwerk geschaffen, das unter anderem den staatlichen Zugang zu erfassten Modellen vor ihrer Veröffentlichung und einen geheim eingestuften Benchmarking-Prozess zur Feststellung umfasst, ob Modelle einen Schwellenwert für führende Modelle erreichen. Das Rahmenwerk sieht ausdrücklich keine verpflichtende Lizenzierung oder Vorabgenehmigung vor. Das Weiße Haus

Gleichzeitig entwickelt NIST praktische Ansätze für die Identität und Autorisierung von Agenten, einschließlich Identifikation, Autorisierung, Prüfung, Nichtabstreitbarkeit und Kontrollen gegen Prompt-Injection.

Die Richtung ist bedeutsam. Governance-Instrumente werden für Systeme neu gestaltet, die handeln können, nicht nur für Systeme, die Informationen erzeugen. Für Organisationen bedeutet dies, dass die Aufsicht nicht nur die Fähigkeiten des Modells erfassen muss, sondern auch die Berechtigungen, Systeme, Daten und Dritten, mit denen das System verbunden ist. Diese Dimensionen bestimmen die Folgen einer Handlung und die Nachweise, die belegen müssen, dass sie kontrolliert blieb.

Finanzaufsichtsbehörden machen die Verantwortung des Verwaltungsrats ebenso deutlich. Die FCA, Bank of England und das Finanzministerium haben erklärt, dass Unternehmen sicherstellen sollten, dass ihre Verwaltungsräte und leitenden Führungskräfte über ausreichendes Verständnis der Risiken führender KI verfügen, um die strategische Ausrichtung festzulegen und Kontrollfunktionen zu überwachen.

Dies ist kein Beleg dafür, dass Aufsichtsbehörden versagen. Es spiegelt eine strukturelle Realität wider: Die Technologie verändert sich zuerst, während Institutionen ihre Reaktion erst danach formalisieren. Verwaltungsräte können regulatorische Gewissheit daher nicht zur Voraussetzung für ihr Handeln machen.

Das eigentliche Problem könnte die Absorptionslücke sein

Hier wird die Singularitätsdebatte zu einem Thema für Unternehmen. Eine Organisation kann Zugang zu außergewöhnlichen KI-Fähigkeiten haben und dennoch strukturell nicht in der Lage sein, diese aufzunehmen.

Ein Finanzinstitut kann einen Agenten einsetzen, der anspruchsvolle Analysen durchführen kann, während sein Kontrollrahmen davon ausgeht, dass ein menschlicher Analyst jede folgenreiche Empfehlung abgibt. Ein Einzelhändler kann Entscheidungen über Preise, Lagerbestände und Kundeninteraktion automatisieren, während die Verantwortlichkeit weiterhin auf menschliche Führungskräfte ausgerichtet ist. Ein Technologieunternehmen kann KI-Systeme Software mit beispielloser Geschwindigkeit erzeugen und testen lassen, während Sicherheitsprüfungen, Änderungsmanagement und Reaktion auf Vorfälle weiterhin auf menschlichen Entwicklungszyklen beruhen.

Die Fähigkeit hat sich verändert. Die Institution nicht.

Erfahrungen aus Prüfungs- und Risikoausschüssen sowie aus den Bereichen Finanzdienstleistungen, Einzelhandel, Medien, Luxus, Sport und Technologie bestätigen dasselbe Muster: Fähigkeiten können überall gleichzeitig eintreffen, während sich die Absorptionsgeschwindigkeit je nach Regulierung, bestehender Infrastruktur, Struktur der Belegschaft und Reife der Kontrollsysteme erheblich unterscheidet.

Diese Unterschiede sind relevant. Aus Sicht von Risiko und Versicherungsmaklertätigkeit ist dies der Punkt, an dem KI-Risiken aufhören, ein Whitepaper zu sein, und zu einer Prämie werden. Versicherer, Investoren, Aufsichtsbehörden und Verwaltungsräte stellen letztlich Varianten derselben Frage: Kann die Organisation nachweisen, dass sie das von ihr geschaffene Risiko versteht und kontrolliert?

Sollte sich Governance genauso schnell bewegen wie KI?

Die naheliegende Antwort lautet, Governance müsse sich schneller bewegen. Doch schnellere Governance ist nicht automatisch bessere Governance.

Das Ziel sollte vielleicht nicht Governance im Tempo der Technologie sein, sondern Governance in dem Tempo, das zur Aufrechterhaltung der Kontrolle erforderlich ist. Die richtige Frage für einen Verwaltungsrat lautet möglicherweise nicht: „Haben wir diese KI-Fähigkeit genehmigt?“ Stattdessen könnte sie lauten: „Was hat sich seit unserer letzten Genehmigung am Profil von Fähigkeit, Autonomie, Zugriff oder Folgen verändert, und haben sich unsere Kontrollen entsprechend verändert?“

Das ist eine schwierigere, aber auch nützlichere Frage.

Das Governance-Instrument

Die meisten Kommentare zu KI enden mit einer Warnung. Verwaltungsräte brauchen etwas Praktischeres: einen Mechanismus, der davon ausgeht, dass sich die Rahmenbedingungen verändern werden.

Die Antwort ist nicht eine bessere Vorhersage darüber, wann die Singularität eintreten könnte. Sie ist ein dynamisches Governance-Gate, das misst, ob die Institution weiterhin in der Lage ist, das von ihr eingesetzte System zu kontrollieren.

Ein solches Instrument sollte fünf Merkmale aufweisen:

1. Explizite Stufenfreigaben. KI-Programme sollten anhand bewerteter Kriterien statt anhand narrativer Statusberichte voranschreiten. Fähigkeit, Autonomie, Zugriff, Kontrollabdeckung, Widerstandsfähigkeit und Verantwortlichkeit sollten ausdrücklich bewertet werden.
2. Teilpunkte. Organisationen müssen erkennen können, wo sie Fortschritte machen, ohne Fortschritt mit Einsatzbereitschaft zu verwechseln.
3. Eine verbindliche Bestehensschwelle. Wird eine kritische Kontrollanforderung nicht erfüllt, darf Optimismus keinen Ausnahmeweg schaffen.
4. Entscheidungsmeilensteine getrennt von Bewertungen. Ein Verwaltungsrat kann ein Risiko bewusst akzeptieren; das ist legitime Governance. Die Ermessensentscheidung sollte jedoch als solche sichtbar bleiben und nicht als Zahl verschleiert werden.
5. Ein schnellerer Aktualisierungsrhythmus. Wenn sich Fähigkeiten zwischen vierteljährlichen Sitzungen des Verwaltungsrats wesentlich verändern können, ist eine vierteljährliche Berichterstattung strukturell nicht in der Lage, ausreichende Transparenz zu schaffen. Ein bedeutendes Programm für führende KI kann wöchentliche Aktualisierungen erfordern.

Dieses Muster wird in einem laufenden Programm für digitales Banking eingesetzt. Die übertragbare Lehre ist einfach: Wenn sich das Umfeld schnell bewegt, muss Governance die Bewegung messen, statt sie lediglich zu dokumentieren.

Verwaltungsräte sollten daher mehrere Fragen beantworten können: Was kann das System jetzt, was es bei der letzten Überprüfung noch nicht konnte? Welche Entscheidungen oder Handlungen kann es ohne direktes menschliches Eingreifen treffen? Auf welche Systeme, Daten, Zugangsdaten und Dritten kann es zugreifen? Welche Kontrollen greifen vor, während und nach diesen Handlungen? Welche Nachweise belegen, dass diese Kontrollen funktionieren? Was hat sich am Restrisiko verändert? Hat die Fähigkeit der Institution, diese Fähigkeit aufzunehmen, mit der Fähigkeit selbst Schritt gehalten?

Wenn das Management diese Fragen nicht beantworten kann, geht es nicht mehr nur um die Reife der KI. Es geht um die Reife der Governance.

Die Frage, über die Verwaltungsräte debattieren sollten

Die Singularität könnte sich letztlich als Zäsur der Intelligenz erweisen. Verwaltungsräte müssen diese philosophische Frage jedoch nicht lösen. Es gibt eine unmittelbarere Zäsur, die es zu steuern gilt: die Möglichkeit, dass sich maschinelle Fähigkeiten schneller verstärken als institutionelle Kontrolle.

Darunter liegt eine legitime Debatte. Vielleicht lautet die Antwort stärkere Governance. Vielleicht ist die Antwort besser gestaltete Governance. In manchen Fällen besteht die Antwort möglicherweise darin, eine Fähigkeit erst dann einzusetzen, wenn die Institution sie aufnehmen kann.

Diese letzte Position wird einige Technologieführer frustrieren. Das sollte sie. Der Zweck von Governance besteht nicht darin, den Einsatz komfortabel zu machen. Governance sollte jedoch auch kein Vorwand für institutionelle Lähmung werden. Die Herausforderung besteht darin, den Unterschied zu erkennen.

Die Frage des Verwaltungsrats lautet daher nicht: „Wann werden Maschinen uns übertreffen?“ Sie lautet: „Wie viel Autonomie sind wir bereit zu steuern, bevor wir wissen, dass unsere Institution sie aufnehmen kann?“

Das ist eine Frage, die ein Verwaltungsrat beantworten kann. Anders als das Datum der Singularität kann sie nicht aufgeschoben werden.

Die Singularität ist eine Frage über Maschinen. Die Governance-Lücke ist eine Frage über uns.

Originalquelle: TechNext24