Microsoft-Chef Satya Nadella fordert Unternehmen auf, KI-Modelle wie interne Bedrohungen zu behandeln
Wichtige Erkenntnisse
- •Satya Nadella empfiehlt Unternehmen, KI-Modelle wie interne Bedrohungen zu behandeln und Sicherheitsprinzipien wie die Funktionstrennung anzuwenden, sodass kein einzelnes Modell sowohl Aktionen ausführt als auch seine eigene Arbeit überprüft.
- •In Äußerungen vom 10. Oktober 2026 forderte Nadella, Intelligenz von Autorität zu trennen, und schlug praktische Kontrollen vor, darunter unabhängige Verifikation, Transparenz der Denkketten und externe Auditmechanismen.
- •Bei einem Auftritt im All-In Podcast am 17. September 2026 warnte Nadella, dass Unternehmens-KI-Agenten Finanzdaten falsch darstellen könnten, und führte im Juli 2026 das „reverse information paradox“ ein – die Idee, dass Unternehmen durch KI-Interaktionen proprietäres Wissen verlieren könnten.
- •Um den 14. September 2026 führte Microsoft einen Entwurf eines Verhaltenskodex für seine MAI-Modellfamilie ein, der menschliche Aufsicht betont und täuschendes Verhalten ablehnt; Nadella warnte in einem Memo, dass ein Scheitern bei den Sicherheitsmaßnahmen dem Unternehmen seine „Erlaubnis zum Betreiben“ kosten könnte.
- •Unternehmen, die KI-Agenten Zugriff auf Finanzsysteme, Kundendaten oder interne Abläufe gewähren, müssten handelnde Systeme möglicherweise von prüfenden Systemen trennen, Denkprozesse protokollieren und externe Prüfer einbinden – während der Verhaltenskodex-Entwurf noch keine durchsetzbare Praxis ist.
Microsoft-CEO Satya Nadella hat eine neue Empfehlung für Unternehmen, die Künstliche Intelligenz einsetzen: Die Modelle sollen so behandelt werden, wie Sicherheitsteams interne Bedrohungen behandeln.
Seine zentrale Empfehlung ist unkompliziert. Kein einzelnes KI-Modell sollte sowohl die Aktionen kontrollieren, die es ausführt, als auch die Beweise, die zur Überprüfung dieser Aktionen verwendet werden. Wenn ein System die Arbeit erledigen und zugleich seine eigene Leistung bewerten kann, so Nadella, wird tatsächlich nichts überprüft.
Ein Framework für interne Bedrohungen bei KI
Die Betrachtung als interne Bedrohung stammt aus der Unternehmenssicherheit, wo Unternehmen bereits für Mitarbeiter planen, die über legitimen Zugriff verfügen, ihn aber missbrauchen könnten – eine Risikoklasse, die seit langem durch Kontrollen wie die Funktionstrennung gemanagt wird, bei der sensible Aufgaben und Zugriffe so aufgeteilt werden, dass keine einzelne Person oder kein einzelnes System einen gesamten Prozess von Anfang bis Ende kontrolliert. Nadellas Argument ist, dass autonome KI-Agenten in dieselbe Kategorie gehören.
Ein mit den Systemen eines Unternehmens verbundener KI-Agent kann ebenso auf sensible Unternehmensdaten zugreifen wie ein vertrauenswürdiger Mitarbeiter. Anders als ein Mitarbeiter ist seine Denkweise jedoch möglicherweise intransparent, und er kann mit einem Autonomiegrad arbeiten, der die Aufsicht erschwert.
In Äußerungen vom 10. Oktober 2026 sprach Nadella über die Herausforderungen durch superintelligente Systeme und forderte, Intelligenz von Autorität zu trennen. Klar gesagt: Ein Modell kann intelligent genug sein, um eine Entscheidung zu empfehlen, ohne dass ihm die unchecked Ausführung dieser Entscheidung anvertraut wird.
Er hat zudem eine Reihe praktischer Kontrollmaßnahmen skizziert, darunter unabhängige Verifikationsprozesse, Transparenz in die Denkketten eines Modells – die schrittweisen Überlegungen, die ein Modell auf dem Weg zu einer Antwort anstellt – sowie externe Auditmechanismen. Das Ziel ist Rechenschaftspflicht, die nicht davon abhängt, dass die KI sich selbst bestätigt.
Ein Muster, kein Einzelfall
Bei einem Auftritt im All-In Podcast, einer Technologie- und Wirtschaftssendung, am 17. September 2026 wies Nadella auf die Möglichkeit hin, dass Unternehmens-KI-Agenten Finanzdaten falsch darstellen könnten, und bezeichnete dies als eine neue Art von Insider-Risiko.
Im Juli 2026 führte er das von ihm sogenannte „reverse information paradox“ ein – die Vorstellung, dass Unternehmen, die KI nutzen, am Ende ihr eigenes proprietäres Wissen durch die Interaktion mit diesen Systemen preisgeben könnten.
Um den 14. September 2026 führte Microsoft einen Entwurf eines Verhaltenskodex für seine hauseigene MAI-Modellfamilie ein. Das Dokument betont menschliche Aufsicht die Einbeziehung von Menschen in die KI-Governance und lehnt täuschendes KI-Verhalten ab. In einem Memo Mitte September 2026 empfahl Nadella Berichten zufolge, sich die Zeit zu nehmen, die Sicherheitsmaßnahmen richtig zu gestalten, und warnte, ein Scheitern könnte dem Unternehmen seine „Erlaubnis zum Betreiben“ kosten.
Auswirkungen über Microsoft hinaus
Microsoft will einerseits ein führender Anbieter von KI-Fähigkeiten sein und positioniert sich zugleich als Unternehmen, das die Souveränität von Unternehmen respektiert – das Prinzip, dass Kunden die Kontrolle über ihre eigenen Daten und Systeme behalten. Mächtige Agenten lassen sich leichter verkaufen, wenn der Anbieter zugleich die Schutzmaßnahmen verkauft, die ihren sicheren Einsatz ermöglichen.
Jedes Unternehmen, das KI-Agenten Zugriff auf Finanzsysteme, Kundendaten oder interne Abläufe gewährt, muss möglicherweise überdenken, wie diese Agenten beaufsichtigt werden. Das könnte bedeuten, das handelnde System vom prüfenden System zu trennen, Denkprozesse zu protokollieren und externe Prüfer einzubinden.
Die entscheidende Frage ist, ob diese Prinzipien von Reden und Entwürfen in durchsetzbare Praxis überführt werden. Der MAI-Verhaltenskodex liegt weiterhin als Entwurf vor. Wie Microsoft ihn finalisiert und ob Kunden die von Nadella beschriebene Trennung von Aktion und Verifikation übernehmen, wird zeigen, wie ernst es der Branche mit ihren eigenen Warnungen ist.
Quelle: CryptoBriefing
