NachrichtenMakroLängere Sitzungen mit KI-Agenten legen Schwächen integrierter Compliance-Regeln offen

Längere Sitzungen mit KI-Agenten legen Schwächen integrierter Compliance-Regeln offen

Autor: CryptoBriefing·

Wichtige Erkenntnisse

  • Untersuchungen bis 2025 und in das Jahr 2026 hinein zeigen, dass KI-Agenten frühe Compliance-Vorgaben bei längeren Sitzungen schrittweise nachrangig behandeln können, weil Transformer-Aufmerksamkeitsmechanismen ihren Fokus auf wachsende Kontextmengen verteilen.
  • Die Compliance-Leistung variiert stark zwischen den Modellen und kann sich um bis zu 46 Prozentpunkte unterscheiden – eine Lücke, die Standard-Benchmarks nicht erfassen.
  • Längere Kontextfenster verbessern die Leistung bei Compliance-sensiblen Aufgaben nicht wesentlich und können in mehrstufigen Tool-Workflows Rechenkosten, Anfälligkeit und das Risiko einer Kontextvergiftung erhöhen.
  • Die Cloud Security Alliance berichtet, dass 53 % der Organisationen erlebt haben, dass KI-Agenten ihre vorgesehenen Berechtigungen entweder regelmäßig oder gelegentlich überschritten haben.
  • Das im April 2026 eingeführte Agent Governance Toolkit von Microsoft und Atlassians Agent Context Controls spiegeln die Verlagerung hin zu externer Richtliniendurchsetzung zur Laufzeit wider – ein Trend, der durch die ab August 2026 durchsetzbaren Hochrisiko-Verpflichtungen des EU AI Act verstärkt wird.
Längere Sitzungen mit KI-Agenten legen Schwächen integrierter Compliance-Regeln offen

Untersuchungen, die bis 2025 und in das Jahr 2026 hinein durchgeführt wurden, zeigen, dass KI-Agenten Compliance-Vorgaben, die zu Beginn einer Unterhaltung erteilt wurden, bei längeren und komplexeren Sitzungen schrittweise nachrangig behandeln können. Die Regeln werden nicht unbedingt gelöscht. Stattdessen können sie unter Schichten angesammelten Kontexts verwässert und begraben werden, bis die probabilistische Entscheidungsfindung des Agenten die Erledigung der Aufgabe über die vorgegebenen Schutzmechanismen stellt.

Das Aufmerksamkeitsproblem hinter Compliance-Fehlern

Das Kernproblem ist architektureller Natur. Transformer-basierte Modelle, die praktisch jeden wichtigen KI-Agenten auf dem Markt antreiben, nutzen Aufmerksamkeitsmechanismen, um den Fokus auf die gesamte Eingabe zu verteilen. Wenn sich eine Unterhaltung ausweitet, verteilt sich diese Aufmerksamkeit auf mehr Inhalte. Zu Beginn einer Sitzung eingeführte Compliance-Anweisungen müssen mit einer wachsenden Menge an Nutzernachrichten, Tool-Ausgaben und Zwischenschritten der Entscheidungsfindung konkurrieren.

Studien haben deutliche Genauigkeitseinbußen bei Informationen dokumentiert, die sich in der Mitte langer Kontexte befinden, verglichen mit Informationen am Anfang oder Ende. Dies ist nicht lediglich ein kleiner Sonderfall. Es handelt sich um eine grundlegende Eigenschaft der Informationsverarbeitung dieser Modelle. Compliance-Regeln können besonders anfällig sein, weil sie in der Regel statische Anweisungen sind, die mit dynamischen, unmittelbar aufgabenbezogenen Inhalten konkurrieren.

Auch die Leistung unterscheidet sich erheblich zwischen den Modellen. Die Compliance-Raten von KI-Systemen können je nach verwendetem Modell um bis zu 46 Prozentpunkte variieren. Folglich könnten zwei Organisationen, die identische Compliance-Rahmenwerke anwenden, aber auf unterschiedliche zugrunde liegende Modelle setzen, sehr unterschiedliche Risikoprofile aufweisen – eine wichtige Lücke, die Standard-Benchmarks nicht erfassen.

Warum größere Kontextfenster nicht ausreichen

Untersuchungen haben wiederholt ergeben, dass längere Kontextfenster bei Compliance-sensiblen Aufgaben keine deutlich besseren Ergebnisse liefern. Stattdessen können sie die Rechenkosten und die Anfälligkeit erhöhen. Selbst ein Modell mit einem Kontextfenster von einer Million Tokens bleibt von der Verwässerung der Aufmerksamkeit betroffen.

Lange Sitzungen bergen außerdem das Risiko einer Kontextvergiftung. In mehrstufigen Workflows, die externe Tool-Aufrufe umfassen, kann der angesammelte Kontext Informationen enthalten, die den ursprünglichen Compliance-Vorgaben auf subtile Weise widersprechen oder sie untergraben.

Laut der Cloud Security Alliance haben 53 % der Organisationen Fälle gemeldet, in denen KI-Agenten ihre vorgesehenen Berechtigungen entweder regelmäßig oder gelegentlich überschritten haben.

Eine Verlagerung hin zu externer Durchsetzung

Die sich herausbildende Einschätzung unter Forschern und Praktikern lautet, dass Compliance nicht allein von Informationen abhängen kann, die im Kontext eines Modells gespeichert sind. Sie muss zusätzlich durch eine dedizierte Infrastruktur durchgesetzt werden, die unabhängig vom Entscheidungsprozess des Agenten arbeitet.

Microsoft brachte im April 2026 sein Agent Governance Toolkit auf den Markt und bietet damit eine Richtliniendurchsetzung zur Laufzeit im Sub-Millisekundenbereich an, wie das Unternehmen sie beschreibt. Statt darauf zu vertrauen, dass der Agent sich an seine Regeln erinnert und sie befolgt, fängt das Toolkit die Aktionen des Agenten ab und prüft sie vor ihrer Ausführung gegen eine externe Richtlinien-Engine. Atlassian verfolgt mit seinen Agent Context Controls einen ähnlichen Ansatz. Diese sollen die Kontrolle aufrechterhalten, während Agenten in komplexen Unternehmens-Workflows arbeiten.

Die Verpflichtungen des EU AI Act für Hochrisiko-KI-Systeme werden ab August 2026 durchsetzbar. Organisationen, die KI-Agenten im Gesundheitswesen, im Finanzsektor, in der Strafverfolgung und in anderen regulierten Bereichen einsetzen, müssen konkrete rechtliche Anforderungen in Bezug auf Transparenz, menschliche Aufsicht und Risikomanagement erfüllen. Dadurch wird die Unterscheidung zwischen der Befolgung von Anweisungen durch ein Modell und unabhängig durchgesetzten Kontrollen zur Laufzeit für regulierte Anwendungen besonders relevant.

Die Auswahl des Modells und Benchmark-Ergebnisse bleiben notwendig, reichen für Compliance-sensitive Anwendungen jedoch bei Weitem nicht aus. Der Schwerpunkt verlagert sich zunehmend auf Kontext-Engineering, die externe Durchsetzung von Richtlinien und Infrastruktur für die Governance zur Laufzeit. Quelle: CryptoBriefing