In 157 Unternehmen gewähren Organisationen KI-Agenten mehr Autonomie, während ihr Vertrauen in die Bewertungen sinkt, die diese Autonomie steuern sollen. Die Hälfte hat bereits einen Agenten eingesetzt, der interne Bewertungen bestanden hatte, dann aber bei einem Kunden scheiterte. Nur einer von zwanzig Befragten vertraut automatisierten Bewertungen heute vollständig, und die am häufigsten genannte Schwäche ist, dass Bewertungen nicht mit realen Ergebnissen übereinstimmen. Dennoch erlauben zwei Drittel der Organisationen bereits oder arbeiten aktiv darauf hin, Änderungen von Agenten allein auf Grundlage automatisierter Bewertungen in die Produktion zu bringen — ohne einen Menschen im Prozess.

Das Ergebnis ist das, was VentureBeat als "Bewertungslücke" bezeichnet: der Abstand zwischen der Autonomie, die Unternehmen ihren Agenten einräumen, und dem Vertrauen, das sie in die Tests setzen, die Fehler aufdecken sollen. Diese Lücke ist teilweise strukturell bedingt. Anders als bei traditioneller Software, bei der deterministische Unit- und Integrationstests erwartetes Verhalten verifizieren können, verknüpfen KI-Agenten mehrere Schlussfolgerungsschritte, rufen externe Tools und APIs auf und erzeugen für dieselbe Eingabe variable Ausgaben — wodurch es grundsätzlich schwierig ist zu definieren, wie ein korrektes Ergebnis aussieht, geschweige denn einen Test dafür zu automatisieren.

Überblick über die Umfrage

Diese Ausgabe von VentureBeat Pulse Research — der Agentic Reliability & Evals Tracker — untersucht, wie technische Führungskräfte die Leistung von Agenten messen, welche Zuverlässigkeits- und Bewertungsplattformen sie nutzen, wie sie diese auswählen und ihnen vertrauen, was in der Produktion ausfällt und wie weit sie Agenten ohne menschliche Aufsicht agieren lassen wollen.

Methodik

VentureBeat führte diese Umfrage im Rahmen seiner laufenden Pulse-Research-Reihe durch. Die Antworten wurden auf Organisationen mit 100 oder mehr Beschäftigten (n=157) gefiltert und stammen aus einer einzelnen im Juni 2026 durchgeführten Umfrage. Da es sich um eine einzelne Erhebungswelle und nicht um eine über mehrere Monate gepoolte Stichprobe handelt, ist der Bericht querschnittlich angelegt und leitet keine Trends von Monat zu Monat ab. Bei Fragen mit Mehrfachauswahl können sich die Anteile auf mehr als 100% summieren.

Die Stichprobe ist nach Rollen senior und glaubwürdig aus Käufersicht: 38% sind finale Entscheidungsträger für KI-Käufe, weitere 34% sind Empfehlungsgeber oder Einflussnehmer. Zu den genannten Titeln gehören Produkt- und Programmmanager (15%), Berater und Advisors (10%), Engineering-/IT-Direktoren (8%) sowie CIOs/CTOs/CISOs (8%), daneben eine große Kategorie "Sonstige" (37%).

Nach Organisationsgröße ist die Stichprobe auf den Mittelstand ausgerichtet: Unternehmen mit 100–499 Beschäftigten (37%) und 500–2.499 Beschäftigten (27%) führen, gefolgt von 2.500–9.999 (20%), 10.000–49.999 (10%) und 50.000+ (6%). Technologie/Software ist mit 23% die am stärksten vertretene Branche, gefolgt von Einzelhandel/Consumer (15%), Gesundheitswesen/Life Sciences (12%) und Fertigung (10%).

Mit 157 Befragten ist die Stichprobe groß genug, um richtungsweisende Hinweise zu liefern, sollte aber als Signal und nicht als präzise Messung behandelt werden. Sie ist selbstselektiert, keine Wahrscheinlichkeitsstichprobe, und ist auf den Mittelstand verzerrt — sie lässt sich daher am besten als Perspektive von Organisationen lesen, die aktiv Bewertungspraktiken für Agenten aufbauen, nicht als Sicht der größten Betreiber.

Hinweis: Diese Umfrage wurde für die Juni-Welle aus der früheren Umfrage "LLM observability and evaluations" neu aufgebaut. Da sich Fragen und Stichprobe unterscheiden, werden keine Vergleiche mit den April–Mai-Daten vorgenommen.

Ergebnis 1: Eine bestandene Bewertung ist kein funktionierender Agent

Organisationen wurden gefragt, ob sie in den vergangenen 12 Monaten einen Agenten oder eine LLM-Funktion bereitgestellt hatten, die interne Bewertungen bestand, dann aber einen kundenbezogenen Fehler verursachte. Die Hälfte derjenigen, die Bewertungen durchführen, berichtete, dass dies der Fall war.

Dies ist die prägende Kennzahl des Berichts. Die Hälfte der Organisationen (50%) hat eine KI-Funktion ausgeliefert, die interne Bewertungen bestanden hatte und dann vor einem Kunden scheiterte — sei es durch eine falsche Ausgabe, einen unterbrochenen Workflow oder einen Qualitätsvorfall. Ein Viertel hat dies mehr als einmal erlebt. Nur 36% berichten von keinem solchen Fehler, während der Rest entweder keine Bewertungen vor der Bereitstellung durchführt (8%) oder die Ursachen nicht genau genug nachverfolgt, um es zu wissen (6%).

Der Fehler ist eindeutig und folgenreich: Die Bewertung zeigte an, dass der Agent bereit war, und er war es nicht. Jede nachfolgende Erkenntnis — wie Unternehmen ihren Bewertungen vertrauen, was sie überwachen und wie viel Autonomie sie gewähren — wird durch diese Erfahrung geprägt.

Ergebnis 2: Fast niemand vertraut automatisierten Bewertungen vollständig

Die Befragten wurden gefragt, welche Einschränkung ihr Vertrauen in automatisierte Agentenbewertungen am stärksten mindert. Nur ein sehr kleiner Teil der Unternehmen meldete überhaupt keine Beschwerde.

Vertrauen in automatisierte Bewertungen ist knapp und spezifisch. Nur 5% der Organisationen sagen, dass sie automatisierten Bewertungen in ihrer heutigen Form vollständig vertrauen, was bedeutet, dass 95% einen begrenzenden Faktor nennen. Die häufigste Einschränkung, von 29% genannt, erklärt direkt Ergebnis 1: Bewertungen stimmen schlecht mit realen Ergebnissen überein und lassen Agenten bestehen, die später ausfallen. Verzerrung oder Inkonsistenz folgt mit 21%, und fehlende Erklärbarkeit — Unternehmen können nicht immer feststellen, warum eine Bewertung zu ihrem Urteil kam — macht 18% aus. Weitere 17% nennen Bedenken hinsichtlich Datenlecks oder Datenschutz innerhalb des Bewertungsprozesses selbst.

Den Tests, die Agenten zertifizieren sollen, wird diese Aufgabe noch nicht zugetraut, was die in Ergebnis 3 beschriebene Entwicklung der Autonomie besonders auffällig macht.

Ergebnis 3: Die Obergrenze der Autonomie steigt dennoch

Organisationen wurden gefragt, ob sie einem autonomen Agenten erlauben würden, eine Code- oder Systemänderung allein auf Grundlage automatisierter Bewertungsergebnisse in die Produktion zu bringen, ohne Human-in-the-Loop-Validierung.

Das ist das zentrale Paradox des Berichts. Trotz nahezu allgemeinem Misstrauen gegenüber automatisierten Bewertungen (Ergebnis 2) erlauben zwei Drittel der Organisationen (66%) entweder bereits eine Bereitstellung ohne menschliche Beteiligung für risikoarme Agenten (34%) oder entwickeln ihre Pipelines aktiv so, dass dies innerhalb eines Jahres möglich wird (33%). Nur 22% schließen dies auf absehbare Zeit aus.

Die Richtung ist eindeutig: Unternehmen bewegen sich darauf zu, Bewertungen autonom über den Zugang zur Produktion entscheiden zu lassen — und die menschliche Prüfung zu entfernen — genau in dem Moment, in dem sie einräumen, dass diese Bewertungen die Realität nicht zuverlässig abbilden. Die Autonomie-Obergrenze steigt schneller als die darunterliegende Absicherung, wodurch der Mechanismus entsteht, mit dem die Fehlentscheidungen aus falscher Sicherheit in Ergebnis 1 eher skalieren als schrumpfen werden.

Bemerkenswert ist, dass dieser Vorstoß in Richtung Autonomie nicht auf kleinere Unternehmen beschränkt ist. Teilt man die Stichprobe nach Unternehmensgröße auf, sind größere Unternehmen etwas weiter auf dem Weg zu null menschlicher Prüfung als kleinere (70% gegenüber 64%) und etwas häufiger in der Situation, einen Agenten ausgeliefert zu haben, der eine Bewertung bestanden hatte und dann bei einem Kunden scheiterte (54% gegenüber 48%). Die Annahme, dass große, regulierte Organisationen den Menschen am längsten im Prozess halten, ist in dieser Stichprobe umgekehrt. Diese Zahlen sind richtungsweisend und stammen von 57 Befragten aus Unternehmen mit 2.500+ Beschäftigten sowie 100 aus kleineren Organisationen.

Ergebnis 4: Der Bewertungs-Stack ist fragmentiert und anbietergetrieben

Die Befragten wurden gefragt, welche Plattform für Agentenzuverlässigkeit oder -bewertung sie hauptsächlich verwenden. Der Markt hat keinen klaren Marktführer, und ein erheblicher Anteil hat gar kein dediziertes Tool.

Die Bewertungsebene ist früh und noch nicht konsolidiert. Anbieter-native Tools führen: OpenAIs native Evals und Traces (17%) sowie Anthropics Claude Console Evals (13%) überwiegen zusammen jede unabhängige Plattform. Allerdings liegt die anbieter-native Tool-Nutzung an der Spitze gleichauf mit einer bemerkenswerten Antwort — 17% der Unternehmen verwenden überhaupt kein dediziertes Tooling zur Agentenbewertung, eine auffällige Lücke für Organisationen, die Agenten an Kunden ausliefern. Spezialisierte Bewertungsanbieter — DeepEval (12%), Braintrust (8%), LangSmith, Weave, Promptfoo, Langfuse und Arize — verteilen sich über einstellige bis niedrige zweistellige Werte, und 11% haben eigene Lösungen gebaut. Noch ist keine unabhängige Plattform zum Kategoriestandard geworden, sodass die meisten Unternehmen Agenten mit anbieter-nativen Tools, selbst entwickelten Skripten oder gar nichts bewerten. Die Fragmentierung spiegelt teilweise das Tempo im vorgelagerten Bereich wider: Open-Source-Agentenframeworks wie LangChain, AutoGen und CrewAI verbreiteten sich schneller, als Bewertungsstandards entstehen konnten, sodass jedes Ökosystem eigene Vorstellungen von Korrektheit definierte.

Ergebnis 5: Produktionsmonitoring überwacht selten die Qualität der Ausgaben

Produktionsmonitoring für einen KI-Agenten kann zwei grundlegend unterschiedliche Dinge verfolgen. Es kann überwachen, ob das System funktioniert — ob der Agent verfügbar ist und antwortet, ob jede Anfrage abgeschlossen wurde, wie schnell, zu welchen Kosten und mit welchen Fehlern. Oder es kann überwachen, ob die Ausgabe des Agenten korrekt ist — automatisierte Prüfungen, die den Inhalt jeder Antwort beim Ausgehen bewerten: Hat der Agent die richtige Antwort gegeben, die richtige Aktion ausgeführt und die Richtlinien eingehalten?

Diese Unterscheidung ist wichtig, weil eine selbstbewusst falsche Antwort für die erste Art des Monitorings unsichtbar ist. Die Anfrage wird abgeschlossen, die Antwort ist schnell, es wird kein Fehler ausgelöst, und jede Funktionsmetrik zeigt einen gesunden Zustand an.

Nach dem gruppiert, was tatsächlich überwacht wird, ist die Aufteilung deutlich: 51% der Organisationen überwachen nur, ob der Agent funktioniert, während 23% überwachen, ob seine Antworten korrekt sind. Rechnet man Ad-hoc-Prüfer und diejenigen hinzu, die es nicht wissen, führen ungefähr drei Viertel der Organisationen keine automatisierte Echtzeitbewertung der inhaltlichen Korrektheit von Ausgaben in der Produktion durch. Sie können sehen, dass das System läuft und was es kostet, aber sie setzen die Korrektheit seiner Antworten voraus.

Die technische Hürde, diese Lücke zu schließen, ist erheblich: Die Bewertung der Ausgabekorrektheit in Echtzeit erfordert in der Regel ein zweites Modell — oft als LLM-as-judge bezeichnet —, das jede Antwort beim Ausgehen bewertet, eine Technik, deren eigene Zuverlässigkeits- und Konsistenzgrenzen genau die Bedenken widerspiegeln, die Unternehmen in Ergebnis 2 gegenüber automatisierten Bewertungen äußern.

Dieser blinde Fleck ist das Laufzeit-Gegenstück zur Lücke vor der Bereitstellung in Ergebnis 1: Dieselben Organisationen, die den Menschen aus der Bereitstellungsentscheidung herausentwickeln, können weitgehend nicht in Echtzeit erkennen, wann der bereitgestellte Agent beginnt, falsche Antworten zu erzeugen.

Ergebnis 6: Gekauft nach Kosten, gemessen an Konsistenz

Organisationen wurden gefragt, was ihre Wahl eines Bewertungsanbieters am stärksten beeinflusst und was sie als primäre Erfolgskennzahl betrachten. Beide Antworten sind pragmatisch.

Unternehmen kaufen Bewertungstooling auf Basis wirtschaftlicher Kriterien und vertrauen ihm wegen Wiederholbarkeit. Die Kosten von Bewertungen (28%) führen die Auswahlkriterien knapp an, direkt vor einfacher Integration (27%) und Bewertungsgenauigkeit (24%). Breite der Observability (13%) und Anbieter-Roadmap (4%) spielen deutlich geringere Rollen.

Bei der Frage, wie Erfolg aussieht, nennt mehr als ein Drittel (36%) Bewertungskonsistenz — bei demselben Verhalten jedes Mal dasselbe Urteil zu erhalten — deutlich vor Experimentiergeschwindigkeit (19%), Verringerung von Fehlern (18%), Produktionssichtbarkeit (13%) und Compliance (11%). Der Fokus auf Konsistenz ist aufschlussreich: Bevor Unternehmen dem Urteil einer Bewertung vertrauen können, muss es stabil sein — genau jene Eigenschaft, deren Fehlen (Verzerrung und Inkonsistenz) in Ergebnis 2 zu den wichtigsten Vertrauensgrenzen zählte. Die Zufriedenheit mit aktuellem Tooling ist nur moderat und liegt im Durchschnitt bei 3,8 auf einer Fünf-Punkte-Skala über Gesamtzufriedenheit, Implementierungsfreundlichkeit und Preis-Leistungs-Verhältnis hinweg.

Ergebnis 7: Der nächste Dollar fließt in Menschen und Observability

Die Befragten wurden gefragt, welche Investition in Zuverlässigkeit und Bewertung im nächsten Jahr am stärksten wachsen wird. Die Mittel fließen in eine genauere Aufsicht über Agenten — auch durch Menschen.

Die zweitgrößte geplante Investition — nur hinter Produktions-Observability — sind menschliche Prüfworkflows mit 26%. Vor dem Hintergrund von Ergebnis 1 gelesen, ist dies der leiseste Widerspruch des Berichts: Während zwei Drittel der Unternehmen den Menschen aus der Bereitstellungsentscheidung herausentwickeln, planen mehr von ihnen, die Ausgaben für menschliche Prüfer zu erhöhen (26%), als für die automatisierten Bewertungspipelines (16%), die diese ersetzen würden. Der Kurs in Richtung null menschlicher Beteiligung und das Budget für menschliche Prüfung steigen in denselben Unternehmen gleichzeitig. Tatsächlich berichten nur 8%, dass ihr Budget nicht steigt.

Zusammengenommen sichern sich Unternehmen ab: Sie bauen in Richtung Autonomie, investieren zugleich in eine engere Beobachtung von Agenten und halten Menschen für Entscheidungen verfügbar, denen automatisierte Bewertungen noch nicht zuverlässig genug gewachsen sind.

Ergebnis 8: Eine Neuordnung des Toolings steht bevor

Organisationen wurden gefragt, ob sie planen, eine neue, zusätzliche oder ersetzende Bewertungsplattform einzuführen, und welche sie in Betracht ziehen. Nur wenige wollen am Status quo festhalten.

Der Bewertungsmarkt ist weit offen. Während 36% keine Änderungspläne haben, beabsichtigt eine klare Mehrheit (64%), innerhalb von zwölf Monaten eine neue, zusätzliche oder ersetzende Plattform einzuführen, und 31% bereits im nächsten Quartal. Die Auswahl der in Betracht gezogenen Optionen zeigt, wo die aktuelle Nutzung am dünnsten ist: Confident AIs DeepEval führt die bewerteten Plattformen an (20%), vor OpenAIs nativen Evals (13%) und Braintrust (9%) — wobei Open-Source-Spezialisten mehr Interesse anziehen, als ihre aktuelle Verbreitung vermuten lässt.

Da viele Unternehmen heute auf anbieter-native Tools oder gar nichts setzen (Ergebnis 4), ist dies weniger eine Abwanderung als eine erste echte Welle der Tool-Einführung — der Moment, in dem die Bewertungsebene beginnt, sich zu konsolidieren. Welche Plattformen in einem Markt Vertrauen gewinnen, in dem fast niemand automatisierten Bewertungen bislang vertraut, bleibt die offene Frage, die diese Reihe weiter verfolgen wird.

Fazit: Eine Bewertungslücke, die durch Autonomie größer und nicht kleiner wird

Organisationen mit 100 oder mehr Beschäftigten gewähren KI-Agenten mehr Unabhängigkeit, als sie ihren Bewertungen zutrauen. Die Hälfte hat bereits einen Agenten ausgeliefert, der seine Bewertungen bestanden hatte und dann bei einem Kunden scheiterte. Fast niemand vertraut automatisierten Bewertungen vollständig, vor allem weil sie nicht mit realen Ergebnissen übereinstimmen. Die meisten überwachen die Produktion auf Verfügbarkeit und Kosten, nicht darauf, ob die Antworten des Agenten korrekt sind. Dennoch erlauben zwei Drittel bereits oder arbeiten aktiv darauf hin, Bereitstellungen in die Produktion allein auf Basis automatisierter Bewertungen vorzunehmen.

Diese Dynamik entfaltet sich, während regulatorische Rahmenwerke beginnen, Erwartungen an KI-Tests zu formalisieren. Der EU AI Act, der im August 2024 in Kraft trat, führt risikobasierte Pflichten ein, darunter Bewertungen vor der Bereitstellung und Post-Market-Monitoring für Hochrisiko-KI-Systeme. Das NIST AI Risk Management Framework, veröffentlicht im Januar 2023, bietet freiwillige Leitlinien zum Messen, Managen und Überwachen von KI-Zuverlässigkeit. Beide Rahmenwerke unterstreichen dasselbe Prinzip, das die Umfragedaten zeigen: Die Fähigkeit, vertrauenswürdige Bewertung nachzuweisen, wird zu einer Anforderung, nicht zu einer Präferenz.

Der Anbietermarkt ist früh und unruhig: Die am häufigsten genutzten primären Bewertungstools sind anbieter-native Evals, gleichauf mit gar keinem dedizierten Tooling, und eine klare Mehrheit plant, innerhalb des Jahres Plattformen einzuführen oder zu wechseln. Der nächste Dollar fließt in Observability und — ausdrücklich — menschliche Prüfung, was darauf hindeutet, dass Unternehmen die Lücke wahrnehmen, selbst während sie an ihr vorbeikonstruieren.

Bei 157 Befragten in einer einzelnen Welle ist dies eine richtungsweisende Lesart, verzerrt in Richtung Mittelstand. Die Richtung ist jedoch klar: Autonomie wird auf Grundlage von Bewertungen gewährt, denen die Menschen, die sie gewähren, noch nicht vertrauen. Die Bewertungslücke ist kein Abdeckungsproblem, das sich allein durch mehr Tests schließen lässt; sie ist ein Problem von Bewertungen, die die Realität widerspiegeln und denen man zutrauen kann, den Zugang zu ihr zu steuern. Die offene Frage für spätere Wellen ist, ob die Absicherung mit der Autonomie Schritt hält — oder ob Fehler aus falscher Sicherheit von Kundenincidents zu Änderungen eskalieren, die sich selbst bereitstellen.

Basierend auf Umfrageantworten von 157 qualifizierten Unternehmensbefragten (100+ Beschäftigte), erhoben in einer einzelnen Welle im Juni 2026. Dies ist eine richtungsweisende Lesart und keine präzise Messung — die Stichprobe ist selbstselektiert, keine Wahrscheinlichkeitsstichprobe, und ist auf den Mittelstand verzerrt. Zu den Befragten gehören unter anderem Produkt- und Programmmanager, Berater und Advisors, Engineering-/IT-Direktoren sowie CIOs/CTOs/CISOs aus Technologie/Software, Einzelhandel/Consumer, Gesundheitswesen/Life Sciences, Fertigung und anderen Branchen.