In 101 von VentureBeat befragten Unternehmen wird die Infrastruktur, die KI-Agenten mit Geschäftskontext versorgt, schneller bereitgestellt, als sie vertrauenswürdig gemacht werden kann. Retrieval-augmented Generation (RAG) ist zur Standardquelle für Kontext in Enterprise-KI geworden, und provider-native Retrieval-Tools haben die dedizierten Vektordatenbanken, die die Kategorie ursprünglich definierten, stillschweigend überholt. Das Tempo dieser Einführung ist bemerkenswert: RAG wurde 2020 als Forschungstechnik vorgestellt (Lewis et al., damals bei Facebook AI Research) und wurde innerhalb weniger Jahre zum Standardverfahren, mit dem Unternehmen große Sprachmodelle in ihren eigenen Daten verankern. Dennoch hat eine Mehrheit der Unternehmen bereits erlebt, dass ihre KI-Agenten selbstbewusste, aber falsche Antworten liefern, die auf fehlenden oder inkonsistenten Kontext zurückzuführen sind — ein Problem, das mehr Retrieval allein nicht lösen wird.

Diese Ausgabe von VentureBeat Pulse Research untersucht die Enterprise-RAG- und Kontextschicht: was KI-Agenten mit Geschäftskontext versorgt, welche Retrieval-Systeme Organisationen betreiben, wie sie diese auswählen und bewerten, wohin sich die Architektur entwickelt und wie häufig dieser Kontext bereits Fehler verursacht.

Die Kontextlücke

Die zentrale Erkenntnis des Berichts ist das, was VentureBeat als „context gap“ bezeichnet — die Distanz zwischen der Selbstsicherheit, mit der Enterprise-Agenten antworten, und der tatsächlichen Zuverlässigkeit des zugrunde liegenden Kontexts. Eine Mehrheit der Unternehmen (57%) berichtete, dass ihre KI-Agenten in den vergangenen sechs Monaten selbstbewusste, aber falsche Antworten geliefert haben, die auf fehlenden oder inkonsistenten Geschäftskontext zurückgeführt wurden. Mehr als die Hälfte dieser Befragten sagte, dies sei mehr als einmal vorgekommen. Nur 28% meldeten keinen solchen Fehler.

Das ist kein Randproblem. Retrieval ist für 38% der Unternehmen die wichtigste Kontextquelle — mehr als jeder andere Ansatz. Das bedeutet: Wenn Retrieval dünn oder inkonsistent ist, tragen die daraus entstehenden Fehler die wahrgenommene Autorität des Agenten. Die Infrastruktur, die dieses Problem adressieren soll, befindet sich in aktiver Entwicklung: 58% der Unternehmen betreiben bereits eine gesteuerte semantische Schicht oder bauen eine solche auf, auch wenn sie bei den meisten noch nicht in Produktion ist.

Unter diesen Befunden konsolidiert sich der Markt in eine unerwartete Richtung. Provider-natives Retrieval — OpenAIs file search (40%) und Googles Vertex AI Search (38%) — führt in der produktiven Nutzung bereits vor jeder dedizierten Vektordatenbank. Unternehmen erwarten, dass hybrides Retrieval bis Ende 2026 dominieren wird (34%). Dennoch sagt eine relative Mehrheit (36%), sie wolle eigenständige Best-of-Breed-Tools beibehalten, statt auf den nativen Kontext-Stack eines einzelnen Providers zu konsolidieren, und eine Mehrheit (57%) plant, innerhalb von zwölf Monaten einen Provider zu wechseln oder hinzuzufügen. Geäußerte Präferenz und tatsächliche Nutzung entwickeln sich auseinander: Organisationen kaufen provider-natives Retrieval, bestehen aber darauf, Unabhängigkeit zu wollen.

Methodik

VentureBeat führte diese Umfrage als Teil seiner laufenden Pulse-Research-Reihe durch, mit Fokus auf Enterprise-RAG-Infrastruktur und die Kontextschicht — Retrieval-Systeme, semantische Schichten und Kontextquellen, die KI-Agenten speisen. Die Antworten wurden auf Organisationen mit mehr als 100 Beschäftigten gefiltert (n=101). Die Umfrage erhielt keine Antworten von Organisationen mit 100 oder weniger Beschäftigten, sodass die gesamte Stichprobe qualifiziert ist. Alle Antworten stammen aus einer einzelnen Welle im Q2 2026 (Juni), wodurch der Bericht eine Querschnittsaufnahme darstellt und keine Trends von Monat zu Monat ableitet. Mehrere Fragen erlaubten Mehrfachauswahl, sodass sich Anteile auf mehr als 100% summieren können.

Nach Unternehmensgröße konzentriert sich die Stichprobe auf den Mid-Market: 251–1.000 Beschäftigte (31%) und 101–250 (31%) führen, gefolgt von 1.001–5.000 (20%), 5.001–10.000 (12%) und 10.001+ (7%). Nach Rolle umfasst sie Manager (39%), einzelne Fachkräfte (27%), die C-Suite (16%) sowie VPs und Directors (14%). Bei der Kaufbefugnis ist die Stichprobe käuferrelevant: 46% sind finale Entscheider und weitere 26% sind Empfehlungsgeber oder Einflussnehmer. Technology/Software ist mit 20% die größte vertretene Branche, gefolgt von Healthcare/Life Sciences (11%), mit einer breiten Verteilung über Einzelhandel, Transport, Finanzdienstleistungen, Fertigung und Bildung.

Mit 101 Befragten ist die Stichprobe überschaubar und sollte als richtungsweisendes Signal statt als präzise Messung gelesen werden. Sie ist selbstselektiert, keine Wahrscheinlichkeitsstichprobe, und spiegelt Organisationen wider, die aktiv RAG- und Kontextinfrastruktur aufbauen, nicht unbedingt die größten Betreiber.

Erkenntnis 1: Selbstbewusst und falsch — Agentenfehler durch schlechten Kontext

VentureBeat fragte, ob Unternehmen in den vergangenen sechs Monaten eine selbstbewusste, aber falsche Antwort eines Agenten auf fehlenden oder inkonsistenten Geschäftskontext zurückgeführt hatten. Eine Mehrheit hatte dies getan.

Das ist die prägende Zahl des Berichts. Eine Mehrheit der Unternehmen (57%) hatte bereits einen KI-Agenten, der eine selbstbewusste, falsche Antwort lieferte, die auf schlechten Kontext zurückgeführt wurde — darunter falsche Kennzahlen, veraltete Definitionen oder fehlende Dokumente — und mehr als die Hälfte dieser Gruppe hat dies mehr als einmal erlebt. Nur 28% berichten von keinem solchen Fehler, und ein kleiner Rest betreibt entweder keine Agenten auf Unternehmensdaten oder verfolgt die Ursache nicht genau genug, um es zu wissen.

Der Fehlermodus ist spezifisch und gefährlich: Das Modell halluziniert nicht offensichtlich. Es liegt selbstbewusst falsch, weil der Kontext, der es speist, dünn oder inkonsistent war. Diese Unterscheidung ist für Unternehmensrisiken wichtig: Halluzination — ein Modell erfindet etwas ohne Grundlage in abgerufenen Daten — ist zunehmend durch Guardrails und Ausgabevalidierung erkennbar. Eine selbstbewusst angegebene falsche Kennzahl aus einem veralteten Dokument ist jedoch schwerer zu erkennen, weil die Antwort eine plausible Quelle hat. Jede weitere Erkenntnis des Berichts — was Unternehmen abrufen, wie sie es steuern und was sie aufzubauen planen — folgt aus diesem Problem.

Erkenntnis 2: RAG ist die Standardquelle für Kontext

Retrieval speist mehr Agenten als jede andere Methode. Für 38% der Organisationen ist RAG über Dokumente oder einen Vektorindex der wichtigste Weg, wie Agenten das Geschäft verstehen — fast doppelt so viel wie der nächsthäufige Ansatz, eine gesteuerte semantische Schicht oder Ontologie (21%). Gemischte Ansätze machen 14% aus, direkte Abfragen von Live-Systemen 10% und Long-Context-Loading 6%. Nur 2% lassen Agenten allein auf dem allgemeinen Wissen des Modells laufen.

Diese Konzentration ist im Licht von Erkenntnis 1 wichtig: Weil so viel Unternehmenskontext durch Retrieval fließt, bestimmt die Qualität dieses Retrievals die Qualität der Antwort. Wenn RAG die Standardquelle ist, ist dünnes Retrieval kein Randfall — es ist die zentrale Fehlerfläche.

Ein Ansatz fehlt auffällig: die Anpassung von Modellgewichten, also Fine-Tuning. Jede führende Quelle für Geschäftskontext in der Umfrage wird zur Laufzeit injiziert. VentureBeats jüngste direkte Messung von Fine-Tuning stammt aus der Umfragewelle April–Mai (eine separate Umfrage, n=136), in der Fine-Tuning-Fähigkeiten bei der Modellauswahl mit 5% den letzten Platz unter sechs Faktoren belegten — obwohl 26% dieser Stichprobe Fine-Tuning und Anpassung weiterhin als Investition nannten, deren Wachstum sie erwarten. Fine-Tuning ist aus der primären Auswahl-Diskussion herausgefallen; Kontextinjektion ist der Weg, auf dem Unternehmen Agenten Wissen über ihr Geschäft vermitteln.

Erkenntnis 3: Provider-natives Retrieval führt bereits vor den Vektordatenbanken

Die dedizierte Vektordatenbank ist nicht länger das Zentrum des RAG-Stacks. OpenAIs file search (40%) und Googles Vertex AI Search (38%) führen in der produktiven Nutzung — provider-natives und hyperscaler-natives Retrieval — vor jeder zweckgebauten Vektordatenbank. Unter den Spezialisten werden am häufigsten Tools genutzt, die Unternehmen aus anderen Gründen bereits betreiben (Elasticsearch/OpenSearch, 20%), sowie die offene, eingebettete Option (pgvector, 12%). Die reinen Vektordatenbanken, die die Kategorie definieren — Weaviate, Qdrant, Pinecone und Milvus — liegen jeweils im einstelligen bis niedrigen zweistelligen Bereich. Bemerkenswert ist, dass 13% der Unternehmen sagen, sie betrieben noch überhaupt kein produktives RAG.

Das ist eine bedeutende Verschiebung für eine Kategorie, die 2022–2023 erhebliche Venture-Investitionen angezogen hat. Unternehmen wie Pinecone, Weaviate und Qdrant sammelten Finanzierungsrunden auf der These ein, dass zweckgebaute Vektorinfrastruktur grundlegend für Enterprise-KI sein werde. Die Umfragedaten deuten darauf hin, dass Modellanbieter und Hyperscaler die Retrieval-Schicht erobern, indem sie sie in dieselben APIs bündeln, die Unternehmen bereits für Inferenz nutzen — dasselbe Plattformdynamik-Muster, das Märkte von Monitoring bis CI/CD verändert hat.

Wie bei den Plattformen in VentureBeats paralleler Infrastrukturwelle tendieren Unternehmen zu Retrieval, das mit Tools gebündelt ist, die sie bereits kaufen.

Diese Erkenntnis zeigte sich in beiden Q2-Wellen. Im April–Mai (n=161) führte ebenfalls provider-gebautes Retrieval bei der Nutzung, während jede dedizierte Vektordatenbank marginal blieb — die meistgenutzte eigenständige Vektordatenbank erreichte in dieser Stichprobe maximal 8%. Die hybride, pluralistische Zukunft war auch damals bereits Konsenserwartung (34% erwarteten, dass hybrides Retrieval dominieren wird, weitere 29% erwarteten mehrere Architekturen je nach Anwendungsfall). Zwei Wellen zeichnen ein konsistentes Bild: Die Kategorie, die den Begriff „Vektordatenbank“ geprägt hat, wird von den Plattformen absorbiert, bei denen Unternehmen ohnehin einkaufen.

Erkenntnis 4: Unternehmen sagen, sie wollen Best-of-Breed behalten

Auch wenn provider-natives Retrieval in der Praxis führt, sagt eine relative Mehrheit der Unternehmen (36%), sie wolle eigenständige Best-of-Breed-Tools beibehalten, statt auf den nativen Kontext-Stack eines Providers zu konsolidieren — deutlich vor den 21%, die eine Konsolidierung planen. Weitere 21% erwarten eine Mischung, und 9% wollen die Schicht selbst bauen und besitzen.

Die Lücke zwischen dem, was Unternehmen betreiben, und dem, was sie nach eigener Aussage wollen, ist die strategische Frage der Kategorie: Sie übernehmen gebündeltes Retrieval aus Bequemlichkeit, behaupten aber zugleich, ihre Unabhängigkeit bewahren zu wollen. Welcher Impuls sich durchsetzt — die Anziehungskraft des Provider-Bundles oder die geäußerte Präferenz für modulare Kontrolle — wird den Retrieval-Markt stärker prägen als jedes einzelne Tool.

Erkenntnis 5: Hybrides Retrieval ist die Konsenswette

Ein Drittel der Unternehmen (34%) erwartet, dass hybrides Retrieval — Embeddings kombiniert mit Reranking und Zugriffskontrollen — ihre Produktionssysteme bis Ende 2026 dominieren wird, dreimal so viel wie die 11%, die erwarten, dass reines Vektor-Retrieval sich durchsetzt. Der reine Vektorsuchansatz, mit dem die Kategorie startete, wird für sich genommen bereits als unzureichend betrachtet und durch Pipelines abgelöst, die Reranking für Genauigkeit und Zugriffskontrollen für Governance hinzufügen — genau jene Zugriffskontrollen, deren Fehlen die in Erkenntnis 1 beschriebenen Fehler verursacht.

Die zweitgrößte Antwort ist Unsicherheit: 17% der Befragten wissen nicht, welche Architektur dominieren wird, und weitere 14% erwarten, ganz über eine dedizierte Vektorschicht hinauszugehen — hin zu tool-first oder Long-Context-Retrieval. Der Konsens ist kein einzelnes Tool, sondern eine geschichtete Pipeline, und sie ist noch nicht vollständig ausgereift.

Erkenntnis 6: Die gesteuerte Kontextschicht wird jetzt aufgebaut

Deutlich mehr als die Hälfte der Unternehmen (58%) betreibt entweder eine gesteuerte semantische Schicht in Produktion (25%) oder pilotiert und baut eine solche auf (34%). Weitere 17% evaluieren den Ansatz aktiv, was bedeutet, dass drei Viertel in irgendeiner Form mit dem Konzept befasst sind.

Das Konzept der semantischen Schicht hat Vorläufer in Business Intelligence, wo Plattformen wie dbt, Looker und Tableau seit langem gesteuerte, wiederverwendbare Definitionen von Geschäftskennzahlen bereitstellen, um sicherzustellen, dass Dashboards und Berichte in einer Organisation auf dieselben Zahlen verweisen. Neu ist hier, dieselbe disziplinierte Definitionsebene auf die Eingaben auszuweiten, die KI-Agenten speisen — damit, wenn ein Agent Umsatz oder Kundenstatus nennt, die zugrunde liegende Definition konsistent, aktuell und zugriffskontrolliert ist, statt aus dem Dokument zu stammen, das die Retrieval-Pipeline zuerst hervorgebracht hat.

Die Verteilung ist jedoch aufschlussreich: Mehr Organisationen bauen, als bereits ausgeliefert haben. Für die meisten Unternehmen bleibt die gemeinsame, gesteuerte Definitionsebene, die die „selbstbewusst, aber falsch“-Fehler aus Erkenntnis 1 verhindern würde, in Arbeit. Die semantische Schicht ist die Antwort der Branche auf inkonsistenten Kontext, und diese Umfrage erfasst sie mitten im Aufbau, mit Ambitionen deutlich vor der Produktion.

Erkenntnis 7: Gekauft wegen Ingestion und Einfachheit, überwacht auf Korrektheit

Unternehmen wählen Retrieval-Systeme nach Bedienbarkeit und Betriebseignung aus. Einfache Datenaufnahme (36%), Latenz und Performance (32%) sowie betriebliche Einfachheit (29%) führen die Auswahlkriterien an — vor Retrieval-Genauigkeit und Zugriffskontrolle (je 23%), den beiden Faktoren, die am direktesten mit den Fehlern aus Erkenntnis 1 verbunden sind.

Sobald Systeme laufen, verschiebt sich der Schwerpunkt in Richtung Vertrauen. Die am häufigsten verfolgten Kennzahlen sind Antwortkorrektheit (42%) sowie Sicherheit und Zugriffskontrolle (38%), vor Latenz (28%), Betriebsstabilität (27%) und Antwortrelevanz (23%).

Diese Trennung zwischen Kaufkriterien und Monitoring-Kriterien spiegelt ein breiteres Muster bei der Einführung von Enterprise-KI wider: Organisationen priorisieren bei der Beschaffung die Geschwindigkeit der Integration und stellen anschließend fest, dass Korrektheit und Governance — die schwieriger und langsamer messbaren Eigenschaften — zu den Kennzahlen werden, die bestimmen, ob Agenten in Produktion vertrauenswürdig sind. Die Lücke wird dadurch verschärft, dass Retrieval-Genauigkeit und Zugriffskontrolle, die beiden Dimensionen mit dem direktesten Bezug zu den selbstbewusst-falschen Fehlern, unter den Auswahlkriterien am niedrigsten rangieren.

Die Zufriedenheit mit aktuellen Systemen ist moderat positiv, aber nicht enthusiastisch. Auf einer Fünf-Punkte-Skala liegt die Gesamtzufriedenheit im Durchschnitt bei 4,0, während einfache Implementierung und Preis-Leistungs-Verhältnis jeweils nahe 3,9 liegen. Unternehmen kaufen danach, wie leicht ein System läuft, und überwachen danach, ob man ihm vertrauen kann.

Erkenntnis 8: Eine Neuordnung im Retrieval steht bevor

Während 43% der Unternehmen keine Pläne haben, Retrieval-Provider zu wechseln, beabsichtigt eine knappe Mehrheit (57%), innerhalb von zwölf Monaten einen Provider zu wechseln oder hinzuzufügen, und ein Viertel (26%) bereits im nächsten Quartal.

Die Evaluationsliste weicht vom heutigen Stack ab. Provider-natives Retrieval führt weiterhin bei dem, was Unternehmen prüfen (OpenAI 22%, Vertex AI Search 21%), aber Open-Source-Vektorspezialisten schneiden gemessen an ihrer aktuellen Verbreitung überproportional stark ab. Qdrant (14%) und Milvus (13%) ziehen mehr Wechselinteresse auf sich, als ihre derzeitige Nutzung (10% bzw. 6%) erwarten ließe.

Zusammen mit Erkenntnis 4 ergibt sich das Bild eines Marktes im Umbruch: Unternehmen betreiben heute provider-native Tools, evaluieren ein breiteres Feld und sagen, dass sie sich Optionen offenhalten wollen. Die bevorstehende Neuordnung wird testen, ob die Best-of-Breed-Absicht der Bequemlichkeit gebündelter Angebote standhält.

Das Fazit

Organisationen mit mehr als 100 Beschäftigten binden KI-Agenten schneller in ihre Geschäftsabläufe ein, als sie den Kontext garantieren können, auf dem diese Agenten laufen. Retrieval ist die Standardquelle für Enterprise-Kontext, und es stammt zunehmend von Modellanbietern und Hyperscalern statt von dedizierten Vektordatenbanken. Dennoch hat eine Mehrheit der Unternehmen bereits erlebt, dass Agenten selbstbewusst und falsch antworten, weil dieser Kontext dünn oder inkonsistent war. Der Fehler ist nicht exotisch; er ist das vorhersehbare Ergebnis, wenn autoritär klingende Agenten auf eine unzuverlässige Grundlage ausgerichtet werden.

Die von der Branche vorgeschlagene Antwort — eine gesteuerte semantische Schicht kombiniert mit hybridem Retrieval, Reranking und Zugriffskontrollen — wird aufgebaut, ist aber größtenteils noch nicht in Produktion. Unternehmen stehen zwischen der Bequemlichkeit provider-nativer Bundles und einer erklärten Präferenz für Best-of-Breed-Unabhängigkeit.

Mit 101 Befragten in einer einzelnen Q2-Welle ist dies eine richtungsweisende Lesart mit Schwerpunkt auf dem Mid-Market. Aber die Richtung ist klar: Die Kontextschicht ist die nächste umkämpfte Ebene des KI-Stacks, und derzeit laufen Agenten ihr voraus. Die Kontextlücke ist kein Retrieval-Volumenproblem, das mehr Dokumente oder größere Indizes allein lösen werden; sie ist ein Problem gesteuerten, konsistenten und zugriffsbewussten Kontexts. Die offene Frage für spätere Umfragewellen ist, ob Unternehmen diese Schicht fertigstellen, bevor selbstbewusst-falsche Fehler vom Labor in Entscheidungen wandern, die zählen.

Basierend auf Umfrageantworten von 101 qualifizierten Enterprise-Befragten (100+ Beschäftigte) aus einer einzelnen Q2-2026-Welle (Juni). Bei dieser Stichprobengröße sollten die Ergebnisse als richtungsweisendes Signal statt als präzise Messung gelesen werden. Die Stichprobe ist selbstselektiert, keine Wahrscheinlichkeitsstichprobe, und tendiert zum Mid-Market. Zu den Befragten zählen Manager, einzelne Fachkräfte, VPs/Directors und die C-Suite, mit hoher Kaufbefugnis, aus den Bereichen Technologie, Gesundheitswesen, Einzelhandel, Transport, Finanzdienstleistungen, Fertigung und Bildung.