Der Betrieb einer KI-Suchmaschine, die monatlich rund 400 Millionen Anfragen verarbeitet, ist mit erheblichen Kosten verbunden. Perplexity AI hat stillschweigend eine Infrastruktur aufgebaut, um diese Ausgaben zu senken, und Forschung zu eigener Serving-Technologie veröffentlicht – von kompakten Embedding-Modellen bis hin zu einer proprietären Engine, die Trillionen-Parameter-Modelle betreiben kann.

Das Vorhaben spiegelt eine breitere Branchenrealität wider: KI-Suchmaschinen tragen bei jeder Anfrage Rechenkosten, die bei der klassischen Keyword-Suche nicht anfallen. Deshalb ist die Inferenzeffizienz zu einem zentralen Wettbewerbsschlachtfeld für Unternehmen geworden, die darum ringen, KI-Antworten im Consumer-Maßstab wirtschaftlich zu machen.

Kompakte Embedding-Modelle für die Retrieval

Im Zentrum der Retrieval-Verbesserungen von Perplexity steht die Modellfamilie pplx-embed, bestehend aus pplx-embed-v1 und pplx-embed-context-v1. Die Modelle gibt es in zwei Größen: einer Variante mit 0,6 Milliarden Parametern und einer größeren Version mit 4 Milliarden Parametern. Beide wurden im Februar 2026 veröffentlicht.

Mithilfe von Quantisierungstechniken – die die numerische Präzision der Modellgewichte reduzieren, ohne die Genauigkeit zu zerstören – beansprucht Perplexity eine Verringerung des Speicherbedarfs um bis zu 32x. Beide Modelle wurden gezielt für den Einsatz mit geringem Speicherbedarf optimiert – eine Designentscheidung, die den praktischen Realitäten des webskaligen Retrievals entspricht, bei dem jede Anfrage die Suche in riesigen Indizes eingebetteter Dokumente erfordert.

ROSE und benutzerdefinierte Vernetzung

Der ambitioniertere Teil der Infrastruktur ist ROSE, kurz für Runtime-Optimized Serving Engine. Die etwa im Februar 2025 vorgestellte ROSE ist darauf ausgelegt, ein breites Spektrum an Modellarchitekturen zu bedienen, darunter das zunehmend beliebte Mixture-of-Experts-Format (MoE), das vielen der heute größten Sprachmodelle zugrunde liegt. MoE-Architekturen aktivieren pro Anfrage nur einen Bruchteil der Parameter eines Modells, stellen aber hohe Anforderungen an die Kommunikation zwischen GPUs – weshalb die Netzwerkeffizienz ein entscheidender Hebel für eine bezahlbare Bereitstellung ist.

Perplexity ging die MoE-Bereitstellung mit benutzerdefinierten RDMA-Netzwerkoptimierungen an, die eine Bandbreiteneffizienz von bis zu 97,1 % erreichen. RDMA (Remote Direct Memory Access) ermöglicht die Kommunikation zwischen GPUs ohne Umweg über die CPU. Die Engine läuft in AWS-Elastic-Fabric-Adapter-Umgebungen. Im November 2025 veröffentlichte Perplexity sein erstes Paper auf arXiv, in dem diese Optimierungen detailliert beschrieben werden, und machte eine Bibliothek namens fabric-lib als Open Source verfügbar, die benutzerdefinierte MoE-Kernels enthält, die laut Unternehmen Latenzzeiten auf dem neuesten Stand der Technik für das Serving von Trillionen-Parameter-Modellen liefern. Die Entscheidung, die Arbeit als Open Source zu veröffentlichen, reiht Perplexity in einen breiteren Trend von KI-Laboren ein, die Serving-Infrastruktur-Forschung öffentlich zugänglich machen – wie im Fall der Offenlegung der Inferenzoptimierungstechniken von DeepSeek.

Hybride Inferenz und Verarbeitung auf dem Gerät

Im Juni 2026 stellte Perplexity einen hybriden Lokal-Cloud-Inferenz-Orchestrator vor. Das System leitet Aufgaben abhängig von der Komplexität der Anfrage automatisch an Modelle auf dem Gerät, die auf lokaler Hardware laufen, oder an leistungsstärkere cloudbasierte Modelle weiter. Der Orchestrator unterstützt mehrere lokale Siliziumoptionen; wenn bestimmte Anfragen auf dem Gerät bleiben, erreichen sie nie einen Server – die Serving-Kosten entfallen vollständig, während zugleich Latenz- und Datenschutzaspekte adressiert werden.

Position im Inferenz-Wettrüsten

Perplexity betreibt seine Infrastruktur auf NVIDIA-Hardware und unterhält strategische Partnerschaften mit NVIDIA und CoreWeave, dem GPU-Cloud-Anbieter, der für KI-Workloads zur ersten Wahl geworden ist. Bei 400 Millionen monatlichen Anfragen übersetzen sich die Bandbreiteneffizienz von 97,1 % bei ROSE und die 32-fache Speicherreduzierung durch quantisierte Embeddings direkt in Einsparungen bei den Infrastrukturkosten. Zukünftig ist zu beobachten, ob Perplexitys veröffentlichter Serving-Stack und der hybride Orchestrator zu Differenzierungsmerkmalen gegenüber größeren Wettbewerbern werden, die ebenfalls eine eigene Inferenzinfrastruktur aufbauen, und ob die Open-Source-Bibliothek fabric-lib in der breiteren KI-Serving-Community Verbreitung findet.