Gestire un motore di ricerca AI che elabora circa 400 milioni di query al mese comporta costi significativi. Perplexity AI ha costruito in silenzio un'infrastruttura per ridurre queste spese, pubblicando ricerche su tecnologie di serving personalizzate che spaziano dai modelli di embedding compatti a un motore proprietario capace di eseguire modelli da mille miliardi di parametri.

L'iniziativa riflette una realtà più ampia del settore: i motori di ricerca AI sostengono un costo di calcolo per ogni query che la ricerca tradizionale basata su parole chiave non comporta, motivo per cui l'efficienza di inferenza è diventata un campo di battaglia centrale per le aziende che gareggiano nel rendere le risposte AI economicamente sostenibili su scala consumer.

Modelli di embedding compatti per il retrieval

Al centro dei miglioramenti di retrieval di Perplexity vi è la famiglia di modelli pplx-embed, composta da pplx-embed-v1 e pplx-embed-context-v1. I modelli sono disponibili in due dimensioni: una variante da 0,6 miliardi di parametri e una versione più grande da 4 miliardi. Entrambi sono stati rilasciati a febbraio 2026.

Utilizzando tecniche di quantizzazione — che riducono la precisione numerica dei pesi del modello senza comprometterne l'accuratezza — Perplexity dichiara riduzioni delle esigenze di archiviazione fino a 32 volte. Entrambi i modelli sono stati ottimizzati specificamente per il deployment a basso storage, una scelta progettuale che riflette le realtà pratiche del retrieval su scala web, dove ogni query richiede la ricerca in vasti indici di documenti incorporati.

ROSE e networking personalizzato

Il componente infrastrutturale più ambizioso è ROSE, acronimo di Runtime-Optimized Serving Engine. Introdotto intorno a febbraio 2025, ROSE è progettato per servire un'ampia gamma di architetture di modelli, incluso il sempre più popolare formato Mixture-of-Experts (MoE) che sta alla base di molti dei più grandi modelli linguistici attuali. Le architetture MoE attivano solo una frazione dei parametri del modello per ogni query, ma impongono pesanti richieste alla comunicazione tra GPU, motivo per cui l'efficienza di rete è una leva fondamentale per servirli a costi contenuti.

Perplexity ha affrontato il serving di modelli MoE con ottimizzazioni di rete RDMA personalizzate che raggiungono un'efficienza di banda fino al 97,1%. RDMA, o Remote Direct Memory Access, consente alle GPU di comunicare senza passare attraverso la CPU. Il motore opera in ambienti AWS Elastic Fabric Adapter. A novembre 2025 Perplexity ha pubblicato il suo primo paper su arXiv che descrive nel dettaglio queste ottimizzazioni e ha reso open source una libreria chiamata fabric-lib, contenente kernel MoE personalizzati che, secondo l'azienda, offrono latenze all'avanguardia per il serving di modelli da mille miliardi di parametri. La decisione di rendere open source il lavoro allinea Perplexity a una tendenza più ampia dei laboratori AI che pubblicano pubblicamente le proprie ricerche sulle infrastrutture di serving, come nel caso della divulgazione da parte di DeepSeek delle sue tecniche di ottimizzazione dell'inferenza.

Inferenza ibrida ed elaborazione on-device

A giugno 2026 Perplexity ha presentato un orchestratore di inferenza ibrido locale-cloud. Il sistema instrada automaticamente le attività tra modelli on-device in esecuzione su hardware locale e modelli cloud più potenti, in base alla complessità della query. L'orchestratore supporta diverse opzioni di silicio locale, e mantenere determinate query on-device significa che non toccano mai un server — azzerandone completamente il costo di serving e affrontando al contempo le esigenze di latenza e privacy.

Posizione nella corsa agli armamenti dell'inferenza

Perplexity opera su infrastruttura NVIDIA e mantiene partnership strategiche sia con NVIDIA che con CoreWeave, il provider di cloud GPU diventato un punto di riferimento per i carichi di lavoro AI. Con 400 milioni di query mensili, l'efficienza di banda del 97,1% di ROSE e la riduzione dell'archiviazione di 32 volte ottenuta con gli embedding quantizzati si traducono direttamente in risparmi sui costi infrastrutturali. Da osservare in futuro sarà se lo stack di serving pubblicato da Perplexity e il suo orchestratore ibrido diventeranno elementi distintivi rispetto ai rivali più grandi che costruiscono anch'essi infrastrutture di inferenza proprietarie, e se la libreria open source fabric-lib otterrà adozione nella più ampia comunità di serving AI.