NVIDIA ha ampliato la sua famiglia Nemotron 3 di modelli di intelligenza artificiale con il rilascio di Nemotron 3.5 Lightning, un modello open Mixture-of-Experts (MoE) da 30 miliardi di parametri progettato specificamente per carichi di lavoro ad alto volume degli agenti AI.

Il nuovo modello è rivolto a una classe in crescita di applicazioni AI che operano in modo continuo, gestendo attività come chiamate a strumenti, elaborazione dati, operazioni software, validazione dei risultati e comunicazione tra diversi sistemi AI. NVIDIA afferma che Nemotron 3.5 Lightning può offrire una velocità di output fino a quattro volte superiore rispetto a modelli comparabili della sua categoria, completando grandi batch di attività agentiche fino al 30% più rapidamente a livelli di accuratezza simili.

L’annuncio aggiunge un ulteriore elemento alla strategia AI in espansione di NVIDIA. L’azienda non si concentra più soltanto sulla fornitura di processori per eseguire sistemi di intelligenza artificiale; sta sviluppando sempre più modelli, software e strumenti progettati per aiutare le aziende a creare e distribuire applicazioni AI su hardware NVIDIA. Questo posiziona NVIDIA non solo rispetto a produttori di chip come AMD e Intel, ma anche rispetto a fornitori di modelli come Meta (Llama), Alibaba (Qwen), Mistral AI e Google (Gemma) nel mercato dell’AI open-weight.

NVIDIA punta alla prossima fase degli agenti AI

L’ultimo modello Nemotron arriva mentre gli agenti AI diventano un focus importante in tutto il settore tecnologico. Gli assistenti AI tradizionali rispondono generalmente a singoli prompt, mentre un agente può scomporre un obiettivo più ampio in più azioni, usare strumenti esterni, recuperare informazioni, eseguire comandi e valutare i risultati prima di procedere. Aziende tra cui OpenAI, Anthropic, Google e Microsoft hanno tutte segnalato che l’AI agentica — sistemi che agiscono con maggiore autonomia — rappresenta una frontiera chiave.

Questi sistemi possono generare un numero molto elevato di chiamate al modello. Un agente AI per la programmazione, ad esempio, può dover ispezionare file, eseguire comandi, rivedere errori, modificare codice ed eseguire test ripetutamente prima di completare un singolo compito. Ogni singolo passaggio potrebbe non richiedere il modello di ragionamento più potente disponibile; al contrario, gli sviluppatori potrebbero preferire un modello più piccolo, capace di svolgere attività ripetitive in modo rapido ed efficiente.

È questo il mercato a cui NVIDIA punta con Nemotron 3.5 Lightning. L’azienda afferma che il modello è ottimizzato per un’esecuzione ad alto volume e bassa latenza, invece di essere usato esclusivamente per i carichi di ragionamento più complessi.

Un modello da 30 miliardi di parametri con 3 miliardi di parametri attivi

Una caratteristica tecnica chiave di Nemotron 3.5 Lightning è la sua architettura Mixture-of-Experts. Sebbene il modello contenga 30 miliardi di parametri totali, NVIDIA afferma che solo circa 3 miliardi di parametri sono attivi durante un determinato forward pass. Questo consente al modello di mantenere la capacità di un sistema sensibilmente più grande, riducendo al contempo la quantità di calcolo richiesta per ogni token. Le architetture MoE hanno preso piede nel settore, con modelli come DeepSeek-V3, Mixtral di Mistral e Grok di xAI che adottano approcci simili per aumentare il numero di parametri senza incrementare in modo proporzionale il compute di inferenza.

In un modello denso tradizionale, sostanzialmente l’intero set di parametri partecipa all’elaborazione di ogni input. Un modello MoE funziona in modo diverso: un sistema di routing determina quali esperti debbano gestire un determinato token o una porzione del compito. Si attivano solo gli esperti selezionati, consentendo al sistema di ridurre il calcolo mantenendo al contempo un ampio pool complessivo di parametri.

NVIDIA afferma che questo design rende Nemotron 3.5 Lightning adatto a carichi di lavoro ad alto volume in cui velocità ed efficienza sono cruciali. Con 30 miliardi di parametri totali e 3 miliardi di parametri attivi, rientra tra i membri più piccoli della più ampia famiglia Nemotron 3, pur mantenendo capacità pensate per workflow agentici sofisticati.

Progettato per l’AI sempre attiva

Il concetto di "always-on AI agents" è centrale nel posizionamento del nuovo modello da parte di NVIDIA. L’azienda sostiene che gli agenti a lunga esecuzione trascorrono gran parte del tempo a svolgere operazioni relativamente di routine piuttosto che ragionamenti complessi. Queste operazioni possono includere chiamate a strumenti, validazione degli output, formattazione delle informazioni, recupero di file e delega di compiti ad altri modelli.

Eseguire un grande modello di ragionamento frontier per ogni singola operazione potrebbe aumentare sia la latenza sia i costi di calcolo. L’approccio di NVIDIA consiste nel dividere il carico di lavoro tra modelli diversi: un modello più grande può occuparsi della pianificazione strategica e del ragionamento complesso, mentre Nemotron 3.5 Lightning può gestire i passaggi ripetitivi di esecuzione. NVIDIA descrive questo approccio come un "system of models" anziché come un singolo modello responsabile di ogni attività.

La velocità è una caratteristica centrale

NVIDIA sta enfatizzando la velocità di inferenza come una delle caratteristiche distintive di Nemotron 3.5 Lightning. L’azienda riporta che su PinchBench il modello ha raggiunto un’accuratezza dell’86% completando 10,000 attività il 30% più velocemente di Qwen3.6 35B a parità di accuratezza. NVIDIA afferma inoltre che Nemotron 3.5 Lightning raggiunge la frontiera di Pareto accuratezza-velocità nell’Artificial Analysis Intelligence Index.

Questi dati sono risultati riportati da NVIDIA e non una conferma indipendente. Tuttavia, l’enfasi sul throughput riflette la direzione del mercato AI. Con l’ingresso dell’AI negli ambienti di produzione, gli sviluppatori si preoccupano sempre più di quanto rapidamente ed efficientemente i modelli possano completare carichi di lavoro reali, non solo delle prestazioni su singole domande di benchmark.

Perché l’efficienza di inferenza è importante

L’addestramento di grandi modelli AI attira molta attenzione a causa delle enormi risorse di calcolo richieste, ma l’inferenza sta diventando una parte altrettanto importante dell’economia dell’AI. Ogni volta che un sistema AI risponde a una richiesta, genera codice, recupera informazioni o completa un’attività automatizzata, consuma risorse di calcolo. Per un agente AI che opera in modo continuo, tali costi possono accumularsi rapidamente.

Un modello che produce risposte più velocemente richiedendo meno parametri attivi può potenzialmente ridurre l’infrastruttura di calcolo necessaria per un determinato carico di lavoro. Questo è particolarmente importante per le aziende che gestiscono un gran numero di agenti.

L’ultimo modello di NVIDIA punta quindi a un problema pratico: come far operare continuamente sistemi AI autonomi senza rendere ogni singolo compito inutilmente costoso.

La personalizzazione è un altro importante vantaggio

NVIDIA posiziona Nemotron 3.5 Lightning anche come modello personalizzabile. L’azienda afferma che gli sviluppatori ricevono pesi, dati di addestramento e ricette del modello sotto una struttura di licenza permissiva OpenMDW-1.1, consentendo di adattare il modello ad applicazioni specifiche.

Questo è importante perché le aziende spesso richiedono sistemi AI in grado di comprendere terminologia specializzata, procedure interne e workflow proprietari. Un modello general-purpose può essere in grado di scrivere codice o rispondere a domande, ma un’azienda che distribuisce un agente AI per un settore specifico può volere un modello addestrato o fine-tuned sui propri processi.

NVIDIA afferma che Nemotron 3.5 Lightning può essere fine-tuned con LoRA o con supervised fine-tuning completo tramite gli strumenti NeMo di NVIDIA. Gli sviluppatori possono inoltre usare reinforcement learning e valutazioni basate sull’ambiente per personalizzare ulteriormente il modello.

L’AI open-weight offre agli sviluppatori più controllo

Il rilascio riflette anche la continua spinta di NVIDIA verso l’AI open-weight. Invece di costringere gli sviluppatori ad accedere a un modello esclusivamente tramite API proprietarie, i modelli open-weight possono offrire maggiore controllo sulla distribuzione.

Le organizzazioni possono potenzialmente eseguire i modelli sulla propria infrastruttura, adattarli a casi d’uso specifici e integrarli nei sistemi AI esistenti. Questo può essere particolarmente importante per le aziende che gestiscono informazioni sensibili.

Alcune organizzazioni potrebbero preferire mantenere i carichi di inferenza all’interno della propria infrastruttura invece di inviare i dati a un servizio AI esterno. Nemotron 3.5 Lightning è progettato per supportare la distribuzione su tutto l’ecosistema hardware di NVIDIA, inclusi sistemi che vanno dalla piattaforma compatta DGX Spark dell’azienda fino a grandi ambienti data center.

Progettato per la distribuzione locale e nei data center

L’architettura relativamente efficiente del modello offre inoltre a NVIDIA l’opportunità di puntare a più mercati rispetto ai tradizionali data center cloud. Secondo la documentazione del modello di NVIDIA, Nemotron 3.5 Lightning può funzionare su un singolo sistema DGX Spark o su una GPU H100 in determinate configurazioni. È inoltre supportato su hardware NVIDIA Blackwell e GPU della generazione Hopper, con ulteriori opzioni di distribuzione disponibili tramite framework di inferenza supportati.

Questa flessibilità potrebbe rendere il modello utile sia per gli sviluppatori che sperimentano agenti autonomi su sistemi locali sia per le aziende che operano ambienti di produzione su larga scala.

La possibilità di eseguire lo stesso modello su diverse configurazioni infrastrutturali può anche semplificare sviluppo e test.

Un’architettura ibrida

Nemotron 3.5 Lightning non si basa esclusivamente su una convenzionale architettura Transformer. NVIDIA lo descrive come un sistema ibrido che combina Mamba-2, layer Mixture-of-Experts e layer di attenzione selezionati.

L’architettura è pensata per bilanciare efficienza computazionale e capacità di elaborare sequenze complesse. I componenti in stile Mamba possono ridurre alcuni requisiti di memoria durante l’elaborazione delle sequenze, mentre i layer MoE consentono al modello di scalare il numero totale di parametri senza attivarli tutti per ogni token. I layer di attenzione restano importanti per i compiti che richiedono relazioni dettagliate tra token.

Combinando questi approcci, NVIDIA cerca di creare un modello in grado di offrire throughput elevato senza sacrificare le capacità richieste dai workflow agentici.

La lunghezza del contesto arriva fino a 1 milione di token

Un’altra specifica rilevante è la capacità di contesto del modello. La documentazione del modello NVIDIA indica il supporto per lunghezze di contesto fino a 1 milione di token.

Una finestra di contesto ampia può essere utile per gli agenti AI che devono elaborare documenti estesi, repository di codice sorgente, log o storici di attività a lunga esecuzione. Un agente che lavora su un grande progetto software, ad esempio, può aver bisogno di accedere a molti file e alle interazioni precedenti. Un contesto più lungo può ridurre la necessità di riassumere o scartare ripetutamente le informazioni.

Tuttavia, una grande finestra di contesto non significa automaticamente che ogni applicazione ne tragga lo stesso beneficio.

Le prestazioni effettive dipendono dal carico di lavoro, dalla configurazione di inferenza e dall’hardware.

Resta comunque una capacità che dimostra l’attenzione di NVIDIA verso sistemi AI progettati per operare su compiti lunghi e complessi.

Source: Xpost

Nemotron 3.5 Lightning si unisce a una famiglia in crescita

L’ultimo rilascio amplia una famiglia Nemotron 3 già più ampia. NVIDIA aveva precedentemente introdotto più modelli progettati per diversi livelli di carico AI, inclusi modelli più piccoli per un’esecuzione efficiente e sistemi più grandi pensati per il ragionamento complesso e le applicazioni multi-agente.

La strategia dell’azienda si basa sempre più sulla specializzazione. Invece di presumere che un solo modello debba gestire ogni compito, NVIDIA sta costruendo una raccolta di modelli con punti di forza diversi.

Nemotron 3.5 Lightning è posizionato verso il lato dell’esecuzione ad alto volume di questo spettro. Potrebbe quindi essere complementare a sistemi di ragionamento più grandi, anziché sostituirli direttamente.

NVIDIA introduce il routing dei modelli con NeMo Switchyard

Accanto al nuovo modello, NVIDIA sta promuovendo NeMo Switchyard, una libreria progettata per instradare i compiti verso modelli diversi.

Il concetto è relativamente semplice. Un sistema può determinare se un determinato compito richiede un potente modello di ragionamento oppure se un modello più piccolo e veloce può completarlo. Ad esempio, una richiesta di pianificazione complessa potrebbe essere inviata a un sistema di ragionamento frontier, mentre i compiti di esecuzione ripetitivi potrebbero essere affidati a Nemotron 3.5 Lightning.

NVIDIA afferma che Switchyard consente agli sviluppatori di esporre Lightning insieme a modelli open e closed e di instradare le singole richieste in base ai loro requisiti.

Se questo approccio di routing dei modelli diventasse diffuso, le applicazioni AI potrebbero operare sempre più come reti di modelli specializzati.

L’economia degli agenti AI

L’economia degli agenti AI potrebbe diventare una delle questioni più importanti della prossima fase del settore. Un chatbot può rispondere a un utente una sola volta. Un agente autonomo può eseguire centinaia o migliaia di operazioni per completare un singolo obiettivo.

Ciò significa che il costo di ogni singola operazione conta. Se uno sviluppatore può usare un modello più piccolo per l’esecuzione di routine e riservare i costosi modelli di ragionamento alle decisioni difficili, il costo totale di un sistema AI potrebbe potenzialmente diminuire.

NVIDIA sta scommettendo che questa divisione del lavoro diventerà un’architettura standard per i sistemi agentici su larga scala. Nemotron 3.5 Lightning è progettato proprio per quel ruolo.

Il coding è un caso d’uso importante

Lo sviluppo software è una delle aree in cui gli agenti AI stanno già diventando sempre più attivi.

Gli agenti per il coding possono ispezionare repository, scrivere programmi, eseguire test, identificare errori e apportare correzioni. Questi workflow comportano interazioni ripetute con strumenti.

Un modello ottimizzato per l’esecuzione rapida può quindi avere un impatto diretto sulla velocità di un coding agent.

La documentazione di NVIDIA elenca il coding e i carichi agentici tra le applicazioni previste del modello, inclusi scenari di sviluppo software e uso di strumenti.

L’azienda afferma inoltre che il modello è stato addestrato con dati relativi a coding, tool calling, output strutturati e workflow multi-step.

Questo focus distingue il modello da sistemi progettati principalmente per applicazioni conversazionali tradizionali.

Le applicazioni enterprise potrebbero essere significative

Le aziende sono probabilmente un altro grande obiettivo per Nemotron 3.5 Lightning.

Le imprese stanno sperimentando agenti AI per supporto clienti, ricerca interna, elaborazione documentale, operazioni IT, sviluppo software e automazione dei workflow.

Molte di queste applicazioni prevedono passaggi ripetitivi. Un agente del servizio clienti può recuperare informazioni sull’account, validare una richiesta e aggiornare i record. Un agente interno di ricerca può raccogliere documenti, organizzare le informazioni e passare i risultati a un altro modello. Un agente IT può eseguire comandi e verificare se la modifica richiesta è stata eseguita con successo.

Questi compiti non richiedono sempre il ragionamento più profondo possibile. Richiedono però affidabilità e velocità.

È qui che NVIDIA ritiene possa inserirsi un modello come Nemotron 3.5 Lightning.

La strategia AI più ampia di NVIDIA

Il lancio dimostra come l’attività AI di NVIDIA stia andando oltre le GPU.

L’azienda resta uno dei fornitori più importanti al mondo di hardware per il calcolo accelerato. Tuttavia, la sua strategia include sempre più anche i livelli software e modello costruiti sopra quell’hardware.

Rilasciando modelli open e strumenti di sviluppo, NVIDIA può incoraggiare gli sviluppatori a creare sistemi AI che alla fine funzionino sulla propria infrastruttura.

Quanto più i suoi modelli e software vengono adottati, tanto più forte diventa l’ecosistema potenziale attorno alle sue piattaforme di calcolo.

Nemotron fa quindi parte di uno sforzo più ampio per affermare NVIDIA come piattaforma AI full-stack.

La concorrenza nei modelli AI open si sta intensificando

NVIDIA entra in un mercato dei modelli open altamente competitivo.

Gli sviluppatori hanno accesso a modelli di numerose aziende tecnologiche e organizzazioni di ricerca.

La competizione non riguarda più soltanto il numero di parametri. Gli sviluppatori valutano sempre più i modelli in base a velocità di inferenza, accuratezza, lunghezza del contesto, licenze, personalizzazione, requisiti hardware e capacità di usare strumenti.

Un modello leggermente meno capace ma sensibilmente più veloce può essere più utile per un agente AI in produzione.

È esattamente questo il mercato a cui Nemotron 3.5 Lightning si rivolge.

Il suo valore dipenderà in ultima analisi dal fatto che gli sviluppatori trovino attraenti le sue prestazioni e capacità di personalizzazione rispetto ai modelli open concorrenti.

Cosa rende diverso il modello Lightning?

La distinzione più importante è il carico di lavoro previsto.

Nemotron 3.5 Lightning non viene posizionato come il singolo modello che dovrebbe eseguire ogni compito AI.

NVIDIA lo vede invece come un cavallo da lavoro efficiente.

Il modello può eseguire operazioni di routine ad alto volume mentre modelli di ragionamento più grandi si concentrano sulle decisioni strategiche.

Questo ricorda il modo in cui i sistemi software tradizionali distribuiscono i carichi di lavoro tra componenti specializzati.

La differenza è che ora i modelli AI possono dividere dinamicamente i compiti in base alla complessità.

Questo potrebbe rendere i sistemi AI più efficienti man mano che scalano.

Le affermazioni sulle prestazioni di NVIDIA richiedono una valutazione indipendente

Le affermazioni di NVIDIA su una generazione di token fino a quattro volte più veloce e su un completamento del 30% più rapido sono importanti, ma vanno considerate nel loro contesto.

I risultati dei benchmark possono variare in base a hardware, configurazione software, batch size, lunghezza della sequenza e modelli concorrenti.

NVIDIA afferma che Nemotron 3.5 Lightning raggiunge la frontiera di Pareto accuratezza-velocità nell’Artificial Analysis Intelligence Index e riporta un risultato dell’86% su PinchBench con completamento più rapido di 10,000 attività rispetto a un modello concorrente citato.

Sarà l’adozione da parte di sviluppatori e ricercatori indipendenti a fornire in ultima analisi un quadro più ampio, man mano che il modello viene distribuito su carichi di lavoro diversi.

Il rilascio dei pesi e della documentazione del modello dovrebbe rendere questi test più semplici.

L’ecosistema dei modelli open potrebbe beneficiarne

I rilasci open-weight consentono a ricercatori e sviluppatori di esaminare le prestazioni dei modelli al di fuori delle dimostrazioni controllate dal fornitore.

Questo può portare a più confronti, esperimenti di fine-tuning e applicazioni specializzate.

Il rilascio di NVIDIA include pesi del modello e risorse aggiuntive pensate per supportare la personalizzazione.

L’azienda fornisce anche percorsi di integrazione per framework di inferenza e piattaforme hardware.

Questo potrebbe accelerare l’adozione tra gli sviluppatori che vogliono sperimentare sistemi agentici senza costruire un modello da zero.

Cosa significa per gli investitori NVIDIA

Per gli investitori che osservano il titolo NVDA, il lancio di Nemotron 3.5 Lightning difficilmente avrà la stessa importanza finanziaria immediata di un grande annuncio di prodotto GPU.

Tuttavia, evidenzia un importante trend strategico.

NVIDIA sta cercando di rendere il proprio stack tecnologico sempre più centrale per lo sviluppo AI.

Se gli sviluppatori usano insieme modelli NVIDIA, librerie di ottimizzazione e hardware dell’azienda, NVIDIA può beneficiare di più livelli dell’ecosistema AI.

Il modello in sé potrebbe non essere la principale fonte di ricavi.

Il suo valore strategico potrebbe invece derivare dal rafforzamento della posizione di NVIDIA come piattaforma su cui le applicazioni AI vengono sviluppate e distribuite.

La prossima fase dell’AI potrebbe riguardare l’efficienza

La prima fase dell’AI generativa è stata dominata dalla scala dei modelli.

Le aziende hanno competuto per costruire sistemi sempre più grandi con maggiori capacità di ragionamento.

La prossima fase potrebbe concentrarsi maggiormente sull’efficienza.

Le aziende hanno bisogno di AI che possa operare continuamente.

Hanno bisogno di costi prevedibili.

Hanno bisogno di risposte rapide.

Hanno bisogno di sistemi che si integrino con strumenti software e dati interni.

E hanno bisogno di modelli che possano essere adattati a compiti specializzati.

Nemotron 3.5 Lightning riflette questo cambiamento.

La sua architettura da 30 miliardi di parametri, il design con 3 miliardi di parametri attivi e il focus sull’esecuzione agentica ad alto volume sono tutti orientati a rendere l’AI pratica su larga scala.

Coin Bureau e la conversazione AI più ampia

Il rilascio ha attirato attenzione anche tra le community social focalizzate su tecnologia e criptovalute, compresa la discussione associata all’account Coin Bureau.

Tuttavia, le informazioni tecniche principali di questo report provengono dall’annuncio di NVIDIA e dalla documentazione del modello. Non ho potuto verificare in modo indipendente un post specifico di Coin Bureau che confermasse le affermazioni sulle prestazioni, quindi tali affermazioni sono attribuite a NVIDIA e non presentate come verificate indipendentemente da Coin Bureau.

Questa distinzione è importante, poiché le aziende AI pubblicano sempre più spesso numeri sulle prestazioni che possono variare in base alle condizioni di test.

Cosa succede dopo per Nemotron

Il test più importante per Nemotron 3.5 Lightning sarà l’adozione nel mondo reale.

Gli sviluppatori determineranno con quale facilità il modello può essere integrato nei framework agentici esistenti.

Le aziende ne valuteranno affidabilità e capacità di personalizzazione.

I ricercatori confronteranno le sue prestazioni con altri modelli open-weight.

E i fornitori di infrastrutture determineranno con quanta efficienza possa operare su scala diversa.

Se gli sviluppatori constateranno che il modello può gestire in modo affidabile un gran numero di attività agentiche di routine mantenendo una forte accuratezza, NVIDIA potrebbe avere un nuovo componente potente per l’emergente economia degli agenti.

Il quadro più ampio

Il rilascio di Nemotron 3.5 Lightning riflette una trasformazione più ampia nell’intelligenza artificiale.

L’AI si sta spostando da sistemi che rispondono semplicemente a domande a sistemi che svolgono lavoro.

Questa transizione richiede modelli capaci di operare continuamente, interagire con strumenti software e gestire un gran numero di azioni individuali.

Il modello di ragionamento più potente non è sempre la scelta migliore per questi compiti.

A volte contano di più velocità, efficienza e personalizzazione.

NVIDIA sta posizionando Nemotron 3.5 Lightning attorno a questa idea.

Il modello combina un ampio pool totale di parametri con attivazione sparsa, un’architettura ibrida, supporto per contesti lunghi e strumenti di personalizzazione.

Il suo scopo non è necessariamente sostituire i modelli AI più grandi.

È invece progettato per lavorare al loro fianco.

In sintesi

NVIDIA ha ampliato la sua famiglia Nemotron 3 con Nemotron 3.5 Lightning, un modello open Mixture-of-Experts da 30 miliardi di parametri con circa 3 miliardi di parametri attivi.

Il modello è progettato specificamente per l’esecuzione ad alto volume in agenti AI always-on, incluse chiamate a strumenti, workflow di coding, validazione dei risultati e altre attività ripetitive.

NVIDIA afferma che Nemotron 3.5 Lightning può raggiungere una velocità di output fino a quattro volte superiore rispetto a modelli comparabili e completare 10,000 attività agentiche il 30% più velocemente di un modello concorrente citato a parità di accuratezza. Questi dati restano affermazioni di prestazioni riportate dal fornitore e dovrebbero essere valutati in modo indipendente su hardware e carichi di lavoro diversi.

Il modello supporta anche la personalizzazione, con NVIDIA che rilascia pesi e risorse di addestramento che gli sviluppatori possono usare per fine-tuning e reinforcement learning.

La sua architettura combina componenti Mamba-2, MoE e attenzione, mentre il modello supporta lunghezze di contesto fino a 1 milione di token.

Il significato più ampio del lancio potrebbe essere il suo focus sull’efficienza.

Man mano che gli agenti AI diventano più autonomi, si prevede che svolgano migliaia di operazioni individuali. Eseguire il modello di ragionamento più grande per ogni passaggio potrebbe essere inutilmente costoso e lento.

La soluzione proposta da NVIDIA è dividere il lavoro.

I grandi modelli di ragionamento possono occuparsi della pianificazione complessa, mentre modelli specializzati più piccoli come Nemotron 3.5 Lightning eseguono rapidamente i compiti di routine.

Questa strategia di routing dei modelli, supportata da NeMo Switchyard, potrebbe diventare una parte importante dell’architettura AI enterprise.