I modelli AI open-weight hanno un ritardo medio di circa quattro mesi rispetto ai migliori modelli chiusi dal gennaio 2026, secondo l'analisi del 29 maggio di Epoch AI. Un numero crescente di essi gira ormai su hardware che molte persone possiedono già, e due programmi gratuiti—Ollama e LM Studio—gestiscono la configurazione: i modelli piccoli richiedono circa 8GB di VRAM o memoria unificata Mac, e LM Studio può funzionare completamente offline.

I modelli open più grandi, come il Qwen 3.8-Max di Alibaba con 2,4 trilioni di parametri, restano ben oltre l'hardware consumer, e i modelli chiusi hanno vinto 24 dei 31 test nella confronto stesso di Alibaba. Per le attività quotidiane, però, il divario si è ridotto al punto che un chatbot capace può girare interamente su un computer personale—senza l'abbonamento di circa 20 dollari al mese e senza inviare le conversazioni ai server di un'azienda.

"Open-weight" significa che l'azienda pubblica i pesi—i file che contengono tutto ciò che il modello ha appreso—così che chiunque possa scaricarli ed eseguirli. I download di Gemma 4 nella libreria di Ollama vanno da circa 4,6GB a 20GB. Questa guida spiega come scaricare ed eseguire modelli AI direttamente sul proprio computer, che tipo di hardware serve e come iniziare con strumenti gratuiti come Ollama e LM Studio—che l'obiettivo sia risparmiare, mantenere private le conversazioni o sperimentare con modelli personalizzabili.

Perché eseguire un modello AI sulla propria macchina

Un chatbot cloud invia ogni prompt ai server di un'azienda, e un tribunale ha ordinato a OpenAI di conservare i log di ChatGPT, compresi quelli eliminati, come riportato da Decrypt in una rassegna degli strumenti AI orientati alla privacy. Un modello locale mantiene la conversazione sul computer dell'utente, dove nessuno può utilizzarla senza autorizzazione.

La documentazione di LM Studio afferma che l'app "può funzionare interamente offline, basta assicurarsi di scaricare prima alcuni file di modello", e che anche i documenti allegati a una chat possono essere usati interamente offline.

Gli abbonamenti ai chatbot a pagamento costano circa 20 dollari al mese, mentre il software trattato qui è gratuito; il costo si sposta invece sull'hardware che l'utente può già possedere.

Le licenze stabiliscono cosa si può fare con i pesi scaricati. La serie R1 di DeepSeek è sotto licenza MIT, e la sua scheda modello dichiara che i modelli "supportano l'uso commerciale e consentono qualsiasi modifica e opera derivata", mentre Gemma 4 di Google e gpt-oss di OpenAI sono rilasciati sotto Apache 2.0. Eseguire modelli con licenze open source come Apache o MIT significa poterli usare, modificare e fare tutto ciò che si vuole—e accedere a versioni migliorate o modificate più adatte alle proprie esigenze. Chi serve un modello bravo in medicina, per esempio, non deve curarsi di quanto bene programmi. Quel livello di personalizzazione è disponibile solo nei modelli personalizzati.

Cosa può effettivamente eseguire il proprio hardware

I modelli si misurano in parametri—i numeri interni regolati durante l'addestramento—and il download cresce con essi. Il modello deve stare nella memoria video della scheda grafica, nota come VRAM, o nella memoria unificata di un Mac, condivisa da processore e chip grafico.

Come regola generale, almeno 8GB di VRAM sono una base ragionevole, e i modelli compressi a dimensioni minori ci stanno. Gli utenti più esigenti dovrebbero considerare una GPU gaming con 24GB di VRAM o più—sovrappiendo più GPU o acquistando rack AI dedicati o macchine a memoria unificata come il Mac Mini o l'Nvidia DGX Spark.

La quantizzazione riduce un modello archiviando ogni peso con meno bit. La documentazione di Hugging Face la descrive come la rappresentazione di pesi e attivazioni "con tipi di dati a bassa precisione come interi a 8 bit (int8) al posto dei consueti numeri in virgola mobile a 32 bit (float32)", riducendo l'uso di memoria al prezzo di un po' di precisione.

I requisiti di sistema di LM Studio raccomandano 16GB o più di RAM su Mac Apple Silicon con macOS 14 o successivo, sebbene i Mac da 8GB possano gestire modelli più piccoli. Su Windows raccomanda almeno 16GB di RAM e 4GB di VRAM dedicata, con supporto processore AVX2; i Mac basati su Intel non sono supportati.

La libreria di Ollama elenca Gemma 4 26B a 16-19GB e la versione 31B a 19-20GB. Il gpt-oss-20b di OpenAI richiede solo 16GB di memoria, e il gpt-oss-120b gira entro 80GB, secondo OpenAI.

Come configurare Ollama e LM Studio

LM Studio è probabilmente la scelta preferibile per la maggior parte degli utenti perché offre un'interfaccia grafica curata. Ollama, invece, è pensato per sviluppatori e utenti esperti che preferiscono lavorare in un terminale (CLI).

Per LM Studio, scaricare l'installer per il proprio sistema operativo da lmstudio.ai, cercare un modello nell'app, scaricarne i pesi e aprire una chat. L'app cerca su Hugging Face, l'hub pubblico dove vengono pubblicati i modelli open.

Per Ollama, gli utenti macOS e Linux installano con il comando curl -fsSL | sh, e gli utenti Windows eseguono irm | iex in PowerShell—entrambi elencati nella pagina di download di Ollama.

Digitando ollama pull gemma4:e2b si scarica un modello, e ollama run gemma4:e2b apre una chat; /bye esce, secondo il quickstart di Ollama. Il programma apre anche un'API locale su così altre app sulla macchina possono usare il modello.

I nomi di modello che terminano con ":cloud", come gemma4:cloud, sono modelli cloud che girano nel cloud di Ollama e non richiedono download—quindi possono essere ignorati se la privacy è l'obiettivo. Detto questo, sono una seconda opzione ragionevole per chi serve modelli più potenti: le chiamate e i prompt gestiti via API non sono memorizzati sui server del provider e non sono usati per addestrare modelli.

Anche la velocità di generazione può essere migliorata in locale. I drafter Multi-Token Prediction di Google per Gemma 4, disponibili su Ollama sotto Apache 2.0, accelerano la generazione fino a 3x usando il decoding speculativo, in cui un modello piccolo propone diversi token in anticipo e quello grande li verifica insieme. Google ha dichiarato che "se il modello target concorda con la bozza, accetta l'intera sequenza in un singolo forward pass", e il modello target aggiunge un token extra proprio in quello stesso passaggio.

I modelli locali possono inoltre ottenere ricerca web e accesso ai file tramite server MCP—sigla di Model Context Protocol—e LM Studio ha aggiunto il supporto nella versione 0.3.17, secondo la guida di Decrypt.

Dove i modelli locali perdono ancora contro il cloud

La media di quattro mesi descrive i modelli open più capaci, e i più grandi sono oltre l'hardware consumer. Il Qwen3.8-Max di Alibaba ha 2,4 trilioni di parametri totali, con 95 miliardi attivi in ogni momento, rispetto agli 80GB di memoria entro cui gira il gpt-oss-120b.

Quando un modello fuoriesce dalla VRAM nella RAM di sistema, le risposte possono rallentare notevolmente, e finestre di contesto più ampie richiedono più memoria. I modelli piccoli di Gemma 4 offrono una finestra di contesto di 128K token—la quantità di testo che un modello può considerare contemporaneamente—mentre i più grandi offrono 256K. I servizi cloud non richiedono nessuna di queste pianificazioni, e i modelli di frontiera che li alimentano guidano ancora nei test più difficili.

La scelta pratica è quindi un compromesso tra controllo e convenienza: gli strumenti locali mantengono le conversazioni sul computer e consentono di scegliere pesi compatibili o personalizzati, ma gli utenti devono abbinare il modello alla memoria disponibile e accettare che i modelli più capaci possano richiedere servizi cloud o hardware più potente. L'accesso web non è automatico quando un modello è offline; richiede un server MCP o un altro strumento connesso.

Per chi vuole usare l'AI in privato, la rassegna di Decrypt stessa ha raccomandato "xPrivo con un modello locale self-hosted per la stesura quotidiana che non deve lasciare la macchina", e Kagi "quando serve il recupero web e si accetta il compromesso della chiamata API".