LLM open source per aziende: confronto modelli 2026 (Qwen 3.8, Gemma 4, DeepSeek V4.1, gpt-oss)

Scegliere quale LLM open source installare in un'azienda italiana non è una decisione banale, e nel 2026 è diventata più difficile: escono nuove versioni ogni due o tre mesi. Le variabili sono sempre le stesse: l'hardware disponibile, i casi d'uso prioritari, la lingua (l'italiano resta un banco di prova selettivo), i requisiti di privacy e il budget. Questa guida, aggiornata a novembre 2026, è pensata per chi deve decidere senza avere un team di ricercatori AI alle spalle.

Modelli AI locali: il confronto che conta davvero

Diamo per assodato il perché dell'on-premise — controllo dei dati, GDPR, costi prevedibili nel tempo: se vuoi i dettagli li trovi nella guida ai vantaggi dell'on-premise rispetto al cloud. Qui affrontiamo la domanda successiva, quella su cui si arenano quasi tutti: una volta deciso di installare un LLM in locale, quale modello scegliere?

Cosa è cambiato nel 2026

Fino al 2025 la risposta standard era "Llama 3 o Mistral 7B". Nel 2026 il quadro è cambiato per cinque motivi concreti:

• Licenze semplici quasi ovunque. Qwen 3.5, 3.6 e 3.8 27B, Gemma 4 (passata ad Apache 2.0 ad aprile 2026), gpt-oss e Mistral Small usano Apache 2.0; DeepSeek V4 e V4.1 usano la licenza MIT. Uso commerciale libero, senza limiti di utenti. Le eccezioni da controllare con l'ufficio legale sono Llama (licenza Meta), Mistral Medium 3.5 e Large 4 e il modello di punta di Qwen 3.8, che hanno licenze proprie: il dettaglio è nella guida alle licenze dei modelli AI open.
• Il problema Llama 4 per le aziende europee. La politica d'uso di Llama 4 non concede i diritti sui modelli multimodali alle aziende con sede principale nell'Unione Europea, salvo che le usino come utenti finali di un servizio di terzi. Per una PMI italiana che vuole installarlo in proprio Llama 4 è quindi fuori gioco; i modelli Llama 3.x solo testo restano utilizzabili.
• Mixture-of-Experts ovunque. Modelli come Qwen 3.6 35B-A3B o Gemma 4 26B hanno molti parametri ma ne attivano pochi per ogni parola: qualità da modello grande, velocità da modello piccolo. Attenzione però: tutti i parametri devono comunque stare nella memoria della GPU.
• Lettura di immagini di serie. Qwen 3.5, 3.6 e 3.8, Gemma 4, Mistral Small e Large 4 e DeepSeek V4.1 leggono anche immagini: documenti scansionati, foto di targhette, disegni tecnici, schermate di gestionali. Prima serviva un modello separato.
• Ritmo di rilascio molto rapido. Qwen 3.5 a febbraio, Qwen 3.6 ad aprile, Qwen 3.8 ad agosto; DeepSeek V4 ad aprile, V4.1 a metà ottobre; Mistral Large 4 a fine ottobre. Conviene un'architettura in cui il modello si possa sostituire senza toccare le applicazioni.

I modelli da valutare a novembre 2026

Qwen 3.5, 3.6 e 3.8 (Alibaba) — Apache 2.0

Varianti: Qwen 3.5 (febbraio 2026) copre tutte le taglie, da 0,8 a 397 miliardi di parametri, con versioni intermedie da 4B, 9B, 27B, 35B-A3B e 122B-A10B. Qwen 3.6 (aprile 2026) è uscito in due versioni aperte, il 27B denso e il 35B-A3B Mixture-of-Experts, con contesto nativo di 262mila token, lettura di immagini e video e modalità di ragionamento attiva per impostazione predefinita. Qwen 3.8 (agosto 2026) ha un 27B denso aperto con licenza Apache 2.0: contesto nativo di 262mila token, estendibile a un milione, e lettura di testo, immagini e video. Il modello di punta da 2,4 mila miliardi di parametri ha invece una licenza propria (Qwen3.8-Max License).

Quando sceglierlo: Text-to-SQL, estrazione di dati strutturati, agenti che chiamano strumenti e API, lettura di documenti scansionati. La granularità delle taglie permette di scegliere esattamente il modello che l'hardware regge. Buon supporto multilingue, italiano compreso. Il Qwen 3.8 27B è oggi il riferimento tra i modelli che stanno su una singola GPU da 24GB; il Qwen 3.6 27B resta un'ottima alternativa e ha anche una versione dedicata al codice.

Hardware indicativo: 4B e 9B su GPU da 8GB; 27B su 24GB in quantizzazione a 4 bit; 35B-A3B su 24–32GB; 122B-A10B su una GPU da 80–96GB. Con Ollama: ollama run qwen3.8:27b (18GB a 4 bit).

Gemma 4 (Google DeepMind) — Apache 2.0

Varianti: E2B ed E4B (pensati per dispositivi e PC, contesto 128K token), 12B (giugno 2026), 26B Mixture-of-Experts con circa 4B parametri attivi e 31B denso (contesto 256K token). Tutti leggono testo e immagini.

Quando sceglierlo: è il candidato più equilibrato per un chatbot sui documenti. Il 26B MoE offre risposte rapide su una singola GPU da 24GB; il 31B denso è la scelta per RAG su documenti complessi dove conta la qualità; il 12B è il compromesso migliore per un PC con 16GB. Il contesto lungo aiuta con contratti, capitolati e manuali tecnici.

Hardware indicativo: E4B su un PC recente anche senza GPU dedicata; 12B su 12–16GB; 26B e 31B quantizzati a 4 bit su una GPU da 24GB (es. RTX 4090 o L4 lato server). Con Ollama: ollama run gemma4:31b. Requisiti di memoria e installazione di ogni versione sono nella guida Gemma 4 in locale.

gpt-oss (OpenAI) — Apache 2.0

Varianti: gpt-oss-20b, che secondo OpenAI gira con 16GB di memoria, e gpt-oss-120b, pensato per una singola GPU da 80GB. Solo testo, orientati al ragionamento e all'uso di strumenti.

Quando sceglierlo: agenti e automazioni con passaggi logici multipli, analisi di procedure, supporto tecnico interno. Meno indicato quando servono immagini o documenti scansionati.

Mistral (Mistral AI) — l'alternativa europea

Varianti: Mistral Small 3.2 (24B) resta il modello Mistral che sta su una sola GPU da 24GB. Mistral Small 4 (marzo 2026, Apache 2.0) è invece un Mixture-of-Experts da 119 miliardi di parametri con circa 6 attivi: veloce, ma richiede una GPU da 80–96GB. Mistral Medium 3.5 (aprile 2026) è un modello denso da 128 miliardi con pesi pubblici e una licenza propria, che esclude le aziende con un fatturato mensile oltre 20 milioni di dollari. Mistral Large 4 (fine ottobre 2026) è il più grande modello aperto di Mistral: circa mille miliardi di parametri, di cui circa 50 attivi per ogni parola, contesto da un milione di token e lettura delle immagini. La sua licenza permette l'uso interno, ma per offrirlo come servizio a terzi serve un accordo con Mistral; per l'hardware richiede un server con più GPU professionali.

Quando sceglierlo: assistenti aziendali e chatbot su documenti dove serve un buon equilibrio tra qualità dell'italiano e velocità. Mistral è un'azienda europea: in alcuni settori (PA, sanità, finanza) è un argomento che pesa nella valutazione dei fornitori.

DeepSeek V4 e V4.1 — MIT

Varianti: V4 Flash (284 miliardi di parametri, 13 attivi) e V4 Pro (1,6 mila miliardi, 49 attivi), entrambi con contesto da un milione di token e licenza MIT, usciti ad aprile 2026 e aggiornati durante l'estate. A metà ottobre è arrivato V4.1 Flash, sempre con licenza MIT e contesto da un milione di token, che legge anche le immagini e supera i 500 miliardi di parametri. Sono tra i modelli aperti più capaci in assoluto.

Quando sceglierlo: raramente in una PMI. Anche le versioni Flash, con i pesi già compressi a 4 e 8 bit, richiede oltre 150GB di memoria GPU, quindi un server con più GPU professionali; V4 Pro richiede un cluster. Ha senso per grandi aziende ed enti che vogliono un modello di fascia alta interamente in casa.

DeepSeek in locale è sicuro? Sì, se si usano i pesi aperti sui propri server: il modello non comunica con l'esterno e nessun dato va in Cina. Il discorso è diverso per l'app e l'API di DeepSeek, che elaborano i dati su server cinesi e sono state oggetto di provvedimenti del Garante privacy. Attenzione anche ai nomi: i modelli piccoli chiamati "DeepSeek R1" su Ollama (7B, 8B, 14B, 32B) sono in realtà versioni di Qwen e Llama addestrate sulle risposte di DeepSeek, non il modello originale.

Llama 3.x (Meta) — licenza Llama Community

Ancora valido? Llama 3.1 8B e Llama 3.3 70B (solo testo) restano modelli maturi con un ecosistema enorme di versioni fine-tuned. Ma la licenza non è Apache 2.0, i Llama 4 multimodali non sono disponibili per le aziende con sede nell'UE e i modelli più recenti elencati sopra li superano a parità di hardware. Ha senso soprattutto per chi ha già un progetto in produzione su Llama 3.

Modelli piccoli e modelli italiani

Per compiti strutturati su hardware minimo (classificazione, estrazione di campi, edge computing in produzione) bastano spesso modelli da 2–4 miliardi di parametri come Qwen 3.5 4B, Gemma 4 E4B o Phi-4-mini di Microsoft.

Esistono anche modelli addestrati con una quota importante di testi italiani, come Velvet di Almawave e Minerva dell'Università La Sapienza. Vale la pena includerli nei test quando la naturalezza dell'italiano è il requisito principale, sapendo che sono più piccoli e meno capaci dei modelli internazionali più recenti. Li mettiamo a confronto nella guida LLM in italiano.

Tabella riassuntiva dei modelli open source 2026

Come scegliere: la matrice decisionale

I requisiti indicati si riferiscono a modelli quantizzati a 4 bit, la configurazione più comune in produzione per una PMI. La scelta definitiva va sempre validata con un test sui documenti e sulle domande reali dell'azienda: le classifiche pubbliche misurano altro. Per capire quale modello gira sul tuo hardware c'è il calcolatore: quale LLM gira sulla mia GPU; il quadro dei modelli, delle licenze e dei compiti è nella sezione Modelli AI open source.

Come provarli in locale

Il modo più rapido per confrontare i modelli sui propri documenti è installarli su un PC con Ollama o LM Studio. Con Ollama bastano due comandi per modello:

ollama pull qwen3.8:27b
ollama run qwen3.8:27b "Estrai fornitore, data e importo da questa fattura: ..."

ollama run gemma4:12b
ollama run gpt-oss:20b

LM Studio fa la stessa cosa con un'interfaccia grafica e permette di confrontare le risposte di due modelli affiancati. Per portare il modello scelto in produzione, con più utenti in contemporanea, si passa di solito a vLLM: il confronto tra i tre strumenti è nella pagina sul server LLM locale.

Il fine-tuning conviene?

Per la maggior parte delle PMI italiane, la risposta è no, almeno all'inizio. Il fine-tuning richiede dati etichettati, competenze specifiche e tempo. Il RAG (Retrieval Augmented Generation), dove il modello risponde usando i tuoi documenti come contesto, è più rapido da implementare e si aggiorna senza riaddestrare nulla.

Il fine-tuning diventa interessante quando il dominio è molto specifico (gergo tecnico di nicchia, formati di documento proprietari) e si hanno almeno 1.000–2.000 esempi domanda/risposta corretti. Ne parliamo nel dettaglio nella pagina sul fine-tuning LoRA on-premise.

Conclusione pratica

Per una PMI italiana che parte oggi: Qwen 3.8 27B, Qwen 3.6 27B o Gemma 4 (26B o 31B) su una singola GPU da 24GB coprono la grande maggioranza dei casi d'uso, con licenza Apache 2.0 e lettura delle immagini. Su un PC da 16GB, Gemma 4 12B e Qwen 3.5 9B sono il punto di partenza. gpt-oss resta il riferimento per gli agenti che ragionano in più passaggi, Mistral l'alternativa europea. DeepSeek V4.1 e Mistral Large 4 sono eccellenti ma richiedono un'infrastruttura da grande azienda; i Llama 4 multimodali vanno esclusi per i vincoli di licenza nell'UE.

La scelta del modello resta meno importante della qualità dell'implementazione: un buon sistema RAG con un modello medio batte un'implementazione approssimativa con il modello più grande sul mercato, in quasi tutti i casi pratici. E con il ritmo di rilascio del 2026, il modello cambierà comunque entro un anno; l'architettura dei dati no.

Fonti: schede ufficiali dei modelli su Hugging Face (Qwen, Google, DeepSeek, Mistral AI, OpenAI) e libreria Ollama, consultate il 3 novembre 2026.