Il tuo LLM locale
su un server in azienda
Dimensionamento hardware, installazione e gestione del tuo server LLM locale: dal sizing della GPU al deploy in produzione, con supporto tecnico continuativo.
Cos'è un LLM locale (local LLM)
e quando conviene a un'azienda
Un LLM locale è un modello linguistico, come quelli dietro ChatGPT, che gira su hardware dell'azienda invece che sui server di un fornitore cloud. Le domande, i documenti e le risposte non escono dalla rete aziendale e il modello funziona anche senza connessione a internet. È il cuore dell'AI locale e privata per aziende: in questa pagina ci concentriamo su hardware e software per farlo girare.
1. Il modello
Un modello open-weight scaricato una volta e installato sul server: oggi i più usati sono Qwen 3.5 e 3.6, Gemma 4, gpt-oss e Mistral Small, quasi tutti con licenza Apache 2.0. Quale scegliere dipende da hardware e caso d'uso: li abbiamo messi a confronto nella guida LLM open source: confronto modelli 2026.
2. Il motore di inferenza
Il software che carica il modello sulla GPU e risponde alle richieste. Ollama e LM Studio sono il modo più semplice per iniziare; vLLM regge molti utenti in contemporanea (il confronto è più sotto). Entrambi espongono un'API compatibile con quella di OpenAI, quindi le applicazioni esistenti si collegano cambiando solo l'indirizzo.
3. Le applicazioni
Sopra al server girano gli strumenti che le persone usano davvero: una chat interna, un chatbot sui documenti aziendali, l'interrogazione dei database in italiano, gli agenti AI locali che automatizzano i processi.
Provarlo in cinque minuti, portarlo in produzione in due settimane
Su un PC con una GPU recente, per provare un LLM locale bastano Ollama e due comandi: trovi la guida all'installazione passo per passo più sotto.
Metterlo a disposizione di un'intera azienda è un altro lavoro: dimensionare la GPU sul numero di utenti, scegliere il modello giusto per l'italiano e per i compiti richiesti, servire più richieste in parallelo con vLLM, gestire accessi e log, monitorare le prestazioni e aggiornare i modelli senza interrompere il servizio. È la parte di cui ci occupiamo noi, descritta più sotto.
Quando conviene
- I dati sono riservati: contratti, dati di clienti e pazienti, progetti, codice sorgente.
- L'uso è quotidiano e diffuso: il costo è l'hardware, non il numero di richieste.
- Servono funzionamento offline o reti isolate, come negli stabilimenti produttivi.
- Il modello va specializzato sul proprio dominio, ad esempio con il fine-tuning LoRA.
Quando non conviene
- L'uso è sporadico e non riguarda dati riservati.
- Il compito richiede in modo stabile le capacità dei modelli cloud più grandi, oltre quello che i modelli open-weight offrono su un server aziendale.
- Nessuno in azienda o tra i fornitori può occuparsi di aggiornamenti e monitoraggio.
Quale LLM puoi far girare
sul tuo hardware?
La domanda che conta è quanta memoria ha la GPU (VRAM): il modello deve starci per intero, insieme al contesto della conversazione. La tabella indica cosa gira bene con la quantizzazione a 4 bit, il formato standard di Ollama e LM Studio, che riduce la memoria di circa quattro volte con una perdita di qualità contenuta.
| Memoria GPU | Esempi di hardware | Modelli che girano bene (4 bit) | Per cosa |
|---|---|---|---|
| 8 GB | RTX 4060, portatili con GPU, Mac con 16 GB | Qwen 3.5 4B e 9B, Gemma 4 E4B | Prove personali, riassunti, classificazione di testi brevi |
| 12–16 GB | RTX 4070 Ti, RTX 5060 Ti 16 GB, Mac con 24–32 GB | Gemma 4 12B, gpt-oss-20b, Qwen 3.5 9B a precisione più alta | Assistente personale, chat su pochi documenti, codice |
| 24 GB | RTX 3090, RTX 4090 | Qwen 3.6 27B, Gemma 4 26B e 31B, Mistral Small 24B | Server per un ufficio: chat interna, RAG sui documenti, estrazione dati |
| 32 GB | RTX 5090 | Qwen 3.6 35B-A3B, i modelli da 27–31B con contesto lungo | Agenti AI, documenti lunghi, più utenti in parallelo |
| 48 GB | L40S, RTX 6000 Ada, 2× RTX 4090 | Llama 3.3 70B, Qwen 3.6 27B e Gemma 4 31B a 8 bit | PMI con 30–100 utenti, qualità vicina ai modelli cloud |
| 80–96 GB | A100 / H100 80 GB, RTX PRO 6000 | gpt-oss-120b, Qwen 3.5 122B | Aziende con uso intensivo, ragionamento complesso |
| Più GPU da 80 GB | Server con 4–8 H100 / H200 | DeepSeek V4 Flash (circa 290 miliardi di parametri), Qwen 3.5 397B | Grandi aziende ed enti; DeepSeek V4 Pro (1,6 mila miliardi) richiede un cluster |
Come leggere la tabella. I valori sono indicativi. Una regola pratica: a 4 bit servono circa 0,6 GB di memoria per ogni miliardo di parametri, più qualche GB per il contesto. Un modello da 27 miliardi occupa quindi circa 17 GB e gira su una scheda da 24 GB. Più utenti in contemporanea e documenti lunghi richiedono memoria aggiuntiva. I modelli "MoE" come Qwen 3.6 35B-A3B attivano solo una parte dei parametri per ogni parola (3 miliardi su 35) e sono quindi molto veloci, ma devono comunque stare tutti in memoria. Per un calcolo sul tuo hardware, con il numero di utenti e la lunghezza dei documenti, usa il calcolatore: quale LLM gira sulla mia GPU.
Su un PC con poca memoria video un modello può girare anche in parte sulla CPU, ma diventa molto più lento: va bene per una prova, non per un servizio aziendale. Per scegliere il modello in base alla qualità in italiano e al compito, vedi il confronto dei modelli LLM open source 2026; per le schede, la guida GPU per AI. Per un esempio completo, versione per versione, vedi la guida a Gemma 4 in locale. Per sapere cosa gira sul computer che hai già, usa il nostro test gratuito Gaulin AI Check: misura la tua GPU e stima la velocità di ogni modello.
Ollama, LM Studio o vLLM:
quale scegliere in azienda
Sono i tre strumenti più usati per far girare un LLM in locale. Possono caricare gli stessi modelli open-weight ed espongono tutti un'API compatibile con OpenAI, ma sono pensati per usi diversi.
| Ollama | LM Studio | vLLM | |
|---|---|---|---|
| Cos'è | Server leggero con riga di comando, API e app desktop | App desktop con interfaccia grafica e catalogo modelli, con modalità server | Motore di inferenza per la produzione, scritto in Python |
| Sistemi | Windows, macOS, Linux, Docker | Windows, macOS, Linux | Linux con GPU NVIDIA o AMD |
| Licenza | Open source (MIT) | Gratuito anche per uso aziendale, non open source | Open source (Apache 2.0) |
| Formato modelli | GGUF quantizzato, libreria con un comando | GGUF, MLX su Mac | Pesi Hugging Face, FP8, AWQ, GPTQ |
| Utenti in parallelo | Pochi, fino a qualche decina con uso moderato | Una persona | Decine o centinaia, grazie al batching continuo |
| Uso tipico in azienda | Prototipi, server di reparto, sviluppo di applicazioni | Provare e confrontare modelli sul proprio PC | Server aziendale condiviso, chatbot e agenti in produzione |
In pratica: LM Studio è il modo più comodo per capire quale modello funziona meglio sui propri documenti, Ollama per costruire il primo servizio interno, vLLM quando lo stesso servizio deve reggere un'intera azienda. Nei nostri progetti partiamo spesso da Ollama per il pilota e passiamo a vLLM quando gli utenti crescono, senza cambiare le applicazioni grazie all'API compatibile.
Attenzione ai modelli cloud. Ollama offre anche modelli "cloud" che si usano con gli stessi comandi ma girano sui server del fornitore, non sul tuo hardware. Su un server aziendale vanno disattivati o esclusi, altrimenti le richieste escono dalla rete senza che l'utente se ne accorga. Lo stesso vale per qualsiasi estensione o integrazione che chiama API esterne.
Come installare un LLM locale:
la guida passo per passo
Dalla scheda video a una chat simile a ChatGPT sul tuo computer, in cinque passi e circa mezz'ora. La guida usa Ollama, che funziona su Windows, macOS e Linux; in fondo trovi l'alternativa con LM Studio per chi preferisce non usare il terminale.
1. Controlla quanta memoria ha la GPU
È il dato che decide quale modello puoi usare. Con una scheda NVIDIA lo leggi con:
nvidia-smi --query-gpu=name,memory.total --format=csvSu un Mac con chip Apple conta la memoria unificata, indicata in "Informazioni su questo Mac". Confronta il valore con la tabella dei modelli qui sopra, oppure lascia fare la misura a Gaulin AI Check.
2. Installa Ollama
Su Windows e macOS si scarica l'installer da ollama.com/download. Su Linux basta un comando, che installa anche il servizio di sistema:
curl -fsSL https://ollama.com/install.sh | sh
ollama --version3. Scarica un modello e fagli una domanda
Il primo comando scarica il modello una volta sola (qualche GB), il secondo apre una chat nel terminale. Con 8 GB di memoria video si parte da un modello da 9 miliardi di parametri:
ollama pull qwen3.5:9b
ollama run qwen3.5:9b "Riassumi in tre punti le clausole di recesso di un contratto di fornitura"Da qui in poi il modello risponde anche senza connessione a internet. Con ollama ps vedi se gira tutto sulla GPU: se una parte finisce sulla CPU, le risposte rallentano molto e conviene scegliere un modello più piccolo.
4. Aggiungi un'interfaccia di chat
Per chi non usa il terminale serve un'interfaccia web. Open WebUI è la più diffusa: conversazioni salvate, caricamento di documenti, scelta del modello. Con Docker installato si avvia così:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data --name open-webui --restart always \
ghcr.io/open-webui/open-webui:mainPoi apri http://localhost:3000 nel browser: il primo account che crei diventa l'amministratore e trova già i modelli scaricati con Ollama.
5. Collega le tue applicazioni
Ollama espone un'API compatibile con quella di OpenAI sulla porta 11434, quindi un programma scritto per ChatGPT funziona cambiando solo l'indirizzo:
from openai import OpenAI
# La chiave è obbligatoria per la libreria ma Ollama la ignora
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
risposta = client.chat.completions.create(
model="qwen3.5:9b",
messages=[{"role": "user", "content": "Scrivi l'oggetto di una mail di sollecito pagamento"}])
print(risposta.choices[0].message.content)L'alternativa senza terminale: LM Studio
Scarica LM Studio da lmstudio.ai, cerca un modello nel catalogo interno (l'app segnala quelli troppo grandi per il tuo hardware), scaricalo e aprilo nella chat. Per usarlo dalle applicazioni, avvia il server locale dalla sezione per sviluppatori: espone la stessa API compatibile con OpenAI, sulla porta 1234. È il modo più comodo per confrontare più modelli sulle stesse domande prima di sceglierne uno.
Dal tuo PC ai colleghi: attenzione alla rete
Ollama di default risponde solo al computer su cui è installato. Per renderlo raggiungibile in ufficio su Linux si imposta OLLAMA_HOST nel servizio:
sudo systemctl edit ollama
# aggiungi: [Service]
# Environment="OLLAMA_HOST=0.0.0.0:11434"
sudo systemctl restart ollamaOllama però non ha autenticazione: chiunque raggiunga quella porta può usare il modello. Su una rete aziendale va messo dietro un reverse proxy con login, o lasciato accessibile solo a Open WebUI, che gestisce utenti e permessi. Quando gli utenti diventano decine, il passo successivo è vLLM su un server dedicato, come descritto nelle sezioni seguenti.
Il server LLM giusto
per la dimensione della tua azienda
Gaulin dimensiona il server in base al numero di utenti, ai modelli desiderati e al carico previsto. Nessun hardware sovradimensionato, nessun collo di bottiglia.
Server singola GPU
Ideale per PMI con uso moderato: RAG su documenti, chatbot interno, Text-to-SQL. Rapporto qualità/prezzo eccellente.
GPU professionale
Per aziende con uso intensivo o modelli di qualità superiore. Alta stabilità produzione, ottimo throughput multi-utente.
Multi-GPU / A100
Per grandi aziende con alto throughput, modelli full-precision, o requisiti di alta disponibilità con failover.
Come Gaulin installa il tuo LLM server
Un processo strutturato che porta il server da zero a produzione in 1–2 settimane.
Analisi requisiti
Valutiamo numero utenti, casi d'uso, modelli desiderati e infrastruttura esistente. Scegliamo hardware e software di serving ottimali.
Setup hardware
Installiamo e configuriamo il server fisico o virtuale, i driver NVIDIA, Docker e il sistema operativo ottimizzato per AI workload.
Deploy LLM
Installiamo Ollama o vLLM, scarichiamo i modelli selezionati, configuriamo le API, il load balancer e le policy di sicurezza di rete.
Monitoring e supporto
Configuriamo dashboard Prometheus/Grafana per monitorare GPU, latenza e throughput. Aggiornamenti modelli e supporto tecnico inclusi.
Cosa puoi fare con il tuo LLM server locale
Un LLM server on-premise è la base per tutte le applicazioni AI aziendali.
RAG System
Interroga documenti aziendali in italiano con precisione. Scopri RAG System on-premise.
AI Agents
Agenti autonomi che automatizzano workflow aziendali usando il tuo LLM server come motore. Scopri gli agenti AI locali.
AI Coding Agent
Code completion e review per il team di sviluppo, senza inviare il codice sorgente fuori dalla rete. Scopri AI Coding Agent.
Text-to-SQL
Interroga database aziendali in linguaggio naturale. Il LLM locale genera query SQL sicure dal tuo schema.
Chatbot aziendale
Assistente AI interno per clienti o dipendenti, integrato nel tuo portale web Angular o Laravel.
Drop-in API OpenAI
Il server espone un'API compatibile OpenAI. Qualsiasi app già integrata con OpenAI funziona immediatamente on-premise, cambiando solo l'endpoint.
Domande frequenti sul Local LLM Server
Un local LLM server è un sistema hardware e software che esegue modelli di linguaggio di grandi dimensioni direttamente nell'infrastruttura dell'azienda, senza dipendere da servizi cloud. Comprende il server con GPU dedicata, il software di serving (Ollama, vLLM), il modello LLM installato e un'API per le applicazioni.
Dipende dal modello LLM e dal carico. Per modelli fino a circa 30B parametri quantizzati (Qwen 3.6 27B, Gemma 4 31B, Mistral Small) è sufficiente una NVIDIA RTX 4090 (24GB VRAM). Per modelli da 70B o più servono GPU professionali come la L40S o A100. Gaulin fa il dimensionamento hardware in base al caso d'uso e agli utenti concorrenti previsti.
Con 24 GB di VRAM, come una RTX 3090 o 4090, girano bene in quantizzazione a 4 bit i modelli fino a circa 30 miliardi di parametri: Qwen 3.6 27B, Gemma 4 26B e 31B, Mistral Small 24B. Con 8 GB si usano modelli da 4–9 miliardi come Qwen 3.5 9B, con 16 GB Gemma 4 12B o gpt-oss-20b, con 48 GB Llama 3.3 70B, con 80 GB gpt-oss-120b. Come regola pratica, a 4 bit servono circa 0,6 GB per miliardo di parametri più la memoria per il contesto. Vedi la tabella completa.
LM Studio è un'app desktop per provare e confrontare modelli sul proprio PC. Ollama è un server leggero e semplice da installare, adatto a prototipi e servizi di reparto con pochi utenti in parallelo. vLLM è il motore per la produzione: con il batching continuo serve decine o centinaia di utenti sulla stessa GPU. Tutti espongono un'API compatibile con OpenAI, quindi si può partire con Ollama e passare a vLLM senza cambiare le applicazioni. Vedi il confronto completo.
Con una singola GPU NVIDIA A100 80GB e un modello di fascia media, un server vLLM può gestire 20–50 utenti concorrenti con latenza accettabile. Per scale maggiori si passa a configurazioni multi-GPU con load balancer. Gaulin dimensiona l'infrastruttura in base ai pattern di utilizzo stimati.
Sì. Una volta installato il modello, il server funziona completamente offline. Nessuna connettività internet necessaria per rispondere alle query. Vantaggio importante per reti isolate: stabilimenti produttivi, ambienti classificati, reti OT industriali.
Il modo più semplice è Ollama: si installa da ollama.com su Windows, macOS o Linux, si scarica un modello adatto alla memoria della GPU con ollama pull e lo si avvia con ollama run. Per una chat nel browser si aggiunge Open WebUI; in alternativa LM Studio fa tutto da interfaccia grafica. Per un'intera azienda si passa a vLLM su un server dedicato. Vedi la guida passo per passo.
Con Ollama, aggiornare è semplice come eseguire "ollama pull qwen3.6". Gaulin include nel contratto di supporto la valutazione e l'aggiornamento ai modelli più recenti, con testing pre-produzione e rollback automatico in caso di regressioni. Contattaci per i dettagli del contratto di supporto.
Il tuo LLM server locale,
operativo in 1–2 settimane
Dimmi quanti utenti e quali casi d'uso. In 30 minuti ti do il sizing hardware e un preventivo dettagliato.
Richiedi il dimensionamento →