Mistral Large 4 con pesi aperti: download, hardware e uso a 1 bit

Il checkpoint completo di Mistral Large 4 occupa circa 1.060 GB, mentre la quantizzazione più piccola realmente utilizzabile richiede 233 GB. I pesi di Mistral Large 4 sono arrivati su Hugging Face il 29 ottobre 2026, senza accesso condizionato, con build ufficiali FP8 e NVFP4 e diversi GGUF della community. Per usarlo localmente in modo pratico serve una workstation con almeno 512 GB di memoria unificata oppure un server multi-GPU.

Questa è la guida pratica collegata alla nostra recensione preliminare delle API di Mistral Large 4: qui ci concentriamo solo sulle novità del 29 ottobre, cioè file disponibili, requisiti hardware, comandi per l'avvio e limiti della licenza.

Prima scegli il file giusto di Mistral Large 4

Il repository ufficiale è mistralai/Mistral-Large-4-1T-A52B: 54 shard safetensors distribuiti su 68 file, per un totale di 1.060,6 GB, con gated: false. Il repository NVFP4 corrispondente è mistralai/Mistral-Large-4-1T-A52B-NVFP4, con 32 shard per un totale di 610,1 GB, anch'esso senza accesso condizionato. Dimensioni e numero di shard riportati sotto provengono dalle pagine dei repository su Hugging Face e dal post di lancio su Hugging Face.

pip install -U "huggingface_hub[cli]"
hf download mistralai/Mistral-Large-4-1T-A52B --local-dir ./ml4-fp8
hf download mistralai/Mistral-Large-4-1T-A52B-NVFP4 --local-dir ./ml4-nvfp4
hf download unsloth/Mistral-Large-4-1T-A52B-GGUF --include "UD-IQ1_S*" --local-dir ./ml4-gguf

La suddivisione degli shard — 52 dei 54 file pesano quasi 20 GB ciascuno, mentre gli ultimi due sono più piccoli — è riportata nel catalogo dei file di OrcaRouter. Se il download si interrompe su uno shard breve, basta ripetere lo stesso comando per riprenderlo.

Perché 52B parametri attivi richiedono comunque centinaia di gigabyte

Mistral Large 4 conta 1.050 miliardi di parametri, di cui 49 miliardi attivi per token nei layer di calcolo (52 miliardi includendo gli embedding), secondo Mistral e le note sull'architettura pubblicate da Hugging Face. Il decoder usa 71 layer MoE, ciascuno con 128 esperti: per ogni token vengono selezionati 4 esperti instradati più 1 condiviso.

La sparsità riduce i calcoli, non lo spazio occupato: tutti gli esperti devono restare in memoria anche se, per ogni token, ne vengono attivati soltanto cinque. Perciò bisogna considerare la dimensione complessiva del modello, il margine necessario al runtime e la KV cache, non un semplice calcolo basato su 52B moltiplicato per i byte per parametro. Il contesto da 1 milione di token indicato in config.json è un limite teorico; la ricetta per l'endpoint di Hugging Face mostra invece 131K token con 16 sequenze concorrenti.

Configurazioni hardware per Mistral Large 4

Nessuna GPU singola da 24 o 48 GB può contenere questo modello: il solo file a 1 bit più piccolo occupa circa 233 GB. I dati nella tabella sono le misurazioni del post di lancio riportate nella guida al deployment di Hugging Face, non benchmark eseguiti da noi:

DGX Spark (128 GB) e qualsiasi Mac con meno di 256 GB non possono caricare in modo pratico nemmeno la build a 1 bit. Il file da 233 GB stabilisce una soglia minima di 256 GB di memoria — la stessa classe indicata da Unsloth per questa build — ma, considerando KV cache e overhead del sistema operativo, è meglio puntare a una macchina da 512 GB. Un proprietario con 445 GB di RAM unificata ha riferito che persino IQ2_XXS era difficile da gestire:

"ugh trying to get le chonk (Mistral Large 4) to fit on my li'l 445GB unified RAM and even at IQ2_XXS it's roughhhhh...I need SPARKS dangit!" — @Nateemerson su X

In pratica, le fasce sono queste: file a 1 bit da 233-260 GB, per i quali una macchina da 512 GB è la scelta realistica; 2 bit da circa 302 GB; 4 bit da circa 500 GB fino ai 610 GB della NVFP4, a cui va aggiunto altro spazio per la cache con contesti lunghi.

Unsloth a 1 bit su Mac Studio

Il repository Unsloth unsloth/Mistral-Large-4-1T-A52B-GGUF offre UD-IQ1_S (circa 233 GB) e UD-IQ1_M (circa 260 GB). Unsloth dichiara un'accuratezza top-1 di circa il 91% con una dimensione ridotta di circa l'80%: è un dato dichiarato dal produttore nella pagina del modello, non un risultato indipendente, quindi conviene verificarlo con i propri prompt.

"The 1 trillion parameter model runs on a Mac Studio with our 1-bit GGUF which retains 91% top-1 accuracy. Le Chonk is the strongest Western open model to date." — @UnslothAI su X

Per la versione a 1 bit usa llama.cpp. L'esempio per Ollama nella pagina Unsloth fa riferimento al file più grande UD-Q4_K_XL:

llama serve -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf --ctx-size 8192 --port 8080
llama cli -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf -p "Patch this Rust borrow error:"

Aggiungi --mmproj per l'input delle immagini — il file projector è elencato nel repository Unsloth — mantieni il contesto tra 8K e 32K sulle macchine da 256 GB ed evita mistral.rs con i file IQ1: la sua documentazione GGUF indica IQ1/IQ2/IQ3/IQ4 come formati non supportati. In quel caso usa Q2_K o Q4_K. Unsloth elenca anche un file DSpark per la decodifica speculativa: attivalo solo dopo aver stabilizzato l'esecuzione di base.

vLLM per team con Blackwell o H200

vLLM è la strada server documentata, con endpoint compatibile con OpenAI e reasoning_effort impostabile su low/medium/high (il valore predefinito è high e non può essere disattivato), secondo le note di Hugging Face su vLLM. Il parallelismo tensoriale deve corrispondere al numero di GPU: 8 nella configurazione FP8 con 8x H200, 4 in un nodo NVFP4 con 4 GPU:

# 4x Blackwell NVFP4 example
vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 --tensor-parallel-size 4 --enable-expert-parallel --max-model-len 131072 --max-num-seqs 16 --max-num-batched-tokens 2048 --gpu-memory-utilization 0.85 --enable-prefix-caching --enforce-eager --port 8000

La configurazione di riferimento FP8 con 8x H200 aggiunge il tipo FP8 per la KV cache e la draft head DSpark. Enterprise Hub di Dell implementa NVFP4 su un nodo B300 con 4 GPU. Il fine-tuning LoRA con TRL punta a FP8 — riferimento: 8x B300, rank 16, alpha 32, lr 1e-4 — secondo le note di Hugging Face sul fine-tuning.

Il limite della licenza da non ignorare

I pesi usano la Mistral Ecosystem Open-Weight License, collegata come LICENSE nel repository ufficiale. Si tratta di una licenza MIT modificata che consente di eseguire, copiare, modificare, addestrare, distribuire, sublicenziare e vendere copie o derivati, senza un limite di fatturato indicato. La restrizione riguarda il Model-as-a-Service: vendere a terzi l'accesso all'inferenza o al post-training, offrendo un controllo significativo su input, parametri o dati di addestramento, richiede una licenza commerciale separata di Mistral. Sono invece esclusi gli usi interni, i prodotti che incorporano il modello in funzioni specifiche, il semplice inoltro verso un altro host e l'uso ospitato da Mistral.

In generale, l'hosting autonomo e l'integrazione del modello nella propria app rientrano negli usi esclusi descritti dalla licenza; vendere accesso API grezzo va invece nella direzione dell'accordo separato. Prima del lancio, verifica comunque il testo completo della licenza.

Conviene scaricarlo o usare le API?

Le tariffe API definitive sono $0.70 input / $2.10 output per milione di token ($0.07 per i token memorizzati in cache), secondo Mistral. È il modo più rapido per provare le capacità di cybersecurity e programmazione — 82% nel reproduce-and-patch e 93% in 40 attività Cybench, secondo il riepilogo dei benchmark di Hugging Face — prima di investire nello storage.

Scarica i pesi se ti servono controllo, residenza dei dati, audit, policy personalizzate o fine-tuning privato. Per ridurre l'overhead operativo, invece, conviene pagare i token: quattro GPU Blackwell, insieme a energia, storage e attività di serving, possono costare più per token realmente utilizzabile rispetto alle API, una volta inclusi noleggio e gestione. Se vuoi soltanto fare una valutazione, prova prima mistral-large-4 e scarica il GGUF da 233 GB quando avrai pronta una macchina da 512 GB.

FAQ

Dove posso scaricare i pesi ufficiali?

mistralai/Mistral-Large-4-1T-A52B (circa 1.060 GB) e mistralai/Mistral-Large-4-1T-A52B-NVFP4 (circa 610 GB). Entrambi sono disponibili senza accesso condizionato.

Può funzionare su una singola GPU da 24 GB?

No. Il file più piccolo occupa circa 233 GB: servono almeno 256 GB di memoria unificata, anche se 512 GB sono la scelta realistica, oppure offload su una macchina con molta RAM o un server multi-GPU.

Quale file Unsloth scegliere per un Mac Studio?

UD-IQ1_S (circa 233 GB) se la memoria è limitata, UD-IQ1_M (circa 260 GB) sulle macchine da 512 GB. Q2_K/Q4_K_M richiedono da 300 a 500 GB.

La versione a 1 bit supporta immagini e Ollama?

Sì, usando --mmproj con un runtime compatibile. L'esempio di Ollama usa UD-Q4_K_XL; per la versione a 1 bit usa llama.cpp.

Posso fare il fine-tuning?

Sì, con TRL/LoRA su FP8 (riferimento: 8x B300). Metti in conto oltre 1 TB di storage, oltre alla memoria necessaria per l'addestramento.

Il contesto da 1M è davvero disponibile in self-hosting?

È il limite indicato dalla configurazione. Le ricette dimostrate arrivano a 131K con 8x H200, a 32K con NVFP4 su 4x RTX 6000 Pro oppure fino a 800K con IQ2_XXS, ma con un forte rallentamento.