Mistral Large 4 Open Weights : téléchargement, matériel et exécution en 1 bit

Le checkpoint complet de Mistral Large 4 pèse environ 1 060 Go, tandis que la quantification exploitable la plus légère occupe 233 Go. Les poids de Mistral Large 4 sont disponibles sur Hugging Face depuis le 29 octobre 2026, sans accès restreint, avec des versions officielles FP8 et NVFP4 ainsi que des builds GGUF communautaires. Pour l’utiliser localement dans de bonnes conditions, prévoyez une station de travail dotée de 512 Go de mémoire unifiée ou un serveur équipé de plusieurs GPU.

Ce guide accompagne notre test en avant-première de l’API Mistral Large 4. Il se concentre uniquement sur ce qui a changé le 29 octobre : emplacement des fichiers, compatibilité matérielle, commandes de lancement et limites de la licence.

Commencez par choisir le bon fichier Mistral Large 4

Le dépôt officiel est mistralai/Mistral-Large-4-1T-A52B : 54 fragments safetensors répartis sur 68 fichiers, pour un total de 1 060,6 Go, avec gated: false. Son équivalent NVFP4 est mistralai/Mistral-Large-4-1T-A52B-NVFP4 : 32 fragments pour un total de 610,1 Go, lui aussi sans restriction d’accès. Les tailles et le nombre de fragments ci-dessous proviennent des pages de ces dépôts Hugging Face et de l’article de lancement publié par Hugging Face.

pip install -U "huggingface_hub[cli]"
hf download mistralai/Mistral-Large-4-1T-A52B --local-dir ./ml4-fp8
hf download mistralai/Mistral-Large-4-1T-A52B-NVFP4 --local-dir ./ml4-nvfp4
hf download unsloth/Mistral-Large-4-1T-A52B-GGUF --include "UD-IQ1_S*" --local-dir ./ml4-gguf

La répartition des fragments — 52 des 54 fichiers pesant près de 20 Go chacun, les deux derniers étant plus petits — est détaillée dans la liste de fichiers d’OrcaRouter. Relancez la même commande pour reprendre le téléchargement d’un fragment interrompu.

Pourquoi 52 milliards de paramètres actifs exigent tout de même des centaines de gigaoctets

Mistral Large 4 totalise 1 050 milliards de paramètres, dont 49 milliards actifs par token dans les couches de calcul (52 milliards en incluant les embeddings), selon Mistral et les notes d’architecture de Hugging Face. Le décodeur s’appuie sur 71 couches MoE de 128 experts chacune, avec 4 experts routés et 1 expert partagé par token.

La parcimonie réduit les calculs, pas le stockage : tous les experts doivent rester en mémoire, même si seuls cinq sont activés pour chaque token. Il faut donc prévoir la taille totale du modèle, une marge pour l’exécution et le cache KV, plutôt que de se contenter du calcul 52B x octets par paramètre. Le contexte d’un million de tokens indiqué dans config.json est un plafond ; la recette de déploiement Hugging Face montre une exécution à 131K tokens avec 16 séquences simultanées.

Configurations matérielles pour Mistral Large 4

Aucun GPU de 24 ou 48 Go ne peut accueillir ce modèle ; le plus petit fichier de 1 bit pèse déjà environ 233 Go. Les chiffres ci-dessous sont les mesures publiées dans le guide de déploiement de Hugging Face, et non nos propres benchmarks :

Un DGX Spark de 128 Go et tout Mac disposant de moins de 256 Go ne peuvent même pas charger la version 1 bit dans des conditions pratiques. Le fichier de 233 Go impose 256 Go comme limite basse de taille mémoire — la classe de machine qu’Unsloth indique pour ce build — mais comptez plutôt sur une machine de 512 Go une fois le cache KV et la mémoire du système pris en compte. Un utilisateur disposant de 445 Go de RAM unifiée a même expliqué que IQ2_XXS restait difficile à exploiter :

« ugh trying to get le chonk (Mistral Large 4) to fit on my li'l 445GB unified RAM and even at IQ2_XXS it's roughhhhh...I need SPARKS dangit! » — @Nateemerson sur X

En pratique, les différents paliers sont les suivants : fichiers 1 bit de 233 à 260 Go, avec une machine de 512 Go comme choix réaliste ; 2 bits à partir d’environ 302 Go ; 4 bits autour de 500 Go, jusqu’aux 610 Go du NVFP4, auxquels il faut ajouter le cache pour les contextes longs.

Faire tourner Unsloth en 1 bit sur un Mac Studio

Le dépôt unsloth/Mistral-Large-4-1T-A52B-GGUF propose UD-IQ1_S (~233 Go) et UD-IQ1_M (~260 Go). Unsloth revendique environ 91 % de précision top-1 pour une taille réduite d’environ 80 % — une affirmation du fabricant publiée sur la page du modèle, pas un résultat indépendant ; testez donc le modèle avec vos propres prompts.

« The 1 trillion parameter model runs on a Mac Studio with our 1-bit GGUF which retains 91% top-1 accuracy. Le Chonk is the strongest Western open model to date. » — @UnslothAI sur X

Pour le 1 bit, utilisez llama.cpp. L’exemple Ollama de la page Unsloth fait référence au fichier plus volumineux UD-Q4_K_XL :

llama serve -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf --ctx-size 8192 --port 8080
llama cli -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf -p "Patch this Rust borrow error:"

Ajoutez --mmproj pour traiter des images — le fichier projecteur est indiqué dans le dépôt Unsloth —, limitez le contexte à 8K-32K sur les machines de 256 Go et évitez mistral.rs avec les fichiers IQ1 : sa documentation GGUF indique que IQ1/IQ2/IQ3/IQ4 ne sont pas pris en charge. Utilisez plutôt Q2_K/Q4_K dans ce cas. Unsloth propose également un fichier DSpark pour la génération spéculative ; activez-le une fois l’exécution de base stabilisée.

vLLM pour les équipes équipées de Blackwell ou de H200

vLLM est la voie serveur documentée, avec un endpoint compatible OpenAI et un paramètre reasoning_effort acceptant low/medium/high — high par défaut et impossible à désactiver — selon les notes vLLM de Hugging Face. Faites correspondre le parallélisme tensoriel au nombre de GPU : 8 pour la configuration FP8 avec 8x H200, 4 pour un nœud NVFP4 à 4 GPU :

# 4x Blackwell NVFP4 example
vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 --tensor-parallel-size 4 --enable-expert-parallel --max-model-len 131072 --max-num-seqs 16 --max-num-batched-tokens 2048 --gpu-memory-utilization 0.85 --enable-prefix-caching --enforce-eager --port 8000

La configuration de référence FP8 sur 8x H200 ajoute le type de cache KV FP8 et la tête de brouillon DSpark. Le Enterprise Hub de Dell déploie le NVFP4 sur un nœud B300 à 4 GPU. Pour le fine-tuning LoRA avec TRL, la cible est le FP8 — référence : 8x B300, rang 16, alpha 32, lr 1e-4 — d’après les notes de fine-tuning de Hugging Face.

La limite de licence à ne surtout pas ignorer

Les poids sont distribués sous la Mistral Ecosystem Open-Weight License, référencée dans le fichier LICENSE du dépôt officiel. Il s’agit d’une licence MIT modifiée : vous pouvez exécuter, copier, modifier, entraîner, distribuer, sous-licencier et vendre des copies ou des dérivés, sans plafond de revenus indiqué. La restriction concerne le Model-as-a-Service : vendre à des tiers un accès à l’inférence ou au post-entraînement avec un contrôle significatif sur les entrées, les paramètres ou les données d’entraînement nécessite une licence commerciale distincte de Mistral. L’utilisation interne, les produits qui intègrent le modèle dans des fonctionnalités précises, le relais vers un autre hôte et l’utilisation hébergée par Mistral sont exclus de cette restriction.

En règle générale, l’auto-hébergement et l’intégration dans votre application relèvent des usages exclus décrits dans la licence. En revanche, la vente d’un accès API brut s’approche d’un cas nécessitant un accord séparé : vérifiez le texte de la licence avant de lancer votre service.

Faut-il le télécharger ou utiliser l’API ?

Les tarifs définitifs de l’API sont de 0,70 $ en entrée / 2,10 $ en sortie par million de tokens (0,07 $ pour les tokens mis en cache), selon Mistral. C’est le moyen le plus rapide de tester les performances en cybersécurité et en programmation — 82 % en reproduction et correction, 93 % sur 40 tâches Cybench, d’après le résumé des benchmarks de Hugging Face — avant d’investir dans le stockage.

Téléchargez le modèle si vous avez besoin de contrôle : résidence des données, audit, politique personnalisée ou fine-tuning privé. Pour réduire la charge opérationnelle, payez plutôt à l’usage : quatre GPU Blackwell, l’électricité, le stockage et le travail de déploiement peuvent coûter plus cher par token réellement utile que l’API, une fois la location et l’exploitation prises en compte. Si votre objectif est uniquement l’évaluation, commencez par appeler mistral-large-4, puis téléchargez le GGUF de 233 Go lorsque votre machine de 512 Go sera prête.

FAQ

Où télécharger les poids officiels ?

mistralai/Mistral-Large-4-1T-A52B (~1 060 Go) et mistralai/Mistral-Large-4-1T-A52B-NVFP4 (~610 Go). Les deux dépôts sont accessibles sans restriction.

Un seul GPU de 24 Go peut-il l’exécuter ?

Non. Le plus petit fichier pèse environ 233 Go. Il faut donc au minimum 256 Go de mémoire unifiée — 512 Go étant plus réaliste —, un déport vers une grande quantité de RAM ou un serveur équipé de plusieurs GPU.

Quel fichier Unsloth choisir pour un Mac Studio ?

UD-IQ1_S (~233 Go) si la mémoire est limitée, et UD-IQ1_M (~260 Go) pour les machines de 512 Go. Les versions Q2_K/Q4_K_M demandent entre 300 et 500 Go.

Le 1 bit prend-il en charge la vision et Ollama ?

Oui, avec --mmproj dans un moteur compatible. L’exemple Ollama utilise UD-Q4_K_XL ; pour le 1 bit, privilégiez llama.cpp.

Puis-je effectuer un fine-tuning ?

Oui, avec TRL/LoRA sur la version FP8 — référence : 8x B300. Prévoyez au moins 1 To de stockage ainsi que la mémoire nécessaire à l’entraînement.

Le contexte d’un million de tokens est-il réellement disponible en auto-hébergement ?

Il s’agit du plafond défini dans la configuration. Les recettes démontrées atteignent 131K avec 8x H200, 32K avec du NVFP4 sur 4x RTX 6000 Pro, ou jusqu’à 800K avec IQ2_XXS, au prix d’un ralentissement important.