Mistral Large 4 Open Weights: Download, Hardware, 1-Bit-Betrieb

Der vollständige Mistral-Large-4-Checkpoint belegt rund 1.060 GB, die kleinste praktisch nutzbare Quantisierung noch 233 GB. Die Weights von Mistral Large 4 sind seit dem 29. Oktober 2026 frei und ohne Zugangsbeschränkung auf Hugging Face verfügbar – mit offiziellen FP8- und NVFP4-Builds sowie Community-GGUFs. Für den lokalen Betrieb solltest du eine Workstation mit 512 GB Unified Memory oder einen Server mit mehreren GPUs einplanen.

Dieser Artikel ergänzt unseren Preview-Test der Mistral-Large-4-API und konzentriert sich ausschließlich auf die Neuerungen vom 29. Oktober: Speicherorte, passende Hardware, Startbefehle und Lizenzgrenzen.

Erst die passende Mistral-Large-4-Datei auswählen

Das offizielle Repository ist mistralai/Mistral-Large-4-1T-A52B. Es enthält 54 safetensors-Shards in insgesamt 68 Dateien mit zusammen 1.060,6 GB; gated: false bedeutet, dass kein Freischaltungsprozess nötig ist. Das NVFP4-Pendant findest du unter mistralai/Mistral-Large-4-1T-A52B-NVFP4. Es umfasst 32 Shards mit insgesamt 610,1 GB und ist ebenfalls frei zugänglich. Größen und Shard-Anzahlen stammen aus den jeweiligen Hugging-Face-Repositorien sowie dem Hugging-Face-Ankündigungsartikel.

pip install -U "huggingface_hub[cli]"
hf download mistralai/Mistral-Large-4-1T-A52B --local-dir ./ml4-fp8
hf download mistralai/Mistral-Large-4-1T-A52B-NVFP4 --local-dir ./ml4-nvfp4
hf download unsloth/Mistral-Large-4-1T-A52B-GGUF --include "UD-IQ1_S*" --local-dir ./ml4-gguf

Die Aufteilung der Shards – 52 der 54 Shards sind jeweils knapp 20 GB groß, die letzten beiden kleiner – ist in OrcaRouters Dateiliste dokumentiert. Mit demselben Befehl lässt sich ein abgebrochener kurzer Shard erneut laden.

Warum 52B aktive Parameter trotzdem Hunderte Gigabyte benötigen

Mistral Large 4 kommt laut Mistral und den Architekturhinweisen von Hugging Face auf insgesamt 1,05 Billionen Parameter. Pro Token werden in den Rechenschichten 49 Milliarden Parameter aktiv genutzt, mit Embeddings sind es 52 Milliarden. Der Decoder arbeitet mit 71 MoE-Schichten und jeweils 128 Experten; pro Token werden 4 geroutete plus 1 gemeinsamer Experte aktiviert.

Die Sparsity reduziert den Rechenaufwand, nicht aber den Speicherbedarf: Jeder Experte muss im Speicher liegen, auch wenn pro Token nur fünf davon aktiv sind. Plane daher mit der Gesamtgröße des Modells, zusätzlichem Laufzeitpuffer und KV-Cache – nicht mit der simplen Rechnung 52B mal Bytes pro Parameter. Das 1-Million-Token-Kontextfenster in config.json ist eine Obergrenze. Das Hugging-Face-Rezept für den Endpoint demonstriert 131K Tokens mit 16 gleichzeitig laufenden Sequenzen.

Hardware-Empfehlungen für Mistral Large 4

Keine einzelne GPU mit 24 oder 48 GB kann dieses Modell aufnehmen; allein die kleinste 1-Bit-Datei ist rund 233 GB groß. Die folgenden Werte stammen aus den Messungen des Ankündigungsartikels im Hugging-Face-Bereitstellungsleitfaden und nicht aus eigenen Benchmarks:

Ein DGX Spark mit 128 GB und jeder Mac mit weniger als 256 GB kann selbst den 1-Bit-Build für einen praktischen Betrieb nicht laden. Die 233-GB-Datei setzt 256 GB als Untergrenze für den Dateispeicher voraus – diese Klasse nennt Unsloth für diesen Build. Sobald KV-Cache und Betriebssystem dazukommen, ist ein System der 512-GB-Klasse die realistische Wahl. Ein Besitzer mit 445 GB Unified RAM berichtete, dass sich selbst IQ2_XXS noch schwierig anfühlte:

"ugh trying to get le chonk (Mistral Large 4) to fit on my li'l 445GB unified RAM and even at IQ2_XXS it's roughhhhh...I need SPARKS dangit!" — @Nateemerson auf X

Praktisch ergeben sich daraus drei Klassen: 1-Bit-Dateien mit 233-260 GB, für die ein System mit 512 GB realistisch ist, 2-Bit ab etwa 302 GB sowie 4-Bit mit etwa 500 GB bis hin zu 610 GB bei NVFP4. Bei langen Kontexten kommt zusätzlicher Cache hinzu.

Unsloth 1-Bit auf einem Mac Studio

Unsloths unsloth/Mistral-Large-4-1T-A52B-GGUF bietet UD-IQ1_S mit etwa 233 GB und UD-IQ1_M mit etwa 260 GB. Unsloth spricht von rund 91 % Top-1-Genauigkeit bei etwa 80 % weniger Speicherbedarf. Das ist eine Herstellerangabe auf der Modellseite, kein unabhängiges Ergebnis – prüfe die Werte daher mit deinen eigenen Prompts.

"The 1 trillion parameter model runs on a Mac Studio with our 1-bit GGUF which retains 91% top-1 accuracy. Le Chonk is the strongest Western open model to date." — @UnslothAI auf X

Für 1-Bit solltest du llama.cpp verwenden. Das Ollama-Beispiel auf der Unsloth-Seite bezieht sich auf das größere UD-Q4_K_XL:

llama serve -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf --ctx-size 8192 --port 8080
llama cli -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf -p "Patch this Rust borrow error:"

Für Bildeingaben ergänzt du --mmproj; die Projektordatei ist im Unsloth-Repository aufgeführt. Auf Maschinen mit 256 GB solltest du den Kontext bei 8K-32K halten. Für IQ1-Dateien ist mistral.rs keine gute Wahl: In der GGUF-Dokumentation werden IQ1/IQ2/IQ3/IQ4 als nicht unterstützt geführt. Verwende dort stattdessen Q2_K/Q4_K. Unsloth listet außerdem eine DSpark-Datei für speculative decoding; aktiviere sie erst, wenn der Basisbetrieb stabil läuft.

vLLM für Blackwell- oder H200-Teams

vLLM ist der dokumentierte Server-Weg und bietet einen OpenAI-kompatiblen Endpoint. Laut den vLLM-Hinweisen von Hugging Face unterstützt er bei reasoning_effort die Werte low, medium und high; standardmäßig gilt high und lässt sich nicht deaktivieren. Passe den Tensor-Parallelismus an die GPU-Anzahl an: 8 für das 8x-H200-FP8-Rezept, 4 für einen NVFP4-Knoten mit 4 GPUs:

# 4x Blackwell NVFP4 example
vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 --tensor-parallel-size 4 --enable-expert-parallel --max-model-len 131072 --max-num-seqs 16 --max-num-batched-tokens 2048 --gpu-memory-utilization 0.85 --enable-prefix-caching --enforce-eager --port 8000

Die FP8-Referenz für 8x H200 ergänzt den FP8-Datentyp für den KV-Cache sowie den DSpark-Draft-Head. Dells Enterprise Hub stellt NVFP4 auf einem B300-Knoten mit 4 GPUs bereit. Für TRL-LoRA-Fine-Tuning ist FP8 vorgesehen; die Referenz nutzt 8x B300, Rank 16, Alpha 32 und eine Lernrate von 1e-4, wie in den Fine-Tuning-Hinweisen von Hugging Face beschrieben.

Diese Lizenzgrenze darfst du nicht übersehen

Die Weights stehen unter der Mistral Ecosystem Open-Weight License, die im offiziellen Repository als LICENSE verlinkt ist. Es handelt sich um eine modifizierte MIT-Lizenz: Ausführen, kopieren, verändern, trainieren, weitergeben, unterlizenzieren und der Verkauf von Kopien oder Derivaten sind erlaubt; eine Umsatzgrenze wird nicht genannt. Die Einschränkung betrifft Model-as-a-Service: Wer Dritten Inferenz- oder Post-Training-Zugriff verkauft und ihnen dabei maßgebliche Kontrolle über Eingaben, Parameter oder Trainingsdaten gibt, benötigt eine separate kommerzielle Lizenz von Mistral. Interne Nutzung, Produkte mit fest integrierten Modellfunktionen, die Weiterleitung an einen anderen Host sowie die Nutzung über Mistrals eigenen Dienst sind davon ausgenommen.

Im Allgemeinen fallen Self-Hosting und der Versand innerhalb einer eigenen App unter die in der Lizenz genannten Ausnahmen. Der Verkauf eines unvermittelten API-Zugangs deutet dagegen auf die separate Vereinbarung hin – prüfe vor dem Start unbedingt den Lizenztext.

Herunterladen oder doch die API nutzen?

Die endgültigen API-Preise liegen laut Mistral bei 0,70 $ Input / 2,10 $ Output pro einer Million Tokens (0,07 $ für gecachte Tokens). Das ist der schnellste Weg, die Cyber- und Coding-Leistung zu testen – laut der Benchmark-Zusammenfassung von Hugging Face wurden 82 % beim Reproduce-and-Patch-Test und 93 % bei 40 Cybench-Aufgaben gemeldet –, bevor du Speicherplatz bindest.

Lade das Modell herunter, wenn du Kontrolle über Datenstandort, Audits, eigene Richtlinien oder privates Fine-Tuning brauchst. Miete Tokens, wenn der operative Aufwand gering bleiben soll: Vier Blackwell-GPUs samt Strom, Speicher und Serving können pro nutzbarem Token teurer werden als die API, sobald Miete und Betrieb eingerechnet sind. Für eine reine Evaluierung rufst du zunächst mistral-large-4 auf und lädst das 233-GB-GGUF erst herunter, wenn ein System mit 512 GB bereitsteht.

FAQ

Wo gibt es den offiziellen Download der Weights?

mistralai/Mistral-Large-4-1T-A52B (~1.060 GB) und mistralai/Mistral-Large-4-1T-A52B-NVFP4 (~610 GB). Beide sind frei zugänglich.

Kann eine einzelne GPU mit 24 GB das Modell ausführen?

Nein. Die kleinste Datei ist etwa 233 GB groß. Du brauchst daher mindestens 256 GB Unified Memory – realistisch sind 512 GB –, alternativ einen Offload auf großen Arbeitsspeicher oder einen Server mit mehreren GPUs.

Welche Unsloth-Datei eignet sich für einen Mac Studio?

UD-IQ1_S (~233 GB) bei knappem Speicher, UD-IQ1_M (~260 GB) für Systeme mit 512 GB. Q2_K/Q4_K_M benötigen 300-500 GB.

Unterstützt 1-Bit Vision und Ollama?

Ja, mit --mmproj in einer kompatiblen Laufzeitumgebung. Das Ollama-Beispiel verwendet UD-Q4_K_XL; für 1-Bit solltest du llama.cpp nutzen.

Kann ich das Modell fine-tunen?

Ja, mit TRL/LoRA auf FP8; als Referenz dienen 8x B300. Plane mindestens 1 TB Speicher sowie zusätzlichen Trainingsspeicher ein.

Ist der 1M-Kontext beim Self-Hosting tatsächlich nutzbar?

Er ist die Obergrenze der Konfiguration. Die demonstrierten Rezepte kommen auf 131K mit 8x H200, 32K mit NVFP4 auf 4x RTX 6000 Pro oder bis zu 800K mit IQ2_XXS – dann allerdings mit deutlicher Verlangsamung.