Mistral Large 4 Açık Ağırlıkları: İndirme, Donanım ve 1-Bit Çalıştırma

Mistral Large 4'ün tam checkpoint'i yaklaşık 1.060 GB, kullanılabilir en küçük quant dosyası ise 233 GB boyutunda. Mistral Large 4 ağırlıkları 29 Ekim 2026'da Hugging Face üzerinde, erişim kısıtlaması olmadan yayımlandı; resmi FP8 ve NVFP4 sürümlerinin yanı sıra topluluk tarafından hazırlanan GGUF dosyaları da mevcut. Modeli yerel olarak çalıştırmak için pratikte 512 GB birleşik belleğe sahip bir iş istasyonu ya da çok GPU'lu bir sunucu gerekiyor.

Bu yazı, Mistral Large 4 API ön incelememizin indirme odaklı tamamlayıcısı. Burada yalnızca 29 Ekim'de netleşen konulara bakıyoruz: dosyaların bulunduğu yerler, donanım uyumluluğu, çalıştırma komutları ve lisans sınırları.

Önce doğru Mistral Large 4 dosyasını indirin

Resmi depo mistralai/Mistral-Large-4-1T-A52B. Burada 68 dosyaya bölünmüş 54 adet safetensors parçası bulunuyor; toplam boyut 1.060,6 GB ve depo erişim kısıtlaması olmadan sunuluyor. NVFP4 sürümü olan mistralai/Mistral-Large-4-1T-A52B-NVFP4 ise 32 parçadan oluşuyor ve toplam boyutu 610,1 GB. Aşağıdaki boyut ve parça sayıları, Hugging Face depo sayfalarıyla Hugging Face'in lansman yazısından alınmıştır.

pip install -U "huggingface_hub[cli]"
hf download mistralai/Mistral-Large-4-1T-A52B --local-dir ./ml4-fp8
hf download mistralai/Mistral-Large-4-1T-A52B-NVFP4 --local-dir ./ml4-nvfp4
hf download unsloth/Mistral-Large-4-1T-A52B-GGUF --include "UD-IQ1_S*" --local-dir ./ml4-gguf

Parçaların dağılımı — 54 parçanın 52'si yaklaşık 20 GB, son iki parça ise daha küçük — OrcaRouter'ın dosya listesinde ayrıntılı olarak veriliyor. Küçük bir parçanın indirilmesi yarıda kalırsa aynı komutu yeniden çalıştırarak devam edebilirsiniz.

Aktif 52B parametre, neden hâlâ yüzlerce GB bellek istiyor?

Mistral ve Hugging Face mimari notlarına göre Mistral Large 4 toplamda 1,05 trilyon parametreye sahip. Hesaplama katmanlarında token başına 49 milyar parametre aktif; embedding'ler dahil edildiğinde bu sayı 52 milyara çıkıyor. Decoder yapısında, her biri 128 uzmana sahip 71 MoE katmanı bulunuyor; her token için 4 yönlendirilmiş ve 1 paylaşılan uzman devreye giriyor.

Seyreklik hesaplama maliyetini düşürüyor, depolama ihtiyacını değil. Her token için yalnızca beş uzman kullanılsa da bütün uzmanların bellekte tutulması gerekiyor. Bu nedenle hesabı 52B x parametre başına byte şeklinde yapmayın; toplam dosya boyutuna çalışma zamanı payını ve KV cache'i de ekleyin. config.json içindeki 1 milyon token bağlamı bir üst sınır. Hugging Face endpoint tarifi ise 16 eşzamanlı diziyle 131K token kullanımını gösteriyor.

Mistral Large 4 için donanım seçenekleri

Tek bir 24 GB veya 48 GB GPU bu modeli taşıyamaz; en küçük 1-bit dosyanın kendisi bile yaklaşık 233 GB. Aşağıdaki değerler kendi benchmark'larımız değil, Hugging Face dağıtım rehberinde lansman yazısıyla birlikte paylaşılan ölçümler:

128 GB belleğe sahip DGX Spark ve 256 GB'ın altındaki tüm Mac modelleri, pratik kullanım için 1-bit sürümü bile yükleyemez. 233 GB'lık dosya, 256 GB'ı dosya boyutu açısından alt sınır haline getiriyor; bu da Unsloth'un bu yapı için belirttiği sınıf. KV cache ve işletim sistemi payı hesaba katıldığında 512 GB sınıfında bir sistem planlamak gerekiyor. 445 GB birleşik RAM'e sahip bir kullanıcı, IQ2_XXS sürümünün bile zorlayıcı olduğunu şöyle aktardı:

"ugh trying to get le chonk (Mistral Large 4) to fit on my li'l 445GB unified RAM and even at IQ2_XXS it's roughhhhh...I need SPARKS dangit!" — @Nateemerson on X

Tablodan çıkarılabilecek pratik sınıflar şöyle: 1-bit dosyalar 233-260 GB (512 GB'lık sistem gerçekçi seçenek), 2-bit sürümler yaklaşık 302 GB'dan başlıyor, 4-bit sürümler yaklaşık 500 GB'dan 610 GB'lık NVFP4'e kadar çıkıyor. Uzun bağlamlarda cache için ayrıca alan gerekiyor.

Mac Studio'da Unsloth 1-bit çalıştırma

Unsloth'un unsloth/Mistral-Large-4-1T-A52B-GGUF deposunda UD-IQ1_S (yaklaşık 233 GB) ve UD-IQ1_M (yaklaşık 260 GB) seçenekleri bulunuyor. Unsloth, yaklaşık %80 daha küçük boyutla top-1 doğruluğunun yaklaşık %91 seviyesinde kaldığını öne sürüyor. Bu, model sayfasındaki üretici iddiası; bağımsız bir sonuç değil. Bu yüzden kendi prompt'larınızla doğrulamanız gerekir.

"The 1 trillion parameter model runs on a Mac Studio with our 1-bit GGUF which retains 91% top-1 accuracy. Le Chonk is the strongest Western open model to date." — @UnslothAI on X

1-bit için llama.cpp kullanın. Unsloth sayfasındaki Ollama örneği daha büyük olan UD-Q4_K_XL dosyasını referans alıyor:

llama serve -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf --ctx-size 8192 --port 8080
llama cli -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf -p "Patch this Rust borrow error:"

Görüntü girdisi için --mmproj seçeneğini ekleyin; projector dosyası Unsloth deposunda listeleniyor. 256 GB'lık makinelerde bağlamı 8K-32K aralığında tutun. IQ1 dosyaları için mistral.rs kullanmayın: GGUF belgelerinde IQ1/IQ2/IQ3/IQ4 desteklenmeyen formatlar arasında yer alıyor. Bu çalışma zamanı için Q2_K/Q4_K kullanın. Unsloth ayrıca spekülatif decoding için bir DSpark taslak dosyası sunuyor; bunu temel çalıştırma kararlı hale geldikten sonra etkinleştirin.

Blackwell veya H200 ekipleri için vLLM

Belgelenen sunucu seçeneği vLLM. OpenAI uyumlu bir endpoint sunuyor ve Hugging Face vLLM notlarına göre reasoning_effort için low/medium/high seçeneklerini destekliyor; varsayılan değer high ve kapatılamıyor. Tensor parallelism değerini GPU sayısına göre ayarlayın: 8x H200 FP8 kurulumu için 8, 4 GPU'lu NVFP4 node için 4:

# 4x Blackwell NVFP4 example
vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 --tensor-parallel-size 4 --enable-expert-parallel --max-model-len 131072 --max-num-seqs 16 --max-num-batched-tokens 2048 --gpu-memory-utilization 0.85 --enable-prefix-caching --enforce-eager --port 8000

8x H200 FP8 referans kurulumu, FP8 KV-cache dtype'ı ve DSpark taslak başlığını da ekliyor. Dell Enterprise Hub, 4 GPU'lu B300 node üzerinde NVFP4 dağıtımı yapıyor. Hugging Face fine-tuning notlarına göre TRL LoRA fine-tuning hedefi FP8; referans yapılandırma 8x B300, rank 16, alpha 32 ve lr 1e-4.

Atlayamayacağınız lisans sınırı

Ağırlıklar, resmi depoda LICENSE olarak yer alan Mistral Ecosystem Open-Weight License kapsamında dağıtılıyor. Bu, değiştirilmiş bir MIT lisansı: çalıştırma, kopyalama, değiştirme, eğitim, dağıtım, alt lisans verme ve kopya/türev ürün satışı mümkün; metinde bir gelir sınırı belirtilmiyor. Kısıtlama ise Model-as-a-Service tarafında. Üçüncü taraflara, girdiler, parametreler veya eğitim verileri üzerinde anlamlı kontrol sunan inference ya da post-training erişimini satmak için Mistral'dan ayrı bir ticari lisans gerekiyor. Dahili kullanım, modelin belirli özelliklere gömülü olduğu ürünler, başka bir host'a aktarma ve Mistral tarafından barındırılan kullanım bu kapsamın dışında tutuluyor.

Genel çerçevede kendi sunucunuzda barındırmak ve modeli uygulamanızın içine gömmek lisansın istisna olarak tanımladığı kullanımlar arasında. Ham API erişimi satmak ise ayrı bir anlaşma gerektiren alana yaklaşıyor. Ürünü yayına almadan önce lisans metnini mutlaka kontrol edin.

İndirmeli misiniz, yoksa API'yi mi kullanmalısınız?

Mistral'a göre nihai API fiyatları milyon token başına 0,70 dolar giriş / 2,10 dolar çıkış (cache'lenmiş token için 0,07 dolar). Bu, disklere yatırım yapmadan önce modelin siber güvenlik ve kodlama davranışını denemenin en hızlı yolu. Hugging Face benchmark özetinde yeniden üretme ve düzeltme başarısı %82, 40 Cybench görevindeki başarı ise %93 olarak raporlanıyor.

Kontrol sizin için önemliyse indirin: veri yerleşimi, denetim, özel politika ve kurum içi fine-tuning gibi avantajlar elde edersiniz. Daha düşük operasyon yükü istiyorsanız token kiralayın. Dört Blackwell GPU'su, elektrik, depolama ve servisleme maliyeti; kiralama ve operasyon giderleri hesaba katıldığında yararlı token başına API'den daha pahalıya gelebilir. Yalnızca değerlendirme yapacaksanız önce mistral-large-4 API'sini çağırın; 512 GB'lık sistem hazır olduğunda 233 GB'lık GGUF dosyasını indirin.

Sıkça sorulan sorular

Resmi ağırlık indirme bağlantısı nerede?

mistralai/Mistral-Large-4-1T-A52B (yaklaşık 1.060 GB) ve mistralai/Mistral-Large-4-1T-A52B-NVFP4 (yaklaşık 610 GB). Her ikisi de erişim kısıtlaması olmadan sunuluyor.

Tek bir 24 GB GPU ile çalışır mı?

Hayır. En küçük dosya yaklaşık 233 GB. Bu nedenle en az 256 GB birleşik bellek (gerçekçi seçenek 512 GB), büyük RAM'e offload veya çok GPU'lu sunucu gerekiyor.

Mac Studio için hangi Unsloth dosyasını seçmeliyim?

Bellek kısıtlıysa UD-IQ1_S (yaklaşık 233 GB), 512 GB'lık makinelerde daha iyi kalite için UD-IQ1_M (yaklaşık 260 GB). Q2_K/Q4_K_M için 300-500 GB gerekiyor.

1-bit sürüm vision ve Ollama'yı destekliyor mu?

Destekleyen bir çalışma zamanında --mmproj seçeneğiyle evet. Ollama örneği UD-Q4_K_XL kullanıyor; 1-bit için llama.cpp tercih edin.

Fine-tuning yapabilir miyim?

Evet, FP8 üzerinde TRL/LoRA kullanılabilir (referans yapılandırma: 8x B300). En az 1 TB depolama ve eğitim belleği için ek bütçe ayırın.

Kendi sunucumda 1 milyon token bağlam gerçekten kullanılabilir mi?

Bu değer config dosyasındaki üst sınır. Gösterilen kurulumlar 8x H200 ile 131K, 4x RTX 6000 Pro üzerinde NVFP4 ile 32K veya IQ2_XXS ile ciddi hız kaybı pahasına 800K'ya kadar bağlam sunuyor.