AIREITER完整的 Mistral Large 4 checkpoint 約 1,060 GB，最小的可用量化版本也有 233 GB。Mistral Large 4 權重已於 2026 年 10 月 29 日上架 Hugging Face，不設存取門檻，官方提供 FP8 與 NVFP4 版本，社群也已推出 GGUF。若要實際在本機使用，建議準備 512 GB 統一記憶體工作站，或多 GPU 伺服器。
本文是Mistral Large 4 API 預覽評測的下載指南，只聚焦 10 月 29 日更新的內容：檔案位置、硬體需求、執行指令與授權限制。
先選對 Mistral Large 4 下載檔案
官方儲存庫是 mistralai/Mistral-Large-4-1T-A52B：共 68 個檔案，其中包含 54 個 safetensors 分片，總容量1,060.6 GB，且 gated: false。NVFP4 版本位於 mistralai/Mistral-Large-4-1T-A52B-NVFP4，共 32 個分片、總容量610.1 GB，同樣不設存取門檻。下表的容量與分片數，取自上述 Hugging Face 儲存庫頁面，以及 Hugging Face 發布文章。
| 檔案組合 | 容量 | 適合用途 |
|---|---|---|
mistralai/Mistral-Large-4-1T-A52B（FP8） | 約 1,060 GB | 參考品質，以及在 8x B300 上進行 TRL/LoRA 微調 |
mistralai/Mistral-Large-4-1T-A52B-NVFP4 | 約 610 GB | 使用 vLLM、搭配 4 張 Blackwell GPU 服務模型 |
unsloth/Mistral-Large-4-1T-A52B-GGUF UD-IQ1_S | 約 233 GB | 單機實驗（Unsloth 儲存庫） |
unsloth/Mistral-Large-4-1T-A52B-GGUF UD-IQ1_M | 約 260 GB | 擁有 512 GB 記憶體、希望換取更好品質時使用 |
ggml-org/Mistral-Large-4-1T-A52B-GGUF Q2_K / Q4_K_M | 約 302-500 GB | 在工作站上使用 llama.cpp |
pip install -U "huggingface_hub[cli]"
hf download mistralai/Mistral-Large-4-1T-A52B --local-dir ./ml4-fp8
hf download mistralai/Mistral-Large-4-1T-A52B-NVFP4 --local-dir ./ml4-nvfp4
hf download unsloth/Mistral-Large-4-1T-A52B-GGUF --include "UD-IQ1_S*" --local-dir ./ml4-gguf分片配置可參考 OrcaRouter 的檔案清單：其中 54 個分片有 52 個接近 20 GB，最後兩個較小。若中途只剩較小分片未完成，重新執行同一個指令即可續傳。
為什麼只有 52B 啟用參數，仍然需要數百 GB 記憶體？
根據 Mistral 與 Hugging Face 的架構說明，Mistral Large 4 總計1.05 兆參數；每個 token 在計算層實際啟用490 億參數（若包含 embedding 則為 520 億）。其 decoder 採用 71 層 MoE，每層有 128 個專家，每個 token 會路由至 4 個專家，另加 1 個共享專家。
稀疏架構能降低計算量，卻不會縮小儲存需求：即使每個 token 只啟用 5 個專家，所有專家仍必須放進記憶體。因此硬體規劃不能只用 52B 乘上每參數位元數，還要預留模型總容量、執行時額外空間與 KV cache。config.json 中的 100 萬 token context 是上限；Hugging Face 的 endpoint 配置範例則示範了 16 個並行序列、131K token 的情境。
Mistral Large 4 硬體配置怎麼選
單張 24 GB 或 48 GB GPU 都裝不下這個模型，光是最小的 1-bit 檔案就約 233 GB。以下數據來自 Hugging Face 部署指南中的發布文章測試結果，不是我們自行測得的基準：
| 機器 | 可容納的量化版本 | 發布測試中的 context／速度 |
|---|---|---|
| Mac Studio M3 Ultra，512 GB 統一記憶體 | 透過 llama.cpp 執行 Q2_K | prefill 約 90 tok/s，生成約 15 tok/s |
| 4x RTX 6000 Pro Blackwell | NVFP4 | 32K context，prefill 約 130-590 tok/s，生成約 10 tok/s |
| 4x RTX 6000 Pro Blackwell | IQ2_XXS | 可達 800K context；短上下文約 30 tok/s，長上下文約 3 tok/s |
| 8x H200，vLLM + FP8 + DSpark | 官方 FP8 | 131K、16 個請求；單一請求約 65 tok/s，接受 chat drafts 時為 120-138 tok/s |
| 4x B200/B300，vLLM | 官方 NVFP4 | 建議的 NVFP4 配置級別 |
| Dell XE9780 B300 節點 | 透過 Dell Hub 使用 NVFP4 | 4 GPU Docker 配置 |
DGX Spark（128 GB）以及任何低於 256 GB 的 Mac，實際上都無法載入 1-bit 版本。233 GB 的檔案代表 256 GB 只是檔案容量下限，也是Unsloth 為這個版本列出的記憶體級距；把 KV cache 與作業系統開銷算進去後，實際使用最好準備 512 GB 級距的機器。一名擁有 445 GB 統一記憶體的使用者表示，即使是 IQ2_XXS 也相當吃力：
「唉，我正努力把這個大傢伙（Mistral Large 4）塞進我那台小小的 445GB 統一記憶體機器裡，就算用 IQ2_XXS 也還是超吃力……我需要 SPARK 啊！」——@Nateemerson 發表於 X
從上表可以抓出幾個實用級距：1-bit 檔案為 233-260 GB，實際使用建議 512 GB 機器；2-bit 從約 302 GB 起跳；4-bit 約 500 GB，NVFP4 則為 610 GB，長 context 還要再加上額外 cache。
在 Mac Studio 上執行 Unsloth 1-bit
Unsloth 的 unsloth/Mistral-Large-4-1T-A52B-GGUF 提供 UD-IQ1_S（約 233 GB）與 UD-IQ1_M（約 260 GB）。Unsloth 宣稱在縮小約 80% 的容量下，仍可達約 91% 的 top-1 準確率；這是模型頁面的廠商說法，不是獨立測試結果，實際使用仍應以自己的 prompt 驗證。
「這個 1 兆參數模型能透過我們的 1-bit GGUF 在 Mac Studio 上執行，同時保留 91% 的 top-1 準確率。Le Chonk 是目前最強的西方開放模型。」——@UnslothAI 發表於 X
1-bit 版本請使用 llama.cpp；Unsloth 頁面上的 Ollama 範例，指的是容量較大的 UD-Q4_K_XL：
llama serve -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf --ctx-size 8192 --port 8080
llama cli -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf -p "Patch this Rust borrow error:"要輸入圖片，請加上 --mmproj（投影器檔案列在 Unsloth 儲存庫中）。在 256 GB 機器上，建議將 context 控制在 8K-32K；不要用 mistral.rs 執行 IQ1 檔案，因為它的 GGUF 文件列明不支援 IQ1/IQ2/IQ3/IQ4，因此在該環境請改用 Q2_K/Q4_K。Unsloth 也提供 DSpark draft 檔案，可用於 speculative decoding；先確認基礎模型穩定運作後再開啟。
Blackwell 或 H200 團隊適合用 vLLM
vLLM 是官方文件列出的伺服器方案，提供 OpenAI 相容端點，並支援 reasoning_effort 的 low/medium/high 選項。根據 Hugging Face 的 vLLM 說明，預設值是 high，而且無法停用。Tensor parallelism 要與 GPU 數量對應：8x H200 的 FP8 配置使用 8，4 GPU 的 NVFP4 節點則使用 4：
# 4x Blackwell NVFP4 example
vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 --tensor-parallel-size 4 --enable-expert-parallel --max-model-len 131072 --max-num-seqs 16 --max-num-batched-tokens 2048 --gpu-memory-utilization 0.85 --enable-prefix-caching --enforce-eager --port 80008x H200 的 FP8 參考配置會再加入 FP8 KV-cache dtype 與 DSpark draft head。Dell 的 Enterprise Hub 則能在 4 GPU B300 節點上部署 NVFP4。根據 Hugging Face 的微調說明，TRL LoRA 微調以 FP8 為目標，參考配置是 8x B300、rank 16、alpha 32、lr 1e-4。
這項授權限制不能忽略
權重採用Mistral Ecosystem Open-Weight License（在官方儲存庫中以 LICENSE 連結提供），是一份修改版 MIT 授權。你可以執行、複製、修改、訓練、散布、再授權，也能銷售副本或衍生作品，授權中沒有列出營收上限。真正的限制在於Model-as-a-Service：如果向第三方銷售推論或後訓練存取服務，並讓對方能實質控制輸入、參數或訓練資料，就需要另外取得 Mistral 商業授權。內部使用、將模型嵌入具體功能的產品、轉送至另一個主機，以及使用 Mistral 託管服務，則列為例外情境。
一般來說，自行託管模型，以及把模型內建在自家 App 中，都屬於授權所列的例外使用方式；但若銷售原始 API 存取權，就可能需要另外洽談授權。正式上線前，請務必以授權原文確認。
該下載模型，還是直接呼叫 API？
根據 Mistral 公布的最終 API 價格，每百萬 token 的費用為輸入 $0.70／輸出 $2.10（快取 token 為 $0.07）。在決定要不要準備儲存空間之前，先用 API 測試模型的資安與程式設計表現，是最快的方式；根據 Hugging Face 的基準摘要，相關結果包括 82% 的 reproduce-and-patch，以及 40 個 Cybench 任務中的 93%。
如果你重視資料所在地、稽核、自訂政策或私有微調，就下載模型自行掌控。若只是想降低營運負擔，租用 token 可能更划算：把 4 張 Blackwell GPU、電力、儲存與服務維運成本全部算進去後，租用與操作成本可能讓每個有效 token 的價格高於 API。若目前只是評估階段，先呼叫 mistral-large-4；等準備好 512 GB 機器後，再下載 233 GB 的 GGUF。
常見問題
官方權重下載在哪裡？
mistralai/Mistral-Large-4-1T-A52B（約 1,060 GB）與 mistralai/Mistral-Large-4-1T-A52B-NVFP4（約 610 GB）。兩者都不設存取門檻。
單張 24 GB GPU 能執行嗎？
不行。最小的檔案也有約 233 GB，因此至少需要 256 GB 以上的統一記憶體；實際使用建議 512 GB，或採用大記憶體 offload、多 GPU 伺服器。
Mac Studio 該選哪個 Unsloth 檔案？
記憶體吃緊時選 UD-IQ1_S（約 233 GB），512 GB 機器則可選品質較好的 UD-IQ1_M（約 260 GB）。Q2_K/Q4_K_M 需要 300-500 GB。
1-bit 支援視覺輸入與 Ollama 嗎？
支援，但執行環境必須支援 --mmproj。Ollama 的範例使用 UD-Q4_K_XL；1-bit 請改用 llama.cpp。
可以微調嗎？
可以，使用 FP8 搭配 TRL/LoRA（參考配置：8x B300）。請預留 1 TB 以上儲存空間，以及足夠的訓練記憶體。
自行託管時真的能跑 1M context 嗎？
那是設定檔中的 context 上限。實際展示的配置包括 8x H200 上的 131K、4x RTX 6000 Pro 上以 NVFP4 執行的 32K，以及使用 IQ2_XXS 時最高可達 800K，但速度會大幅下降。