AIREITER完整的 Mistral Large 4 checkpoint 约占 1,060 GB，最小的可用量化版本也有 233 GB。Mistral Large 4 权重已于 2026 年 10 月 29 日在 Hugging Face 上线，无需申请访问权限，同时提供官方 FP8、NVFP4 版本以及社区 GGUF 文件。想要在本地实际运行，建议准备 512 GB 统一内存工作站，或采用多 GPU 服务器。
本文是《Mistral Large 4 API 预览评测》的下载配套文章，只聚焦 10 月 29 日发生变化的内容：文件位置、硬件适配、运行命令和许可证限制。
先选对 Mistral Large 4 文件
官方仓库是 mistralai/Mistral-Large-4-1T-A52B：共 68 个文件，其中包含 54 个 safetensors 分片，总大小为 1,060.6 GB，并标注为 gated: false。对应的 NVFP4 仓库是 mistralai/Mistral-Large-4-1T-A52B-NVFP4，包含 32 个分片，总大小为 610.1 GB，同样无需申请访问权限。下面的大小和分片数量来自这些 Hugging Face 仓库页面以及 Hugging Face 发布文章。
| 文件集 | 大小 | 适用场景 |
|---|---|---|
mistralai/Mistral-Large-4-1T-A52B (FP8) | 约 1,060 GB | 参考质量，以及在 8x B300 上使用 TRL/LoRA 微调 |
mistralai/Mistral-Large-4-1T-A52B-NVFP4 | 约 610 GB | 使用 vLLM 在 4 张 Blackwell GPU 上部署 |
unsloth/Mistral-Large-4-1T-A52B-GGUF UD-IQ1_S | 约 233 GB | 单机实验（Unsloth 仓库） |
unsloth/Mistral-Large-4-1T-A52B-GGUF UD-IQ1_M | 约 260 GB | 拥有 512 GB 内存、希望获得更好质量时使用 |
ggml-org/Mistral-Large-4-1T-A52B-GGUF Q2_K / Q4_K_M | 约 302-500 GB | 在工作站上通过 llama.cpp 运行 |
pip install -U "huggingface_hub[cli]"
hf download mistralai/Mistral-Large-4-1T-A52B --local-dir ./ml4-fp8
hf download mistralai/Mistral-Large-4-1T-A52B-NVFP4 --local-dir ./ml4-nvfp4
hf download unsloth/Mistral-Large-4-1T-A52B-GGUF --include "UD-IQ1_S*" --local-dir ./ml4-gguf分片情况（其中 52 个分片接近每个 20 GB，最后两个更小）详见 OrcaRouter 的文件列表；如果某个分片下载中断，再次运行相同命令即可继续下载较短的分片。
为什么只有 52B 激活参数，仍然需要数百 GB
根据 Mistral 和 Hugging Face 的架构说明，Mistral Large 4 总计包含 1.05 万亿参数，计算层每个 token 激活 490 亿参数（算上嵌入层则为 520 亿）。其解码器采用 71 个 MoE 层，每层有 128 个专家；每个 token 会路由到 4 个专家，另加 1 个共享专家。
稀疏化能减少计算量，却不会减少存储需求：即使每个 token 只会触发 5 个专家，所有专家仍然必须放进内存。因此，规划硬件时不能只按 52B × 每参数字节数估算，还要加上模型总大小、运行余量以及 KV cache。config.json 中的 100 万 token 上下文是上限；Hugging Face 的端点配置示例展示的是 16 个并发序列、131K token 的运行方式。
Mistral Large 4 的硬件配置参考
没有任何单张 24 GB 或 48 GB GPU 能装下这个模型；光是最小的 1-bit 文件就约 233 GB。下面的数据来自 Hugging Face 部署指南中的发布测量结果，并非我们的实测：
| 机器 | 可运行的量化版本 | 发布测量中的上下文 / 速度 |
|---|---|---|
| Mac Studio M3 Ultra，512 GB 统一内存 | 通过 llama.cpp 使用 Q2_K | Prefill 约 90 tok/s，生成约 15 tok/s |
| 4x RTX 6000 Pro Blackwell | NVFP4 | 32K 上下文，Prefill 约 130-590 tok/s，生成约 10 tok/s |
| 4x RTX 6000 Pro Blackwell | IQ2_XXS | 可实现 800K 上下文；短上下文约 30 tok/s，长上下文约 3 tok/s |
| 8x H200，vLLM + FP8 + DSpark | 官方 FP8 | 131K、16 个请求；单请求约 65 tok/s，接受聊天草稿时为 120-138 tok/s |
| 4x B200/B300，vLLM | 官方 NVFP4 | 推荐的 NVFP4 配置 |
| Dell XE9780 B300 节点 | 通过 Dell Hub 使用 NVFP4 | 4 GPU Docker 配置 |
DGX Spark（128 GB）以及任何低于 256 GB 的 Mac，都无法在实际使用中加载哪怕 1-bit 版本。233 GB 的文件意味着 256 GB 只是文件大小层面的最低门槛（这也是 Unsloth 为该版本列出的内存级别）；把 KV cache 和操作系统开销算进去后，建议使用 512 GB 级别的机器。一位拥有 445 GB 统一内存的用户表示，即使使用 IQ2_XXS，体验也很吃力：
“唉，我正想把这个大家伙（Mistral Large 4）塞进我那台小小的 445GB 统一内存机器里，但即使是 IQ2_XXS 也够呛……我需要 SPARK，真是的！”——@Nateemerson 在 X 上表示
按上表可以简单分成几档：1-bit 文件为 233-260 GB，使用 512 GB 机器更现实；2-bit 从约 302 GB 起；4-bit 约 500 GB，NVFP4 则最高到 610 GB；如果使用长上下文，还要为额外的 cache 留出空间。
在 Mac Studio 上运行 Unsloth 1-bit
Unsloth 的 unsloth/Mistral-Large-4-1T-A52B-GGUF 提供 UD-IQ1_S（约 233 GB）和 UD-IQ1_M（约 260 GB）两个版本。Unsloth 声称，在体积缩小约 80% 的同时，可以达到约 91% 的 top-1 准确率。这是模型页面上的厂商说法，并非独立测试结果，实际使用时仍应根据自己的提示词验证。
“这个 1 万亿参数模型可以通过我们的 1-bit GGUF 在 Mac Studio 上运行，同时保留 91% 的 top-1 准确率。Le Chonk 是目前最强的西方开放模型。”——@UnslothAI 在 X 上表示
1-bit 版本应使用 llama.cpp；Unsloth 页面中的 Ollama 示例针对的是更大的 UD-Q4_K_XL：
llama serve -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf --ctx-size 8192 --port 8080
llama cli -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf -p "Patch this Rust borrow error:"要输入图片，请加上 --mmproj（Unsloth 仓库中列出了对应的 projector 文件）。在 256 GB 机器上，建议把上下文控制在 8K-32K，并避开 mistral.rs 运行 IQ1 文件：其 GGUF 文档明确列出 IQ1/IQ2/IQ3/IQ4 不受支持，因此在该运行时中应使用 Q2_K/Q4_K。Unsloth 还提供了用于推测解码的 DSpark 草稿文件，建议先确认基础模型稳定运行，再启用它。
Blackwell 或 H200 团队的 vLLM 配置
vLLM 是官方文档列出的服务器方案，提供兼容 OpenAI 的接口，并支持 low/medium/high 三档 reasoning_effort。根据 Hugging Face 的 vLLM 说明，默认值为 high，且无法禁用。张量并行数要与 GPU 数量匹配：8x H200 的 FP8 配置使用 8，4 GPU 的 NVFP4 节点使用 4：
# 4x Blackwell NVFP4 example
vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 --tensor-parallel-size 4 --enable-expert-parallel --max-model-len 131072 --max-num-seqs 16 --max-num-batched-tokens 2048 --gpu-memory-utilization 0.85 --enable-prefix-caching --enforce-eager --port 80008x H200 的 FP8 参考配置还会加入 FP8 KV-cache dtype 和 DSpark 草稿头。Dell 的 Enterprise Hub 则可在 4 GPU B300 节点上部署 NVFP4。根据 Hugging Face 的微调说明，TRL LoRA 微调以 FP8 为目标，参考配置为 8x B300、rank 16、alpha 32、lr 1e-4。
不能忽略的许可证限制
权重采用Mistral Ecosystem Open-Weight License（在官方仓库中以 LICENSE 文件提供），这是一份修改版 MIT 许可证：可以运行、复制、修改、训练、分发、再许可，也可以销售副本或衍生作品，且没有规定收入上限。限制点在于Model-as-a-Service：如果向第三方出售推理或后训练访问，并让对方能够对输入、参数或训练数据进行实质控制，就需要单独获得 Mistral 商业许可证。内部使用、将模型嵌入具体功能后随产品交付、转发到另一台主机，以及使用 Mistral 托管服务，都属于许可证明确排除在外的场景。
通常来说，自托管以及将模型内置到自己的应用中，属于许可证所描述的排除场景；销售原始 API 访问则更可能需要单独签约。正式上线前，请以许可证原文为准进行确认。
应该下载模型，还是直接调用 API？
根据 Mistral 公布的信息，最终 API 价格为每百万 token 输入 $0.70 / 输出 $2.10（缓存 token 为 $0.07）。在投入硬盘和服务器之前，这是测试其网络安全与编程能力最快的方式；Hugging Face 的基准总结报告称，它在 reproduce-and-patch 上达到 82%，在 40 个 Cybench 任务上达到 93%。
如果你重视数据驻留、审计、自定义策略或私有微调，可以下载模型以获得更大控制权。若只是想降低运维负担，租用 token 往往更省事：算上四张 Blackwell GPU、电力、存储和服务部署，租赁和运营成本叠加后，每个有效 token 的成本可能高于 API。只想做评估的话，先调用 mistral-large-4，等 512 GB 机器准备好后，再下载 233 GB 的 GGUF。
常见问题
官方权重从哪里下载？
mistralai/Mistral-Large-4-1T-A52B（约 1,060 GB）和 mistralai/Mistral-Large-4-1T-A52B-NVFP4（约 610 GB）。两者都无需申请访问权限。
单张 24 GB GPU 能运行吗？
不能。最小文件约 233 GB，因此至少需要 256 GB 统一内存（实际使用建议 512 GB），或者采用大内存卸载、多 GPU 服务器。
Mac Studio 应该选择哪个 Unsloth 文件？
内存紧张时选择 UD-IQ1_S（约 233 GB），512 GB 机器可以选择质量更好的 UD-IQ1_M（约 260 GB）。Q2_K/Q4_K_M 需要 300-500 GB。
1-bit 支持视觉输入和 Ollama 吗？
支持，但运行时需要通过 --mmproj 提供支持。Ollama 示例使用的是 UD-Q4_K_XL；1-bit 版本请使用 llama.cpp。
可以对它进行微调吗？
可以，在 FP8 上使用 TRL/LoRA（参考配置：8x B300）。同时要为存储准备 1 TB 以上空间，并预留训练所需的内存。
自托管时真的能使用 1M 上下文吗？
这是配置文件中的上限。已经展示的配置包括：8x H200 上的 131K、4x RTX 6000 Pro 上使用 NVFP4 时的 32K，以及 IQ2_XXS 可达到的最高 800K，但速度会明显下降。