Mistral Large 4 con pesos abiertos: descarga, hardware y ejecución a 1 bit

El checkpoint completo de Mistral Large 4 ocupa unos 1.060 GB, y la cuantización más pequeña que se puede usar ronda los 233 GB. Los pesos de Mistral Large 4 llegaron a Hugging Face el 29 de octubre de 2026, sin restricciones de acceso, con versiones oficiales en FP8 y NVFP4, además de GGUF de la comunidad. Para ejecutarlo localmente con cierta holgura, conviene pensar en una estación de trabajo con 512 GB de memoria unificada o en un servidor con varias GPU.

Este artículo acompaña a nuestro análisis preliminar de la API de Mistral Large 4 y se centra exclusivamente en lo que cambió el 29 de octubre: dónde están los archivos, qué hardware necesita cada uno, cómo ponerlos en marcha y qué límites impone la licencia.

Elige primero el archivo correcto de Mistral Large 4

El repositorio oficial es mistralai/Mistral-Large-4-1T-A52B: 54 fragmentos safetensors repartidos en 68 archivos, con un total de 1.060,6 GB y gated: false. Su variante NVFP4 es mistralai/Mistral-Large-4-1T-A52B-NVFP4, con 32 fragmentos que suman 610,1 GB, también sin restricciones de acceso. Los tamaños y el número de fragmentos que aparecen abajo proceden de las páginas de esos repositorios en Hugging Face y del artículo de lanzamiento de Hugging Face.

pip install -U "huggingface_hub[cli]"
hf download mistralai/Mistral-Large-4-1T-A52B --local-dir ./ml4-fp8
hf download mistralai/Mistral-Large-4-1T-A52B-NVFP4 --local-dir ./ml4-nvfp4
hf download unsloth/Mistral-Large-4-1T-A52B-GGUF --include "UD-IQ1_S*" --local-dir ./ml4-gguf

La distribución de los fragmentos —52 de los 54 rondan los 20 GB y los dos últimos son más pequeños— está detallada en la lista de archivos de OrcaRouter. Si solo queda un fragmento corto, puedes volver a ejecutar el mismo comando para reanudar la descarga.

Por qué los 52.000 millones de parámetros activos siguen ocupando cientos de gigabytes

Mistral Large 4 suma 1,05 billones de parámetros, con 49.000 millones activos por token en las capas de cómputo (52.000 millones si se incluyen los embeddings), según Mistral y las notas de arquitectura de Hugging Face. El decodificador utiliza 71 capas MoE, cada una con 128 expertos: por token se seleccionan 4 expertos enrutados y 1 compartido.

La dispersión reduce el cómputo, pero no el almacenamiento: todos los expertos tienen que estar en memoria aunque solo cinco se activen para cada token. Por eso hay que calcular el tamaño total del modelo, el margen del tiempo de ejecución y la caché KV, no limitarse a multiplicar 52.000 millones por los bytes de cada parámetro. El contexto de 1 millón de tokens que aparece en config.json es un techo; la receta del endpoint de Hugging Face muestra 131K tokens con 16 secuencias simultáneas.

Configuraciones de hardware para Mistral Large 4

Ninguna GPU de 24 o 48 GB puede contener este modelo; solo el archivo más pequeño a 1 bit ocupa unos 233 GB. Las cifras siguientes son las mediciones del lanzamiento recogidas en la guía de despliegue de Hugging Face, no benchmarks propios:

DGX Spark (128 GB) y cualquier Mac con menos de 256 GB no pueden cargar ni siquiera la versión de 1 bit para un uso práctico. El archivo de 233 GB marca el mínimo por tamaño de archivo: 256 GB, la capacidad de la que habla Unsloth para esta versión. Cuando se suman la caché KV y el consumo del sistema operativo, lo razonable es apuntar a un equipo de la clase de 512 GB. Un propietario con 445 GB de RAM unificada contó que incluso IQ2_XXS iba justo:

"ugh trying to get le chonk (Mistral Large 4) to fit on my li'l 445GB unified RAM and even at IQ2_XXS it's roughhhhh...I need SPARKS dangit!" — @Nateemerson en X

En la práctica, los niveles quedan así: archivos de 1 bit de 233-260 GB —un equipo de 512 GB resulta realista—, 2 bits desde unos 302 GB, y 4 bits de ~500 GB hasta 610 GB en NVFP4, además de la caché adicional que exige un contexto largo.

Unsloth a 1 bit en un Mac Studio

unsloth/Mistral-Large-4-1T-A52B-GGUF de Unsloth ofrece UD-IQ1_S (~233 GB) y UD-IQ1_M (~260 GB). Unsloth afirma que alcanza aproximadamente un 91 % de precisión top-1 con un tamaño un 80 % menor; es una afirmación del proveedor en la página del modelo, no un resultado independiente, así que conviene validarla con tus propios prompts.

"The 1 trillion parameter model runs on a Mac Studio with our 1-bit GGUF which retains 91% top-1 accuracy. Le Chonk is the strongest Western open model to date." — @UnslothAI en X

Para 1 bit, usa llama.cpp. El ejemplo de Ollama de la página de Unsloth hace referencia al archivo más grande UD-Q4_K_XL:

llama serve -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf --ctx-size 8192 --port 8080
llama cli -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf -p "Patch this Rust borrow error:"

Añade --mmproj para introducir imágenes —el archivo proyector aparece en el repositorio de Unsloth—, mantén el contexto entre 8K y 32K en equipos de 256 GB y evita mistral.rs con archivos IQ1: su documentación sobre GGUF indica que IQ1/IQ2/IQ3/IQ4 no son compatibles. En ese caso, usa Q2_K/Q4_K. Unsloth también ofrece un archivo DSpark para generación especulativa; actívalo cuando la ejecución base sea estable.

vLLM para equipos con Blackwell o H200

vLLM es la vía de servidor documentada, con un endpoint compatible con OpenAI y un reasoning_effort de low/medium/high —high por defecto y sin posibilidad de desactivarlo—, según las notas de vLLM de Hugging Face. Ajusta el paralelismo de tensores al número de GPU: 8 para la configuración FP8 con 8x H200 y 4 para un nodo NVFP4 de 4 GPU:

# 4x Blackwell NVFP4 example
vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 --tensor-parallel-size 4 --enable-expert-parallel --max-model-len 131072 --max-num-seqs 16 --max-num-batched-tokens 2048 --gpu-memory-utilization 0.85 --enable-prefix-caching --enforce-eager --port 8000

La referencia FP8 con 8x H200 añade el tipo de caché KV en FP8 y el borrador DSpark. Enterprise Hub de Dell despliega NVFP4 en un nodo B300 de 4 GPU. El ajuste fino con TRL y LoRA apunta a FP8 —referencia: 8x B300, rango 16, alpha 32 y lr 1e-4— según las notas de ajuste fino de Hugging Face.

El límite de la licencia que no puedes ignorar

Los pesos utilizan la Mistral Ecosystem Open-Weight License, enlazada como LICENSE en el repositorio oficial. Es una licencia MIT modificada que permite ejecutar, copiar, modificar, entrenar, distribuir, sublicenciar y vender copias o derivados, sin indicar un límite de ingresos. La restricción afecta al Model-as-a-Service: vender a terceros acceso a inferencia o a un modelo posentrenado, con un control significativo sobre las entradas, los parámetros o los datos de entrenamiento, requiere una licencia comercial independiente de Mistral. El uso interno, los productos que integran el modelo en funciones concretas, la retransmisión a otro host y el uso alojado por Mistral quedan fuera de esa restricción.

En general, alojar el modelo por cuenta propia e integrarlo en tu aplicación entra en los usos excluidos que describe la licencia; vender acceso directo a una API apunta hacia el acuerdo independiente. Conviene revisar el texto de la licencia antes de poner el servicio en marcha.

¿Descargarlo o usar la API?

Las tarifas finales de la API son de 0,70 $ por millón de tokens de entrada y 2,10 $ por millón de tokens de salida (0,07 $ los tokens en caché), según Mistral. Es la forma más rápida de probar su rendimiento en ciberseguridad y programación —se ha informado de un 82 % en reproduce-and-patch y un 93 % en 40 tareas de Cybench, según el resumen de benchmarks de Hugging Face— antes de comprometer espacio de almacenamiento.

Descarga el modelo si necesitas control: residencia de datos, auditoría, políticas personalizadas o ajuste fino privado. Alquila tokens si quieres reducir la carga operativa: cuatro GPU Blackwell, más electricidad, almacenamiento y el trabajo de servir el modelo, pueden costar más por token útil que la API una vez incluidos el alquiler y las operaciones. Si solo quieres evaluarlo, prueba primero mistral-large-4 mediante la API y descarga después el GGUF de 233 GB, cuando tengas listo un equipo de 512 GB.

Preguntas frecuentes

¿Dónde se descargan los pesos oficiales?

mistralai/Mistral-Large-4-1T-A52B (~1.060 GB) y mistralai/Mistral-Large-4-1T-A52B-NVFP4 (~610 GB). Ambos están disponibles sin restricciones de acceso.

¿Puede ejecutarlo una sola GPU de 24 GB?

No. El archivo más pequeño ocupa unos 233 GB, así que necesitas como mínimo 256 GB de memoria unificada —512 GB es lo realista—, descargar parte del modelo en una máquina con mucha RAM o utilizar servidores con varias GPU.

¿Qué archivo de Unsloth conviene para un Mac Studio?

UD-IQ1_S (~233 GB) si vas justo de memoria y UD-IQ1_M (~260 GB) para equipos con 512 GB. Q2_K/Q4_K_M requieren entre 300 y 500 GB.

¿La versión de 1 bit es compatible con visión y Ollama?

Sí, usando --mmproj en un runtime compatible. El ejemplo de Ollama utiliza UD-Q4_K_XL; para 1 bit, usa llama.cpp.

¿Puedo hacerle un ajuste fino?

Sí, con TRL/LoRA sobre FP8 (referencia: 8x B300). Calcula más de 1 TB de almacenamiento, además de la memoria necesaria para el entrenamiento.

¿El contexto de 1 millón de tokens es real al alojarlo por cuenta propia?

Es el límite indicado en la configuración. Las recetas demostradas sirven 131K tokens con 8x H200, 32K con NVFP4 en 4x RTX 6000 Pro o hasta 800K con IQ2_XXS, aunque con una ralentización considerable.