Открытые веса Mistral Large 4: загрузка, железо и запуск 1-bit

Полная контрольная точка Mistral Large 4 занимает около 1 060 ГБ, а самый компактный пригодный для работы вариант — 233 ГБ. Веса Mistral Large 4 появились на Hugging Face 29 октября 2026 года: доступ к ним не ограничен, а официальные сборки доступны в FP8 и NVFP4, дополнительно есть пользовательские GGUF. Для практического локального запуска понадобится рабочая станция с 512 ГБ объединённой памяти или сервер с несколькими GPU.

Это практическое продолжение нашего обзора и предварительного теста API Mistral Large 4. Здесь разбираем только изменения от 29 октября: где лежат файлы, какое железо подойдёт, какими командами запускать модель и что разрешает лицензия.

Сначала выберите подходящий файл Mistral Large 4

Официальный репозиторий — mistralai/Mistral-Large-4-1T-A52B: 54 шарда safetensors в 68 файлах общим объёмом 1 060,6 ГБ; параметр gated: false означает отсутствие ограничений на скачивание. Версия NVFP4 находится в репозитории mistralai/Mistral-Large-4-1T-A52B-NVFP4: 32 шарда, всего 610,1 ГБ, также без gate. Размеры и количество шардов указаны на страницах этих репозиториев Hugging Face и в публикации о запуске на Hugging Face.

pip install -U "huggingface_hub[cli]"
hf download mistralai/Mistral-Large-4-1T-A52B --local-dir ./ml4-fp8
hf download mistralai/Mistral-Large-4-1T-A52B-NVFP4 --local-dir ./ml4-nvfp4
hf download unsloth/Mistral-Large-4-1T-A52B-GGUF --include "UD-IQ1_S*" --local-dir ./ml4-gguf

Схема разбиения на шарды (52 из 54 занимают примерно по 20 ГБ, два последних меньше) подробно приведена в списке файлов OrcaRouter. Если загрузка оборвалась на небольшом шарде, повторно запустите ту же команду — она продолжится с нужного места.

Почему при 52B активных параметрах всё равно нужны сотни гигабайт

Всего в Mistral Large 4 1,05 триллиона параметров, из которых в вычислениях для каждого токена участвуют 49 миллиардов (52 миллиарда с учётом эмбеддингов) — так указано у Mistral и в описании архитектуры на Hugging Face. Декодер использует 71 MoE-слой, в каждом по 128 экспертов: на один токен выбираются 4 маршрутизируемых эксперта и 1 общий.

Разреженность уменьшает объём вычислений, но не требования к памяти: все эксперты должны находиться в памяти, хотя для каждого токена работают только пять. Ориентируйтесь не на формулу «52B × байт на параметр», а на полный размер модели, запас для рантайма и KV-кэш. Миллион токенов в config.json — это верхний предел; в рецепте для endpoint на Hugging Face показан запуск на 131K токенов с 16 параллельными последовательностями.

Варианты железа для Mistral Large 4

Ни один одиночный GPU на 24 или 48 ГБ не вместит эту модель: даже самый компактный 1-битный файл занимает около 233 ГБ. Значения ниже взяты из измерений в публикации о запуске и приведены в руководстве Hugging Face по развёртыванию, это не наши собственные бенчмарки:

DGX Spark с 128 ГБ и любой Mac с объёмом памяти менее 256 ГБ не смогут практически загрузить даже 1-битную сборку. Файл на 233 ГБ задаёт минимальный класс системы в 256 ГБ — именно такой вариант указывает Unsloth для этой сборки. Но с учётом KV-кэша и накладных расходов ОС лучше рассчитывать на устройство класса 512 ГБ. Один из владельцев системы с 445 ГБ объединённой памяти сообщил, что даже IQ2_XXS работает тяжело:

«Эх, пытаюсь впихнуть le chonk (Mistral Large 4) в свои скромные 445 ГБ объединённой памяти, и даже на IQ2_XXS всё тяжеловато... Мне нужны SPARKS, чёрт возьми!» — @Nateemerson в X

Если свести варианты к практическим уровням: файлы 1-bit на 233–260 ГБ требуют реалистично рассчитывать на систему с 512 ГБ; 2-bit начинается примерно от 302 ГБ, 4-bit занимает около 500 ГБ, а NVFP4 — до 610 ГБ. При длинном контексте дополнительно понадобится место под кэш.

Unsloth 1-bit на Mac Studio

В репозитории Unsloth unsloth/Mistral-Large-4-1T-A52B-GGUF доступны UD-IQ1_S (~233 ГБ) и UD-IQ1_M (~260 ГБ). Unsloth заявляет около 91% точности top-1 при размере примерно на 80% меньше. Это утверждение производителя на странице модели, а не независимый результат, поэтому проверяйте его на собственных запросах.

«Модель с триллионом параметров запускается на Mac Studio с нашим 1-битным GGUF, сохраняя 91% точности top-1. Le Chonk — самая сильная западная открытая модель на сегодняшний день». — @UnslothAI в X

Для 1-bit используйте llama.cpp. Пример для Ollama на странице Unsloth относится к более крупному UD-Q4_K_XL:

llama serve -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf --ctx-size 8192 --port 8080
llama cli -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf -p "Patch this Rust borrow error:"

Для обработки изображений добавьте --mmproj — файл проектора указан в репозитории Unsloth. На машинах с 256 ГБ держите контекст в пределах 8K–32K и не используйте mistral.rs с файлами IQ1: в его документации по GGUF IQ1/IQ2/IQ3/IQ4 указаны как неподдерживаемые. Для него выбирайте Q2_K или Q4_K. Unsloth также публикует файл DSpark для чернового декодирования; включать его стоит после стабильного запуска базовой модели.

vLLM для команд с Blackwell или H200

vLLM — документированный вариант серверного запуска с OpenAI-совместимым endpoint. Параметр reasoning_effort принимает значения low/medium/high; по умолчанию используется high, отключить рассуждения нельзя. Это следует из заметок Hugging Face о vLLM. Число tensor-параллельных GPU должно соответствовать конфигурации: 8 для рецепта FP8 на 8x H200 и 4 для узла NVFP4 с четырьмя GPU:

# 4x Blackwell NVFP4 example
vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 --tensor-parallel-size 4 --enable-expert-parallel --max-model-len 131072 --max-num-seqs 16 --max-num-batched-tokens 2048 --gpu-memory-utilization 0.85 --enable-prefix-caching --enforce-eager --port 8000

В эталонной конфигурации FP8 на 8x H200 дополнительно используются тип KV-кэша FP8 и черновая голова DSpark. Enterprise Hub от Dell разворачивает NVFP4 на узле B300 с четырьмя GPU. Для дообучения через TRL LoRA используется FP8; в качестве ориентира приведены 8x B300, rank 16, alpha 32 и learning rate 1e-4 — см. заметки Hugging Face по fine-tuning.

Ограничение лицензии, которое нельзя игнорировать

Веса распространяются по Mistral Ecosystem Open-Weight License (файл LICENSE доступен в официальном репозитории). Это изменённая лицензия MIT: модель можно запускать, копировать, изменять, дообучать, распространять, передавать по сублицензии и продавать копии или производные продукты; ограничения по выручке в ней не указаны. Главное исключение — Model-as-a-Service: если вы продаёте третьим сторонам доступ к инференсу или дообучению и при этом предоставляете существенный контроль над входами, параметрами или обучающими данными, потребуется отдельная коммерческая лицензия Mistral. В лицензии отдельно оговорены внутреннее использование, продукты с моделью, встроенной в конкретные функции, ретрансляция на другой хост и использование инфраструктуры Mistral.

В целом собственный сервер и встраивание модели в приложение относятся к перечисленным в лицензии исключениям; продажа прямого доступа к API уже ближе к сценарию, для которого нужна отдельная договорённость. Перед запуском обязательно сверяйтесь с текстом лицензии.

Скачать модель или пользоваться API?

Итоговые тарифы API составляют $0.70 за миллион входных токенов / $2.10 за миллион выходных ($0.07 за кэшированные), согласно Mistral. Это самый быстрый способ проверить возможности модели в кибербезопасности и программировании: в сводке бенчмарков Hugging Face указаны 82% для reproduce-and-patch и 93% на 40 задачах Cybench. И всё это можно сделать до покупки дисков.

Скачивайте модель, если вам нужны контроль, локализация данных, аудит, собственные политики или приватное дообучение. API выгоднее по операционной нагрузке: четыре Blackwell GPU, электричество, хранилище и обслуживание нередко обходятся дороже за полезный токен, чем API, если учитывать аренду и эксплуатацию. Если задача — только оценить модель, сначала вызовите mistral-large-4, а GGUF на 233 ГБ скачивайте после подготовки системы с 512 ГБ.

FAQ

Где скачать официальные веса?

mistralai/Mistral-Large-4-1T-A52B (~1 060 ГБ) и mistralai/Mistral-Large-4-1T-A52B-NVFP4 (~610 ГБ). Оба репозитория доступны без gate.

Запустится ли модель на одном GPU с 24 ГБ?

Нет. Самый маленький файл занимает около 233 ГБ, поэтому минимум понадобится 256 ГБ объединённой памяти (реалистичнее — 512 ГБ), выгрузка в оперативную память большого объёма или сервер с несколькими GPU.

Какой файл Unsloth выбрать для Mac Studio?

UD-IQ1_S (~233 ГБ), если память ограничена, и UD-IQ1_M (~260 ГБ) для систем с 512 ГБ. Для Q2_K/Q4_K_M потребуется 300–500 ГБ.

Поддерживает ли 1-bit зрение и Ollama?

Да, если рантайм поддерживает --mmproj. В примере для Ollama используется UD-Q4_K_XL; для 1-bit применяйте llama.cpp.

Можно ли дообучать модель?

Да, через TRL/LoRA на FP8; в качестве ориентира указаны 8x B300. Понадобится более 1 ТБ хранилища и память для обучения.

Реален ли контекст в 1M токенов при самостоятельном запуске?

Это верхний предел, заданный конфигурацией. В продемонстрированных рецептах используются 131K на 8x H200, 32K для NVFP4 на 4x RTX 6000 Pro или до 800K с IQ2_XXS, но при этом скорость резко падает.