Mistral Large 4 오픈 웨이트: 다운로드, 하드웨어, 1비트 실행

Mistral Large 4의 전체 체크포인트는 약 1,060GB에 달하고, 실용적으로 쓸 수 있는 가장 작은 양자화 파일도 233GB입니다. Mistral Large 4 웨이트는 2026년 10월 29일 Hugging Face에 공개됐으며, 별도 승인 없이 받을 수 있습니다. 공식 FP8·NVFP4 빌드와 커뮤니티 GGUF도 함께 제공됩니다. 로컬에서 돌리려면 512GB 통합 메모리 워크스테이션이나 멀티 GPU 서버를 기준으로 잡는 편이 현실적입니다.

이번 글은 Mistral Large 4 API 프리뷰 리뷰의 다운로드 가이드입니다. 10월 29일 공개와 함께 달라진 파일 위치, 하드웨어 요구사항, 실행 명령어, 라이선스 제한만 다룹니다.

Mistral Large 4, 먼저 맞는 파일부터 고르자

공식 저장소는 mistralai/Mistral-Large-4-1T-A52B입니다. 전체 68개 파일 중 safetensors 샤드가 54개이며, 총용량은 1,060.6GB입니다. 저장소에는 gated: false가 표시돼 있습니다. NVFP4 버전은 mistralai/Mistral-Large-4-1T-A52B-NVFP4로, 32개 샤드와 총 610.1GB 용량으로 구성돼 있으며 역시 별도 승인이 필요 없습니다. 아래의 파일 크기와 샤드 수는 각 Hugging Face 저장소와 Hugging Face 출시 글을 기준으로 했습니다.

pip install -U "huggingface_hub[cli]"
hf download mistralai/Mistral-Large-4-1T-A52B --local-dir ./ml4-fp8
hf download mistralai/Mistral-Large-4-1T-A52B-NVFP4 --local-dir ./ml4-nvfp4
hf download unsloth/Mistral-Large-4-1T-A52B-GGUF --include "UD-IQ1_S*" --local-dir ./ml4-gguf

샤드 구성은 OrcaRouter의 파일 목록에서 확인할 수 있습니다. 54개 샤드 중 52개가 각각 약 20GB이고 마지막 두 개는 더 작습니다. 다운로드가 중단됐다면 같은 명령어를 다시 실행해 남은 샤드만 이어받으면 됩니다.

활성 파라미터가 52B여도 수백 GB가 필요한 이유

Mistral과 Hugging Face 아키텍처 문서에 따르면 Mistral Large 4는 총 1.05조 파라미터를 갖고 있으며, 계산 레이어에서 토큰당 490억 개가 활성화되고 임베딩까지 포함하면 520억 개가 활성화됩니다. 디코더는 전문가 128개로 구성된 MoE 레이어 71개를 사용하고, 토큰마다 라우팅 전문가 4개와 공유 전문가 1개를 선택합니다.

희소성은 연산량을 줄여주지만 저장 공간까지 줄여주지는 않습니다. 토큰마다 다섯 전문가만 실행하더라도 모든 전문가를 메모리에 올려둬야 합니다. 따라서 필요한 공간은 52B에 파라미터당 바이트 수를 곱해 계산할 것이 아니라, 전체 파일 크기에 런타임 여유 공간과 KV 캐시를 더해 잡아야 합니다. config.json에 적힌 100만 토큰 컨텍스트는 최대 설정값입니다. Hugging Face 엔드포인트 레시피에서 실제로 보여준 구성은 동시 시퀀스 16개, 컨텍스트 131K입니다.

Mistral Large 4용 하드웨어 구성

24GB나 48GB GPU 한 장으로는 이 모델을 담을 수 없습니다. 가장 작은 1비트 파일만 해도 약 233GB입니다. 아래 수치는 직접 측정한 벤치마크가 아니라 Hugging Face 배포 가이드에 공개된 출시 글의 측정값입니다.

DGX Spark(128GB)와 256GB 미만의 Mac에서는 실용적인 수준으로 1비트 빌드조차 로드할 수 없습니다. 233GB 파일을 기준으로 하면 256GB가 파일 자체를 담기 위한 하한선입니다. 이 빌드의 메모리 등급은 Unsloth가 제시한 내용과도 일치합니다. KV 캐시와 운영체제 오버헤드까지 고려하면 512GB급 머신을 준비하는 편이 낫습니다. 통합 메모리 445GB 시스템을 사용한 한 이용자도 IQ2_XXS에서 버거웠다고 전했습니다.

"아, 이 덩치 큰 모델(Mistral Large 4)을 작은 445GB 통합 메모리에 넣으려는데 IQ2_XXS에서도 너무 빡세다... SPARKS가 필요해!" — @Nateemerson, X

표를 기준으로 현실적인 선택지를 정리하면 이렇습니다. 1비트 파일은 233~260GB로 512GB 머신이 현실적이고, 2비트는 약 302GB부터 시작합니다. 4비트는 약 500GB에서 NVFP4 610GB까지 필요하며, 긴 컨텍스트를 사용할수록 캐시 공간이 추가로 들어갑니다.

Mac Studio에서 Unsloth 1비트 실행하기

Unsloth의 unsloth/Mistral-Large-4-1T-A52B-GGUF에는 UD-IQ1_S(약 233GB)와 UD-IQ1_M(약 260GB)가 있습니다. Unsloth는 파일 크기를 약 80% 줄이면서 top-1 정확도의 약 91%를 유지한다고 주장합니다. 다만 이는 모델 페이지에 적힌 업체 주장이지 독립적인 검증 결과는 아니므로, 실제 프롬프트로 직접 확인해야 합니다.

"1조 파라미터 모델이 정확도 91%의 top-1 성능을 유지하는 저희 1비트 GGUF로 Mac Studio에서 실행됩니다. Le Chonk는 현재까지 나온 가장 강력한 서구권 오픈 모델입니다." — @UnslothAI, X

1비트 파일은 llama.cpp로 실행하면 됩니다. 다만 Unsloth 페이지의 Ollama 예시는 더 큰 UD-Q4_K_XL을 기준으로 작성돼 있습니다.

llama serve -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf --ctx-size 8192 --port 8080
llama cli -m ./ml4-gguf/UD-IQ1_S.gguf --mmproj ./ml4-gguf/mmproj.gguf -p "Patch this Rust borrow error:"

이미지 입력을 사용하려면 --mmproj를 추가해야 합니다. 프로젝터 파일은 Unsloth 저장소에 올라와 있습니다. 256GB 머신에서는 컨텍스트를 8K~32K 수준으로 유지하고, mistral.rs는 IQ1 파일에 사용하지 않는 편이 좋습니다. GGUF 문서에 따르면 IQ1/IQ2/IQ3/IQ4는 지원되지 않으므로, 여기서는 Q2_K나 Q4_K를 사용해야 합니다. Unsloth는 추론 속도를 높이기 위한 speculative decoding용 DSpark 초안 파일도 제공합니다. 기본 실행이 안정된 뒤 활성화하는 것을 권합니다.

Blackwell·H200 환경은 vLLM으로 구성하기

vLLM은 문서에 안내된 서버 실행 경로입니다. OpenAI 호환 엔드포인트를 제공하며, Hugging Face의 vLLM 문서에 따르면 reasoning_effort는 low/medium/high를 지원합니다. 기본값은 high이고 비활성화할 수 없습니다. 텐서 병렬 수는 GPU 수에 맞춰야 합니다. H200 8장 FP8 구성이라면 8, 4-GPU NVFP4 노드라면 4를 지정합니다.

# 4x Blackwell NVFP4 example
vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 --tensor-parallel-size 4 --enable-expert-parallel --max-model-len 131072 --max-num-seqs 16 --max-num-batched-tokens 2048 --gpu-memory-utilization 0.85 --enable-prefix-caching --enforce-eager --port 8000

H200 8장 FP8 레퍼런스 구성에는 FP8 KV 캐시 데이터 타입과 DSpark 초안 헤드가 추가됩니다. Dell Enterprise Hub는 B300 4-GPU 노드에서 NVFP4를 배포합니다. Hugging Face의 파인튜닝 문서에 따르면 TRL LoRA 파인튜닝은 FP8을 대상으로 하며, 기준 구성은 B300 8장, rank 16, alpha 32, 학습률 1e-4입니다.

건너뛸 수 없는 라이선스 제한

웨이트에는 Mistral Ecosystem Open-Weight License가 적용됩니다. 공식 저장소의 LICENSE로 연결된 수정 MIT 라이선스입니다. 실행, 복사, 수정, 학습, 배포, 재라이선스, 복사본 및 파생물 판매가 가능하며, 명시된 매출 상한은 없습니다. 다만 Model-as-a-Service에는 제한이 있습니다. 입력, 파라미터 또는 학습 데이터에 상당한 통제권을 가진 추론·파인튜닝 접근을 제3자에게 판매하려면 별도의 Mistral 상업용 라이선스가 필요합니다. 모델을 내부에서 사용하거나, 특정 기능에 모델을 내장한 제품을 제공하거나, 다른 호스트로 요청을 중계하거나, Mistral 호스팅 서비스를 이용하는 경우는 예외로 분류됩니다.

일반적으로 직접 호스팅하거나 앱 내부에 모델을 포함해 배포하는 것은 라이선스에서 예외로 설명한 사용 범위에 들어갑니다. 반면 가공하지 않은 API 접근 권한을 판매하는 방식은 별도 계약이 필요한 영역에 가까우므로, 출시 전 반드시 라이선스 원문을 확인해야 합니다.

다운로드할까, API를 호출할까?

Mistral이 공개한 최종 API 요금은 Mistral 기준으로 입력 100만 토큰당 $0.70 / 출력 100만 토큰당 $2.10이며, 캐시된 토큰은 $0.07입니다. 디스크를 마련하기 전에 사이버·코딩 성능을 가장 빠르게 시험하는 방법입니다. Hugging Face 벤치마크 요약에서는 재현·패치 성능 82%, Cybench 40개 태스크에서 93%를 보고했습니다.

데이터 위치, 감사 대응, 자체 정책, 비공개 파인튜닝이 중요하다면 다운로드가 맞습니다. 반대로 운영 부담을 줄이고 싶다면 토큰을 빌리는 편이 낫습니다. Blackwell GPU 4장에 전력, 스토리지, 서빙 운영 비용까지 더하면 임대료와 운영을 포함했을 때 유효 토큰당 비용이 API보다 높아질 수 있습니다. 단순히 성능을 평가하려는 목적이라면 먼저 mistral-large-4 API를 호출하고, 512GB 머신을 준비한 뒤 233GB GGUF를 내려받는 순서를 추천합니다.

FAQ

공식 웨이트는 어디서 다운로드하나요?

mistralai/Mistral-Large-4-1T-A52B(약 1,060GB)와 mistralai/Mistral-Large-4-1T-A52B-NVFP4(약 610GB)입니다. 두 저장소 모두 별도 승인 없이 접근할 수 있습니다.

24GB GPU 한 장으로 실행할 수 있나요?

불가능합니다. 가장 작은 파일도 약 233GB이므로 최소 256GB 이상의 통합 메모리, 대용량 RAM 오프로딩, 또는 멀티 GPU 서버가 필요합니다. 실제 사용을 고려하면 512GB 구성이 현실적입니다.

Mac Studio에는 Unsloth의 어떤 파일을 써야 하나요?

메모리가 빠듯하다면 UD-IQ1_S(약 233GB), 512GB 머신에서 더 나은 품질을 원한다면 UD-IQ1_M(약 260GB)을 선택하면 됩니다. Q2_K/Q4_K_M는 300~500GB가 필요합니다.

1비트 모델도 비전과 Ollama를 지원하나요?

지원하는 런타임에서 --mmproj를 지정하면 가능합니다. 다만 Ollama 예시는 UD-Q4_K_XL 기준이므로, 1비트 파일에는 llama.cpp를 사용해야 합니다.

파인튜닝할 수 있나요?

가능합니다. FP8에서 TRL/LoRA를 사용할 수 있으며, 기준 구성은 B300 8장입니다. 학습 메모리와 1TB 이상의 저장 공간을 준비해야 합니다.

셀프 호스팅에서도 100만 토큰 컨텍스트를 쓸 수 있나요?

설정상 최대값은 100만 토큰입니다. 실제로 공개된 구성은 H200 8장에서 131K, RTX 6000 Pro 4장과 NVFP4에서 32K, IQ2_XXS에서 최대 800K입니다. 다만 컨텍스트가 길어지면 속도가 크게 떨어집니다.