Kimi K3 Open Weights veröffentlicht: 1,56 TB und wer sie betreiben kann

Die Kimi-K3-Gewichte lassen sich seit dem 27. Juli 2026 öffentlich herunterladen – elf Tage nach dem Start des Modells per API. Das klingt erst einmal nach einem klassischen Open-Weights-Release. Spätestens beim Download von 1,56 TB, verteilt auf 96 Safetensors-Shards, wird jedoch klar: Offen verfügbar heißt noch lange nicht, dass sich das Modell auch praktisch betreiben lässt. Das ist tatsächlich veröffentlicht worden, das erlaubt die Lizenz und diese Infrastruktur braucht K3 im Betrieb.

Das steckt im Kimi-K3-Release

Der vollständige Checkpoint liegt auf Hugging Face unter moonshotai/Kimi-K3; für Nutzer in China gibt es einen ModelScope-Mirror. Das Repository umfasst 1,56 TB: 96 Safetensors-Shards sowie config.json, Modell- und Tokenizer-Code (modeling_kimi_k3.py, encoding_k3.py, ein tiktoken-Modell mit 160K Vokabular), Vision-Preprocessing und die LICENSE-Datei. Parallel dazu hat Moonshot den technischen Bericht im MoonshotAI-GitHub-Repository veröffentlicht.

Drei Angaben aus der Model Card sind wichtiger als die Gesamtzahl der Parameter:

• 104B Parameter sind pro Token aktiv. Das bestätigt die Model Card erstmals öffentlich: Von insgesamt 2,8T Parametern werden je Token 16 von 896 gerouteten Experten genutzt, dazu kommen 2 Shared Experts – verteilt über 93 Layer.
• Die Gewichte liegen nativ in MXFP4 vor. Moonshot setzte ab der SFT-Phase Quantization-Aware Training ein, die Aktivierungen nutzen MXFP8. Es handelt sich also nicht um einen nachträglich quantisierten BF16-Checkpoint: Die 4-Bit-Gewichte sind der Release.
• Die Attention teilt sich im Verhältnis 69/24 auf. Zum Einsatz kommen Kimi Delta Attention Layers und Gated MLA Layers, bei einem Kontextfenster von 1.048.576 Tokens.

Die Verbreitung nahm sofort Fahrt auf. Am 28. Juli 2026, einen Tag nach dem ersten Commit in der Commit-Historie, zählte das Repository 6,6k Likes. Auch Community-Konvertierungen waren bereits verfügbar: unsloth/Kimi-K3-GGUF entstand noch am selben Abend, während GrEarl/Kimi-K3-GGUF bis zum nächsten Morgen eine vollständige Q2_K-Konvertierung hochgeladen hatte.

Die Kimi K3 License ist keine MIT-Lizenz

Frühere Kimi-Flaggschiffe erschienen unter einer Modified-MIT-Lizenz. Bei K3 ist das anders: Das Modell steht unter der Kimi K3 License. Ihr Kern lehnt sich an MIT an und erlaubt Nutzung, Kopieren, Ändern, Zusammenführen, Veröffentlichen, Verteilen, Unterlizenzieren, Verkaufen, Fine-Tuning und abgeleitete Werke. Zwei zusätzliche Bedingungen sollte man aber lesen, bevor man darauf ein Produkt aufbaut.

Die Model-as-a-Service-Klausel. Der maßgebliche Passus lautet: "If the Licensee or any of its affiliates operates a Model as a Service business, and the aggregate revenue of the Licensee and its affiliates exceeds 20 million US dollars ... in total over any consecutive 12 months, the Licensee must enter into a separate agreement with Moonshot AI before using the Software or its derivative works for any commercial purpose." MaaS definiert die Lizenz als Bereitstellung von Inferenz- oder Fine-Tuning-Zugang für Dritte, sofern diese Eingaben, Parameter oder Trainingsdaten kontrollieren können. Ausdrücklich nicht als MaaS gelten zwei Fälle: Endnutzerprodukte, in deren konkreten Funktionen Modellfähigkeiten eingebettet sind, sowie das reine Weiterleiten von Anfragen an Modelle, die jemand anderes hostet.

Die Namensnennung im Produkt. Überschreitet ein auf K3 basierendes kommerzielles Produkt 100 Millionen monatlich aktive Nutzer oder 20 Millionen USD Monatsumsatz, muss „Kimi K3“ prominent in der Benutzeroberfläche erscheinen.

Für rein interne Nutzung sind beide Klauseln ausgenommen – also für alles, was das Modell, seine Ausgaben oder Fähigkeiten nicht Dritten zugänglich macht. Gleiches gilt für den Zugang über offizielle Moonshot-Produkte oder zertifizierte Inferenzpartner. Wörtlich gelesen deckt die Ausnahme für interne Nutzung in Abschnitt 4(a) auch das Fine-Tuning von K3 auf internen Daten ab. Und Abschnitt 2 nennt die Einbettung als Produktfunktion explizit als Fall, der nicht unter MaaS fällt. Wer K3-Inferenz dagegen als Dienst weiterverkauft, trifft genau den Anwendungsfall, für den die Zusatzklauseln geschrieben wurden. Ab der Schwelle von $20M wird aus einer Lizenzfrage eine Vertragsverhandlung. Lesen Sie die LICENSE selbst, bevor Sie eine Produkt-Roadmap darauf ausrichten; diese Zusammenfassung ist eine Lesart des Textes und keine Rechtsberatung.

1,56 TB: Was dafür an Hardware nötig ist

Herunterladen kann die Kimi-K3-Open-Weights jeder. Sie bereitzustellen, ist eine andere Sache.

Das offizielle K3-Rezept von vLLM formuliert die Untergrenze klar: mindestens 8× GB300; für echten Produktionsverkehr ist ein Multi-Node-Setup vorgesehen. Für AMD nennt es mindestens 8× MI355X oder MI350X mit dem ROCm-Image. Auch SGLang veröffentlicht ein K3-Cookbook, das auf dieselbe Hardwareklasse zielt.

Wer diese Infrastruktur tatsächlich aufsetzt, sollte die Betriebshinweise im Rezept besonders aufmerksam lesen. Serving läuft über das spezielle Image vllm/vllm-openai:kimi-k3 beziehungsweise vllm/vllm-openai_rocm:kimi-k3 auf AMD – nicht mit Standard-vLLM. Für nodeübergreifenden Traffic wird --all2all-backend deepep_v2 über RDMA oder flashinfer_nvlink_one_sided über NVLink empfohlen. Mit UCX_TLS="rc,cuda_copy" bleibt der KV-Cache-Transfer auf RDMA. Das passende MoE-Backend hängt von der Topologie ab: deep_gemm_mega_moe für Expert-Parallel-Deployments, flashinfer_trtllm bei TP>1. Das Rezept weist zudem darauf hin, dass K3 gelegentlich ein Tool-Call-Format erzeugt, das der eigene Parser ablehnt. Schema-Validierung und Retry-Logik gehören deshalb vom ersten Tag an in die Serving-Schicht.

Der übliche Ausweg – weiter herunterquantisieren – hilft hier kaum. MXFP4 entspricht bereits ungefähr 4,25 Bit pro Parameter. Der Spielraum, der 1T-Modelle auf Workstations überhaupt erst handhabbar machte, war also schon verbraucht, bevor der Download begann. Die erste Community-GGUF-Konvertierung mit 2 Bit kam auf 928 GB in 94 Shards. Das sind 40 % weniger, aber bei einer Größe, die nie der entscheidende Engpass war.

Kommt für Kontextfenster in Richtung 1M Tokens noch KV-Cache hinzu, wächst der benötigte Arbeitsspeicher weiter. Der auffälligste Self-Hosting-Bericht am ersten Tag stammte von einem Team, das die offiziellen MXFP4-Gewichte angeblich auf 80× RTX 5090s über gewöhnliches Ethernet betreibt – ohne HBM und ohne Re-Quantisierung. Genannt wurden unoptimierte rund 20 Tokens pro Sekunde in einem einzelnen Stream. Das ist eine nicht überprüfte Behauptung vom ersten Tag in einem einzelnen Post, kein Benchmark; außerdem definiert eine Konfiguration keine Mindestanforderung. Erwähnenswert ist sie vor allem wegen der Richtung: Der günstigste berichtete Weg auf Consumer-Hardware benötigte achtzig High-End-GPUs und lieferte eine Geschwindigkeit, die die meisten als zäh empfinden dürften.

Ollama verdient eine gesonderte Erwähnung, weil es für viele der erste Versuch sein wird. Der Bibliothekseintrag existiert, verweist aber auf kimi-k3:cloud – also auf Ollamas gehostetes Routing statt auf einen lokalen Download. Einen Weg für Laptop oder einzelne Workstation gibt es für dieses Modell derzeit nicht. Da MXFP4 das native Format und keine nachträgliche Komfort-Quantisierung ist, bleibt für die übliche Community-Route über aggressive Re-Quantisierung weniger Spielraum als bei der K2-Reihe. Der Support in llama.cpp ist weiterhin in Bewegung; den aktuellen Stand sollte man deshalb prüfen, statt in die eine oder andere Richtung von Annahmen auszugehen.

Wo Kimi K3 heute läuft

Für fast alle ist ein gehosteter Endpoint die praktische Wahl. Und wie bei Open-Weights-Releases üblich, waren Drittanbieter innerhalb eines Tages verfügbar. Die folgenden Preise gelten pro Million Tokens für Input/Output und entsprechen den Angaben vom 28. Juli 2026.

Vor der Auswahl sind vor allem zwei Punkte wichtig. Erstens: Das Kontextfenster unterscheidet sich massiv. Nebius verlangt zwar denselben Listenpreis, bietet ihn aber nur mit 8K Kontext – damit entfällt der wichtigste Grund, K3 zu nutzen. Zweitens: Auch die Quantisierung variiert. Moonshot liefert natives MXFP4, Baseten nutzt FP8, mehrere Anbieter nennen die Präzision gar nicht. Für langfristige agentische Aufgaben sind Referenzpräzision und das vollständige 1M-Fenster in der Regel wichtiger als Preisunterschiede. Bei kurzen Prompts mit hohem Volumen können Latenz und regionale Verfügbarkeit dagegen durchaus höher gewichtet werden.

Neben den direkten Endpoints bündelt OpenRouter sie hinter einem einzelnen Key. Multi-Modell-Gateways routen K3 zudem neben anderen offenen chinesischen Frontier-Modellen; AIReiter bietet dieselbe Modellklasse über eine Anthropic-kompatible API an, falls die vorhandenen Tools dieses Protokoll bereits sprechen. Moonshots eigener Endpoint unterstützt sowohl OpenAI- als auch Anthropic-kompatible Schnittstellen. Vollständige Details zu Raten und Tarifen finden sich in der Kimi K3 pricing breakdown.

Self-Hosting oder gehosteter Endpoint?

Rechnen Sie zuerst. Bei $3/$15 pro Million Tokens kosten eine Milliarde Output-Tokens $15.000, eine Milliarde Input-Tokens $3.000. Dem gegenüber steht mindestens ein Node der 8×-GB300-Klasse: eine Investition für das Rechenzentrum oder ein nach Accelerator-Stunden abgerechneter Mietposten, dazu Interconnect, Strom, Kühlung und ein Engineer, der --all2all-backend auswendig kennt. Weder NVIDIA noch die großen Cloud-Anbieter veröffentlichen einen Listenpreis für diese Konfiguration. Vergleichen sollte man daher auf Basis eines aktuellen Angebots statt mit Faustregeln. Außerdem wichtig: Hardwarekosten sind fix, API-Kosten skalieren mit der tatsächlichen Nutzung.

Das Self-Hosting der Kimi-K3-Open-Weights lohnt sich in drei Situationen – und diese sind enger gefasst, als sie zunächst klingen:

1. Air-Gap- oder Datenresidenz-Vorgaben, die kein externer Endpoint erfüllen kann. Das ist der stärkste Grund; die Kosten entscheiden hier nicht.
2. Fine-Tuning mit proprietären Daten. Die Lizenz erlaubt dies ausdrücklich, und kein gehosteter Endpoint bietet es. Die Trainingskosten kommen allerdings zu den Serving-Kosten hinzu und liegen darüber.
3. Dauerhaft hohe Auslastung. Wer einen Multi-Node-Cluster rund um die Uhr auslastet, kann mit eigener Hardware unter die tokenbasierte Abrechnung kommen. Gelegentliche Lastspitzen reichen dafür nicht.

Wenn keiner dieser Fälle zutrifft, nutzen Sie einen Endpoint und betrachten Sie die Gewichte als Option, nicht als Plan. Für die meisten Teams liegt der Wert eines offenen Frontier-Modells nicht darin, dass sie es selbst betreiben werden. Er liegt darin, dass der Preis der gehosteten Variante nun mit der Möglichkeit konkurrieren muss, es theoretisch selbst tun zu können.

FAQ

Ist Kimi K3 Open Source?

Kimi K3 ist Open Weight. Der vollständige 2,8T-Checkpoint ist herunterladbar, und die Kimi K3 License erlaubt Nutzung, Änderungen, Verteilung und Fine-Tuning. Trainingsdaten und die vollständige Trainingspipeline wurden nicht veröffentlicht. Da die Lizenz außerdem für Model-as-a-Service-Betreiber eine umsatzabhängige Klausel enthält, handelt es sich nicht um Open Source im OSI-Sinn.

Kann ich Kimi K3 lokal mit Ollama ausführen?

Nein. Der Ollama-Eintrag kimi-k3 ist kimi-k3:cloud und routet zu einem gehosteten Endpoint. Die nativen MXFP4-Gewichte sind 1,56 TB groß; selbst ein Community-GGUF mit 2 Bit belegt noch 928 GB. Für Consumer-Hardware gibt es daher keinen lokalen Weg.

Unter welcher Lizenz stehen die Kimi-K3-Gewichte?

Unter der Kimi K3 License. Sie basiert auf MIT, verlangt aber eine separate Vereinbarung mit Moonshot, wenn ein Model-as-a-Service-Geschäft über einen beliebigen Zeitraum von 12 Monaten mehr als $20M Umsatz erzielt. Zusätzlich ist ab 100M MAU oder $20M Monatsumsatz eine Namensnennung in der Benutzeroberfläche vorgeschrieben. Interne Nutzung ist von beiden Anforderungen ausgenommen.

Wo kann ich Kimi K3 ohne Download nutzen?

Über Moonshots eigene API und die Kimi-App sowie über Baseten, Fireworks und Nebius. Alle vier nannten am 28. Juli 2026 $3/$15 pro Million Tokens als Basistarif, wobei der Vergleich Einschränkungen hat: Fireworks bietet zusätzlich einen Tarif für $4.50/$22.50 an, und Nebius liefert den Basistarif mit einem Kontextfenster von 8K statt 1M. Eine Einordnung des Modells und seiner Benchmarks bietet der Kimi K3 overview.