AIREITERDeepSeek DeepInfer ist tatsächlich unter Apache-2.0 als Open Source verfügbar – aber noch kein fertiges Serving-Produkt. Der erste Release richtet sich an DeepSeek-V4.1-Flash auf NVIDIA-SM100- oder Huawei-Ascend-950-Hardware und dokumentiert vor allem Offline-Inferenz statt eines vollständigen Online-Stacks.
DeepInfer in einem Satz
DeepInfer ist DeepSeeks spezialisierte Inferenz-Engine für DeepSeek-V4.1-Flash – kein Modell und keine gehostete API. Das offizielle Repository beschreibt eine Engine mit Kernfunktionen für Inferenz im großen Maßstab, aber keinen universellen Server für beliebige Modelle.
Die offizielle Ankündigung und die Unterlagen im Repository datieren den Release auf den 20. Oktober 2026. Die Engine steht unter Apache-2.0. Für unterstützte Hardware, den Offline-Fokus und nicht enthaltene Serving-Komponenten sind die Deployment-Hinweise des Repositorys die maßgebliche Quelle.
Die Lizenz ist offen – das Serving-Produkt noch nicht vollständig
Apache-2.0 beantwortet die Lizenzfrage, nicht die Frage nach dem konkreten Betrieb. Der öffentliche Release enthält eine Inferenz-Engine und Beispiele. In den Deployment-Fragen und -Antworten wird allerdings eine deutlich engere öffentliche Abgrenzung beschrieben als bei DeepSeeks vollständigem internen Service.
| Funktion | Im ersten DeepInfer-Release enthalten? | Was das bedeutet |
|---|---|---|
| Offline-Inferenz mit DeepSeek-V4.1-Flash | Ja | Der dokumentierte Einstieg ist Batch- beziehungsweise Offline-Ausführung |
| Apache-2.0-Lizenz der Engine | Ja | Der Code kann unter den Bedingungen dieser Lizenz eingesehen und weiterverwendet werden |
| Online-Server mit OpenAI-kompatibler API | Nicht dokumentiert | Die HTTP- und Protokollebene muss selbst bereitgestellt werden |
| Verteiltes KV-Cache-System | Im öffentlichen Release nicht dokumentiert | Eine gemeinsam genutzte Cache-Schicht wird nicht als Deployment-Service mitgeliefert |
| Entkopplung von Prefill und Decode | Im öffentlichen Release nicht dokumentiert | Die Trennung der Phasen und der Datentransfer bleiben externe Aufgaben |
| Load-Balancing zwischen Replikas | Im öffentlichen Release nicht dokumentiert | Das Routing über mehrere Replikas muss extern gelöst werden |
| Breite Modellunterstützung | Nein | Der geprüfte Release zielt auf ein einzelnes DeepSeek-Modell |
Was der erste Release tatsächlich kann
DeepInfer verbindet DeepSeek-spezifische Kernel und Scheduling-Funktionen für spezialisierte Inferenz.
Modell-, Hardware- und Build-Anforderungen
Dokumentiert sind Linux, Python 3.12, GCC 13 oder neuer, NVIDIA SM100 mit CUDA 13 oder Huawei Ascend 950 mit CANN 9.2. Unterstützt wird DeepSeek-V4.1-Flash; als Standard-Checkpoint kommt DeepSeek-V4.1-Flash-1017 zum Einsatz.
Unterstützung für H100, Consumer-RTX-Karten, AMD, Apple Silicon und Windows wird durch die geprüften Release-Unterlagen nicht belegt. Die veröffentlichte Liste der Beschleuniger sollte daher als harte Voraussetzung verstanden werden, nicht als unverbindliche Empfehlung.
Die wichtigsten Funktionen der Engine
- DSpark Speculative Decoding: Die Engine schlägt Entwurfstokens vor und ermittelt anhand von Konfidenzwerten, wie viel Verifikation sinnvoll ist. Das Repository nennt eine maximale Entwurfslänge von 5 Tokens.
- SWA mit begrenztem Replay: Nach einem Cache-Treffer kann die Engine ein begrenztes Suffix erneut abspielen, statt den gesamten Kontext neu zu berechnen. Das dokumentierte Beispiel verwendet eine Keep-Einstellung von 140 Tokens. Das ist eine Optimierung, aber kein Ersatz für einen verteilten KV-Cache-Service.
- Parallelisierung und Load-Balancing: Attention-Datenparallelität, Context-Parallelism, Expert-Parallelism für Mixture-of-Experts sowie Load-Balancing zwischen Experten gehören zum Engine-Design.
- Asynchrones Scheduling: Die Batch-Vorbereitung auf der CPU kann parallel zur Ausführung auf dem Beschleuniger laufen.
- Kontrollen für reproduzierbare Ergebnisse: Die Dokumentation beschreibt NVIDIA-exklusive batch-invariante Inferenz und deterministisches Sampling.
- Strukturierte Ausgaben: Auf der Generierungsebene werden Einschränkungen per Regex, JSON Schema und EBNF unterstützt.
Hardware und Benchmark-Realität
Das offizielle Benchmark-Setup ist teuer genug, um die Bedeutung von „verfügbar“ zu verändern. Die DeepInfer-README nennt vier NVIDIA-SM100-GPUs für Prefill und 64 NVIDIA-SM100-GPUs für Decode. Das sind spezialisierte Tests – keine Ergebnisse, die sich von den meisten Lesern auf einer Workstation nachstellen lassen.
| Phase | In den Release-Unterlagen genanntes offizielles Setup | Art der gemeldeten Messung |
|---|---|---|
| Prefill | 4 × NVIDIA SM100 | Durchsatz bei nicht gecachtem Input im Verhältnis zur Latenz pro Schritt |
| Decode | 64 × NVIDIA SM100 | Aggregierter Output-Durchsatz im Verhältnis zur Geschwindigkeit pro Nutzer |
| Kontext in den zitierten Diagrammen | 131.072 Tokens | Belegt nicht die Performance bei jeder Kontextlänge |
| Vergleich | Eigene Kurven von DeepInfer | Kein kontrollierter Head-to-Head-Vergleich mit vLLM oder SGLang |
Der Release belegt weder die Kosten pro Token noch die End-to-End-Latenz einer Anfrage oder eine Überlegenheit gegenüber vLLM beziehungsweise SGLang. Eine belastbare Bewertung muss den vorgesehenen Workload nachbilden und darf sich nicht nur an der großen Benchmark-Kurve orientieren.
DeepInfer, vLLM und SGLang nach Einsatzszenario
Entscheidend ist der operative Umfang. DeepInfer ist die spezialisierte Option für das unterstützte DeepSeek-Modell und die passenden Beschleuniger. Wenn Modellvielfalt und ein vollständiger Serving-Stack gefragt sind, bleiben vLLM und SGLang die sichereren Ausgangspunkte.
| Deployment-Aufgabe | Besserer Ausgangspunkt | Grund |
|---|---|---|
| DeepSeek-spezifische Kernel und Scheduling untersuchen | DeepInfer | Produktionsnahe Implementierung für DeepSeek-V4.1-Flash |
| Mehrere Open Models hinter einer API betreiben | vLLM oder SGLang | Breiter dokumentierter Funktionsumfang |
| Schnell einen OpenAI-kompatiblen Service starten | vLLM oder SGLang | DeepInfer dokumentiert keinen vollständigen Online-Server |
| Deterministisches oder batch-invariantes Verhalten auf NVIDIA evaluieren | DeepInfer | Diese Kontrollen sind als Funktionen dokumentiert |
| Übliche Workstation- oder ältere Rechenzentrum-Hardware einsetzen | vLLM oder SGLang | DeepInfer unterstützt eine deutlich kleinere Auswahl an Beschleunigern |
| Einen Geschwindigkeitsvorteil nachweisen | Alle Kandidaten benchmarken | Die DeepInfer-Diagramme liefern keinen direkten Vergleich unter identischen Bedingungen |
Praktische Checkliste für den Einsatz
- Beschleuniger zuerst prüfen. Nicht mit dem Build-Skript anfangen, wenn das Deployment nicht auf SM100- oder Ascend-950-Hardware läuft.
- Modell abgleichen. Der geprüfte Release zielt auf DeepSeek-V4.1-Flash. Für einen Multi-Modell-Service braucht es eine andere Engine-Strategie oder eine zusätzliche Serving-Schicht.
- Offline und Online getrennt betrachten. Offline-Evaluierungen und synthetische Generierung sind deutlich einfacher als eine API für Kunden.
- Fehlende Services auflisten. Für HTTP-Verarbeitung, Authentifizierung, Quotas, Observability, Routing, Replica-Balancing und ein KV-Cache-Design muss zusätzlich geplant werden.
- Den eigenen Traffic benchmarken. Prompt-Länge, Parallelität, Cache-Trefferquote, Output-Länge, Time to First Token, Inter-Token-Latenz und Durchsatz sollten erfasst werden.
- Stabilität der Ausgaben testen. Wenn Reproduzierbarkeit wichtig ist, müssen die NVIDIA-exklusiven batch-invarianten und deterministischen Einstellungen mit der exakt verwendeten Sampler-Konfiguration überprüft werden.
- Reife des Repositorys beobachten. Auch ein erster öffentlicher Release erfordert die Beobachtung von Issues, Releases und Hardware-Unterstützung.
Für ein Plattformteam mit dem erforderlichen Beschleuniger-Cluster ist DeepInfer einen kontrollierten Pilotversuch wert – aber keine automatische Ablösung bestehender Systeme. Alle anderen sollten zunächst das Repository und die Deployment-Fragen und -Antworten prüfen und anschließend ein Serving-System wählen, das zur eigenen Hardware und den API-Anforderungen passt.
DeepInfer-FAQ
Ist DeepInfer vollständig Open Source?
Die Engine ist öffentlich verfügbar und unter Apache-2.0 lizenziert. Das bedeutet nicht, dass jede Komponente aus DeepSeeks internem Service enthalten ist. Der öffentliche Release deckt einen engeren Bereich ab.
Ist DeepInfer ohne einen Decode-Cluster mit 64 GPUs sinnvoll?
Für die Code-Analyse und unterstützte Offline-Experimente kann die Engine sinnvoll sein, sofern die erforderliche Hardware vorhanden ist. Sie sollte jedoch nicht als Möglichkeit verstanden werden, den veröffentlichten Service im großen Maßstab auf einem kleinen Standardserver nachzubauen.
Was ist die praktische Wahl für nicht unterstützte Hardware?
Verwende eine Serving-Engine, die den Beschleuniger und den vorgesehenen Workload unterstützt, etwa vLLM oder SGLang. Für Consumer-GPUs, ältere Rechenzentrumskarten oder einen schnell verfügbaren OpenAI-kompatiblen Endpunkt ist DeepInfer keine naheliegende Drop-in-Lösung.