AIREITERDeepSeek DeepInfer è davvero open source, con licenza Apache-2.0, ma non è un prodotto di serving pronto all’uso. La prima release punta a DeepSeek-V4.1-Flash su hardware NVIDIA SM100 o Huawei Ascend 950 e documenta l’inferenza offline, non uno stack online completo.
DeepInfer in una frase
DeepInfer è il motore di inferenza specializzato di DeepSeek per DeepSeek-V4.1-Flash: non è né un modello né un’API ospitata. Il repository ufficiale presenta un motore con funzionalità di base per l’inferenza su larga scala, non un server general purpose per modelli arbitrari.
L’annuncio ufficiale e i materiali del repository collocano il rilascio al 20 ottobre 2026. Il motore usa la licenza Apache-2.0. Per hardware supportato, ambito offline e componenti di serving esclusi, fanno testo le note di deployment del repository.
La licenza è open, ma il prodotto di serving è ancora incompleto
Apache-2.0 chiarisce i termini di licenza, non come si gestisce il deployment. La release pubblica include un motore di inferenza e alcuni esempi, mentre la deployment Q&A definisce un perimetro pubblico più ristretto rispetto al servizio interno completo di DeepSeek.
| Funzionalità | Presente nella prima release di DeepInfer? | Cosa significa |
|---|---|---|
| Inferenza offline di DeepSeek-V4.1-Flash | Sì | Il punto di partenza documentato è l’esecuzione batch/offline |
| Licenza Apache-2.0 per il motore | Sì | Il codice può essere ispezionato e riutilizzato secondo i termini della licenza |
| Server online compatibile con OpenAI | Non documentato | Il livello HTTP e il protocollo vanno forniti separatamente |
| Sistema KV-cache distribuito | Non documentato nella release pubblica | Non viene fornito un livello di cache condivisa pronto come servizio di deployment |
| Disaggregazione di prefill e decode | Non documentata nella release pubblica | La separazione delle fasi e il trasferimento dei dati restano da implementare |
| Bilanciamento del carico tra repliche | Non documentato nella release pubblica | Il routing tra repliche resta un’attività esterna |
| Supporto ampio ai modelli | No | La release analizzata punta a un solo modello DeepSeek |
Cosa permette davvero di fare la prima release
DeepInfer combina kernel specifici per DeepSeek e funzionalità di scheduling pensate per l’inferenza specializzata.
Requisiti per modello, hardware e build
I requisiti documentati dal repository sono Linux, Python 3.12, GCC 13 o versioni successive, NVIDIA SM100 con CUDA 13 oppure Huawei Ascend 950 con CANN 9.2. Il modello supportato è DeepSeek-V4.1-Flash, mentre DeepSeek-V4.1-Flash-1017 è il checkpoint predefinito.
I materiali della release analizzata non confermano il supporto a H100, schede RTX consumer, AMD, Apple Silicon o Windows. L’elenco degli acceleratori pubblicato va quindi considerato un requisito vincolante, non un’indicazione generica.
Le funzionalità più interessanti del motore
- Decodifica speculativa DSpark: il motore propone token candidato e usa le stime di confidenza per stabilire quanta verifica convenga eseguire. Il repository documenta una lunghezza massima della bozza di 5 token.
- Replay limitato SWA: dopo un cache hit, il motore può riprodurre un suffisso di dimensione limitata invece di ricalcolare tutto il contesto. L’esempio documentato usa un’impostazione keep di 140 token; si tratta di un’ottimizzazione, non di un sostituto per un servizio KV-cache distribuito.
- Parallelismo e bilanciamento del carico: il design del motore include parallelismo dei dati per l’attention, parallelismo del contesto, parallelismo degli esperti per i modelli mixture-of-experts e bilanciamento del carico tra esperti.
- Scheduling asincrono: la preparazione dei batch lato CPU può sovrapporsi all’esecuzione sul dispositivo.
- Controlli di riproducibilità: la documentazione descrive l’inferenza batch-invariant e il sampling deterministico, ma solo su NVIDIA.
- Output strutturato: il livello di generazione supporta vincoli basati su regex, JSON Schema ed EBNF.
La realtà di hardware e benchmark
La configurazione dei benchmark ufficiali è abbastanza costosa da cambiare il significato di “disponibile”. Il README di DeepInfer riporta quattro GPU NVIDIA SM100 per il prefill e 64 GPU NVIDIA SM100 per il decode. Sono test specializzati, non risultati ottenuti su una workstation che la maggior parte dei lettori possa replicare.
| Fase | Configurazione ufficiale riportata nei materiali della release | Tipo di misurazione riportato |
|---|---|---|
| Prefill | 4 × NVIDIA SM100 | Throughput dell’input non in cache rispetto alla latenza per step |
| Decode | 64 × NVIDIA SM100 | Throughput aggregato dell’output rispetto alla velocità per utente |
| Contesto nei grafici citati | 131,072 token | Non dimostra le prestazioni a ogni lunghezza di contesto |
| Confronto | Curve proprietarie di DeepInfer | Nessun risultato controllato testa a testa con vLLM/SGLang |
La release non dimostra il costo per token, la latenza end-to-end delle richieste o una superiorità rispetto a vLLM o SGLang. Una valutazione seria deve riprodurre il carico di lavoro previsto, non limitarsi al grafico principale.
DeepInfer, vLLM e SGLang: quale scegliere in base al deployment
Il confronto utile riguarda l’ambito operativo. DeepInfer è l’opzione specializzata per il modello DeepSeek e gli acceleratori supportati; vLLM e SGLang sono punti di partenza più prudenti quando contano l’ampiezza del supporto ai modelli e la completezza del serving.
| Obiettivo di deployment | Punto di partenza migliore | Motivo |
|---|---|---|
| Esaminare kernel e scheduling specifici per DeepSeek | DeepInfer | Implementazione derivata dalla produzione per DeepSeek-V4.1-Flash |
| Eseguire diversi modelli open dietro un’unica API | vLLM o SGLang | Ambito documentato più ampio |
| Avviare rapidamente un servizio compatibile con OpenAI | vLLM o SGLang | DeepInfer non documenta un server online completo |
| Valutare comportamento deterministico o batch-invariant su NVIDIA | DeepInfer | Questi controlli sono funzionalità documentate |
| Usare workstation comuni o hardware datacenter meno recente | vLLM o SGLang | Gli acceleratori target di DeepInfer sono più limitati |
| Dimostrare un vantaggio di velocità | Benchmarkare tutti i candidati | I grafici di DeepInfer non forniscono un risultato comparabile in condizioni equivalenti |
Checklist pratica per l’adozione
- Verifica subito l’acceleratore. Non partire dallo script di build se il deployment non usa hardware SM100 o Ascend 950.
- Verifica il modello. La release analizzata punta a DeepSeek-V4.1-Flash. Un servizio multi-modello richiede un’altra strategia di inferenza o un ulteriore livello di serving.
- Separa i requisiti offline da quelli online. Una valutazione offline e la generazione sintetica sono più semplici di un’API esposta ai clienti.
- Fai l’elenco dei servizi mancanti. Metti a budget gestione HTTP, autenticazione, quote, osservabilità, routing, bilanciamento delle repliche e progettazione della KV-cache.
- Misura il traffico reale. Registra lunghezza dei prompt, concorrenza, percentuale di cache hit, lunghezza dell’output, time to first token, latenza tra token e throughput.
- Verifica la stabilità dell’output. Se la riproducibilità è importante, controlla le impostazioni batch-invariant e deterministiche disponibili solo su NVIDIA con l’esatta configurazione del sampler.
- Segui la maturità del repository. Una prima release pubblica richiede comunque di monitorare issue, release e supporto hardware.
Per un team platform che dispone del cluster di acceleratori richiesto, DeepInfer merita un pilot controllato, non una decisione automatica di sostituzione. Gli altri sviluppatori dovrebbero partire dal repository e dalla deployment Q&A, per poi scegliere un sistema di serving coerente con il proprio hardware e con i requisiti dell’API.
FAQ su DeepInfer
DeepInfer è completamente open source?
Il motore è pubblico e distribuito con licenza Apache-2.0. Questo non significa che ogni componente usato nel servizio interno di DeepSeek sia incluso: la release pubblica ha un perimetro più ristretto, limitato al motore.
DeepInfer è utile senza un cluster di decode da 64 GPU?
Può essere utile per ispezionare il codice e svolgere esperimenti offline supportati, se è disponibile l’hardware richiesto. Non va però considerato uno strumento per riprodurre il servizio su larga scala pubblicato da DeepSeek su un piccolo server ordinario.
Qual è la scelta pratica per l’hardware non supportato?
Usa un motore di serving compatibile con l’acceleratore e il carico di lavoro, come vLLM o SGLang. DeepInfer non è una scelta drop-in affidabile per GPU consumer, schede datacenter meno recenti o per esporre rapidamente un endpoint compatibile con OpenAI.