AIREITERDeepSeek DeepInfer est véritablement open source sous licence Apache-2.0, mais ce n’est pas un produit de serving clé en main. Cette première version cible DeepSeek-V4.1-Flash sur du matériel NVIDIA SM100 ou Huawei Ascend 950 et documente l’inférence hors ligne, sans fournir une stack complète pour le déploiement en ligne.
DeepInfer en une phrase
DeepInfer est le moteur d’inférence spécialisé de DeepSeek pour DeepSeek-V4.1-Flash. Ce n’est ni un modèle ni une API hébergée. Le dépôt officiel présente un moteur doté de fonctions essentielles pour l’inférence à grande échelle, pas un serveur généraliste capable d’exécuter n’importe quel modèle.
L’annonce officielle et les documents du dépôt datent la sortie du 20 octobre 2026. Le moteur est distribué sous licence Apache-2.0. Pour connaître le matériel pris en charge, le périmètre hors ligne et les composants de serving absents, il faut se référer aux notes de déploiement du dépôt.
Une licence ouverte, mais pas encore un produit de serving complet
La licence Apache-2.0 répond à la question juridique, pas à celle du déploiement. La version publique contient un moteur d’inférence et des exemples, tandis que la FAQ de déploiement décrit un périmètre public plus restreint que le service complet utilisé en interne par DeepSeek.
| Fonctionnalité | Présente dans la première version de DeepInfer ? | Ce que cela implique |
|---|---|---|
| Inférence hors ligne de DeepSeek-V4.1-Flash | Oui | Le point de départ documenté est l’exécution par lots ou hors ligne |
| Licence Apache-2.0 du moteur | Oui | Le code peut être inspecté et réutilisé selon les conditions de la licence |
| Serveur en ligne compatible OpenAI | Non documenté | La couche HTTP et le protocole restent à fournir |
| Système distribué de cache KV | Non documenté dans la version publique | Le service ne fournit pas de couche de cache partagée prête au déploiement |
| Dissociation prefill/decode | Non documentée dans la version publique | La séparation des étapes et leur transfert restent à prendre en charge ailleurs |
| Équilibrage de charge entre réplicas | Non documenté dans la version publique | Le routage entre réplicas reste à gérer séparément |
| Prise en charge étendue des modèles | Non | La version examinée cible un seul modèle DeepSeek |
Ce que la première version sait réellement faire
DeepInfer associe des kernels et des mécanismes d’ordonnancement conçus spécifiquement par DeepSeek pour l’inférence spécialisée.
Modèle, matériel et prérequis de compilation
Les prérequis documentés dans le dépôt sont Linux, Python 3.12, GCC 13 ou une version ultérieure, NVIDIA SM100 avec CUDA 13, ou Huawei Ascend 950 avec CANN 9.2. Le modèle pris en charge est DeepSeek-V4.1-Flash, avec DeepSeek-V4.1-Flash-1017 comme checkpoint par défaut.
Les documents examinés n’établissent pas la prise en charge des H100, des cartes RTX grand public, d’AMD, d’Apple Silicon ou de Windows. Pour une équipe, la liste d’accélérateurs publiée doit donc être considérée comme un prérequis bloquant, pas comme une simple recommandation.
Les fonctions qui comptent vraiment
- Décodage spéculatif DSpark : le moteur propose des tokens candidats, puis utilise des estimations de confiance pour déterminer jusqu’où la vérification reste pertinente. Le dépôt indique une longueur maximale de brouillon de 5 tokens.
- Replay borné SWA : après un accès au cache, le moteur peut rejouer un suffixe limité au lieu de recalculer tout le contexte. L’exemple documenté utilise un paramètre de conservation de 140 tokens ; il s’agit d’une optimisation, pas d’un équivalent à un service distribué de cache KV.
- Parallélisme et équilibrage de charge : le moteur intègre le parallélisme des données d’attention, le parallélisme du contexte, le parallélisme des experts pour les architectures mixture-of-experts et l’équilibrage de charge entre experts.
- Ordonnancement asynchrone : la préparation des lots côté CPU peut se dérouler en parallèle de l’exécution sur l’accélérateur.
- Contrôles de reproductibilité : la documentation décrit une inférence invariante par lot, réservée à NVIDIA, ainsi qu’un échantillonnage déterministe.
- Sorties structurées : la génération peut être contrainte par des expressions régulières, des schémas JSON et des grammaires EBNF.
La réalité du matériel et des benchmarks
La configuration des benchmarks officiels est suffisamment coûteuse pour changer le sens du mot « disponible ». Le README de DeepInfer indique quatre GPU NVIDIA SM100 pour le prefill et 64 GPU NVIDIA SM100 pour le decode. Il s’agit de tests spécialisés, difficiles à reproduire sur une station de travail classique.
| Phase | Configuration officielle indiquée dans les documents de la version | Type de mesure publié |
|---|---|---|
| Prefill | 4 × NVIDIA SM100 | Débit d’entrée sans cache comparé à la latence par étape |
| Decode | 64 × NVIDIA SM100 | Débit global de sortie comparé à la vitesse par utilisateur |
| Contexte dans les graphiques cités | 131 072 tokens | Ne permet pas de conclure aux performances pour toutes les longueurs de contexte |
| Comparaison | Courbes produites par DeepInfer | Aucun résultat contrôlé en face-à-face avec vLLM ou SGLang |
La publication ne permet pas d’établir le coût par token, la latence de bout en bout d’une requête ou une quelconque supériorité face à vLLM ou SGLang. Une évaluation sérieuse doit reproduire la charge réellement visée, et pas seulement reprendre le graphique mis en avant.
DeepInfer face à vLLM et SGLang selon le besoin
La comparaison utile porte sur le périmètre opérationnel. DeepInfer est l’option spécialisée pour le modèle DeepSeek et les accélérateurs pris en charge. vLLM et SGLang restent des choix par défaut plus sûrs dès que la variété des modèles et la complétude du serving deviennent prioritaires.
| Besoin de déploiement | Meilleur point de départ | Pourquoi |
|---|---|---|
| Examiner les kernels et l’ordonnancement propres à DeepSeek | DeepInfer | Implémentation issue de la production pour DeepSeek-V4.1-Flash |
| Exécuter plusieurs modèles open source derrière une même API | vLLM ou SGLang | Périmètre documenté plus large |
| Lancer rapidement un service compatible OpenAI | vLLM ou SGLang | DeepInfer ne documente pas de serveur en ligne complet |
| Évaluer un comportement déterministe ou invariant par lot sur NVIDIA | DeepInfer | Ces contrôles font partie des fonctions documentées |
| Utiliser une station de travail classique ou du matériel de centre de données plus ancien | vLLM ou SGLang | Les accélérateurs ciblés par DeepInfer sont plus limités |
| Démontrer un avantage en vitesse | Benchmarker toutes les options | Les graphiques de DeepInfer ne fournissent pas de comparaison strictement équivalente |
La checklist avant adoption
- Vérifiez d’abord l’accélérateur. Inutile de commencer par le script de compilation si le déploiement ne repose pas sur du matériel SM100 ou Ascend 950.
- Vérifiez le modèle. La version examinée cible DeepSeek-V4.1-Flash. Un service multi-modèle nécessite une autre stratégie de moteur ou une couche de serving supplémentaire.
- Séparez les besoins hors ligne et en ligne. Une évaluation hors ligne ou une génération synthétique est plus simple qu’une API exposée à des clients.
- Recensez les services manquants. Prévoyez la gestion HTTP, l’authentification, les quotas, l’observabilité, le routage, l’équilibrage entre réplicas et une architecture de cache KV.
- Mesurez votre trafic réel. Relevez la longueur des prompts, la concurrence, le taux de cache hit, la longueur des sorties, le time to first token, la latence inter-token et le débit.
- Testez la stabilité des sorties. Si la reproductibilité est importante, vérifiez les réglages NVIDIA d’invariance par lot et de déterminisme avec la configuration exacte de l’échantillonneur.
- Surveillez la maturité du dépôt. Une première publication publique impose encore de suivre les tickets, les versions et la prise en charge matérielle.
Pour une équipe plateforme disposant du cluster d’accélérateurs requis, DeepInfer mérite un pilote contrôlé, pas une décision automatique de remplacement. Les autres développeurs ont intérêt à commencer par le dépôt et la FAQ de déploiement, puis à choisir un système de serving adapté à leur matériel et à leurs exigences d’API.
FAQ DeepInfer
DeepInfer est-il entièrement open source ?
Le moteur est public et distribué sous licence Apache-2.0. Cela ne signifie pas que tous les composants utilisés par le service interne de DeepSeek sont inclus : la version publique expose un périmètre moteur plus restreint.
DeepInfer est-il utile sans cluster de 64 GPU pour le decode ?
Il peut servir à inspecter le code et à mener des expérimentations hors ligne compatibles avec le matériel requis. En revanche, il ne faut pas le considérer comme un moyen de reproduire le service grande échelle publié sur un petit serveur classique.
Quel choix pratique pour du matériel non pris en charge ?
Utilisez un moteur de serving compatible avec votre accélérateur et votre charge, comme vLLM ou SGLang. DeepInfer est un mauvais candidat par défaut pour les GPU grand public, les anciennes cartes de centre de données ou la mise en place rapide d’un endpoint compatible OpenAI.