AIREITERDeepSeek DeepInfer es de verdad un proyecto de código abierto bajo Apache-2.0, pero no un producto de serving listo para desplegar. Su primer lanzamiento está pensado para DeepSeek-V4.1-Flash en hardware NVIDIA SM100 o Huawei Ascend 950, y la documentación se centra en la inferencia offline, no en una plataforma online completa.
DeepInfer, en una frase
DeepInfer es el motor de inferencia especializado de DeepSeek para DeepSeek-V4.1-Flash; no es un modelo ni una API alojada. El repositorio oficial lo presenta como un motor con funciones básicas para inferencia a gran escala, no como un servidor generalista capaz de ejecutar cualquier modelo.
El anuncio oficial y los materiales del repositorio sitúan el lanzamiento el 20 de octubre de 2026. El motor utiliza la licencia Apache-2.0. Para conocer el hardware compatible, el alcance offline y los componentes de serving que no incluye, la referencia relevante son las notas de despliegue del repositorio.
La licencia es abierta, pero el producto de serving está incompleto
Apache-2.0 responde a la cuestión legal, no a la de despliegue. La versión pública incluye un motor de inferencia y varios ejemplos, mientras que las preguntas y respuestas sobre el despliegue dejan claro que el alcance público es más limitado que el servicio interno completo de DeepSeek.
| Capacidad | ¿Está en la primera versión de DeepInfer? | Qué implica |
|---|---|---|
| Inferencia offline de DeepSeek-V4.1-Flash | Sí | El punto de partida documentado es la ejecución por lotes u offline |
| Licencia Apache-2.0 para el motor | Sí | Se puede inspeccionar y reutilizar conforme a los términos de la licencia |
| Servidor online compatible con OpenAI | No documentado | Hay que aportar la capa HTTP y de protocolo |
| Sistema distribuido de caché KV | No documentado en la versión pública | No se incluye una capa de caché compartida como servicio de despliegue |
| Desacoplamiento de prefill y decode | No documentado en la versión pública | La separación de etapas y la transferencia quedan fuera |
| Balanceo de carga entre réplicas | No documentado en la versión pública | El enrutamiento entre réplicas sigue siendo trabajo externo |
| Compatibilidad amplia con modelos | No | La versión analizada apunta a un único modelo de DeepSeek |
Qué puede hacer realmente la primera versión
DeepInfer combina kernels específicos de DeepSeek con funciones de planificación orientadas a la inferencia especializada.
Requisitos de modelo, hardware y compilación
Los requisitos documentados por el repositorio son Linux, Python 3.12, GCC 13 o posterior, NVIDIA SM100 con CUDA 13, o Huawei Ascend 950 con CANN 9.2. El modelo compatible es DeepSeek-V4.1-Flash, y DeepSeek-V4.1-Flash-1017 se utiliza como checkpoint predeterminado.
Los materiales de la versión analizada no establecen compatibilidad con H100, RTX de consumo, AMD, Apple Silicon ni Windows. Conviene tratar la lista de aceleradores publicada como un requisito imprescindible, no como una simple recomendación.
Las funciones más destacadas del motor
- Decodificación especulativa DSpark: el sistema propone tokens de adelanto y utiliza estimaciones de confianza para decidir cuánto merece la pena verificar. El repositorio documenta una longitud máxima de borrador de 5 tokens.
- Replay acotado de SWA: después de un acierto de caché, el motor puede reproducir un sufijo limitado en lugar de recalcular todo el contexto. El ejemplo documentado utiliza un ajuste de conservación de 140 tokens; es una optimización, no un sustituto de un servicio distribuido de caché KV.
- Paralelismo y balanceo de carga: el diseño del motor incluye paralelismo de datos para atención, paralelismo de contexto, paralelismo de expertos para mixture-of-experts y balanceo de carga entre expertos.
- Planificación asíncrona: la preparación de lotes en la CPU puede solaparse con la ejecución en el dispositivo.
- Controles de reproducibilidad: la documentación describe inferencia invariante al lote y muestreo determinista únicamente en NVIDIA.
- Salida estructurada: la capa de generación admite restricciones mediante regex, JSON Schema y EBNF.
La realidad del hardware y los benchmarks
La configuración oficial de las pruebas es lo bastante costosa como para cambiar el significado de «disponible». El README de DeepInfer indica cuatro GPU NVIDIA SM100 para el prefill y 64 GPU NVIDIA SM100 para el decode. Son pruebas especializadas, no resultados de estación de trabajo que la mayoría de los lectores pueda reproducir.
| Fase | Configuración oficial indicada en los materiales del lanzamiento | Tipo de medición publicada |
|---|---|---|
| Prefill | 4 × NVIDIA SM100 | Rendimiento de entrada sin caché frente a latencia por paso |
| Decode | 64 × NVIDIA SM100 | Rendimiento agregado de salida frente a velocidad por usuario |
| Contexto de los gráficos citados | 131.072 tokens | No demuestra el rendimiento con cualquier longitud de contexto |
| Comparativa | Curvas propias de DeepInfer | No hay un resultado controlado frente a vLLM/SGLang |
El lanzamiento no permite establecer el coste por token, la latencia de extremo a extremo ni una superioridad frente a vLLM o SGLang. Una evaluación real debe reproducir la carga de trabajo prevista, no limitarse al gráfico principal.
DeepInfer frente a vLLM y SGLang según el trabajo de despliegue
La comparación útil es la del alcance operativo. DeepInfer es la opción especializada para el modelo y los aceleradores de DeepSeek compatibles; vLLM y SGLang son puntos de partida más seguros cuando importan la variedad de modelos y un stack de serving más completo.
| Trabajo de despliegue | Mejor punto de partida | Motivo |
|---|---|---|
| Inspeccionar kernels y planificación específicos de DeepSeek | DeepInfer | Implementación derivada de producción para DeepSeek-V4.1-Flash |
| Ejecutar varios modelos abiertos detrás de una misma API | vLLM o SGLang | Alcance documentado más amplio |
| Poner en marcha rápidamente un servicio compatible con OpenAI | vLLM o SGLang | DeepInfer no documenta un servidor online completo |
| Evaluar un comportamiento determinista o invariante al lote en NVIDIA | DeepInfer | Esos controles están documentados como funciones del motor |
| Utilizar hardware de estación de trabajo convencional o centros de datos antiguos | vLLM o SGLang | Los aceleradores objetivo de DeepInfer son más limitados |
| Demostrar una ventaja de velocidad | Comparar todas las opciones | Los gráficos de DeepInfer no ofrecen un resultado comparable en igualdad de condiciones |
Lista práctica antes de adoptarlo
- Comprueba primero el acelerador. No empieces con el script de compilación si el despliegue no utiliza hardware SM100 o Ascend 950.
- Comprueba el modelo. La versión analizada está orientada a DeepSeek-V4.1-Flash. Un servicio multimodelo necesita otra estrategia de motor o una capa de serving adicional.
- Separa los requisitos offline de los online. La evaluación offline y la generación sintética son más sencillas que una API destinada a clientes.
- Enumera los servicios que faltan. Reserva recursos para gestionar HTTP, autenticación, cuotas, observabilidad, enrutamiento, balanceo entre réplicas y el diseño de la caché KV.
- Haz benchmarks con tu tráfico. Registra la longitud de los prompts, la concurrencia, la tasa de aciertos de caché, la longitud de salida, el tiempo hasta el primer token, la latencia entre tokens y el rendimiento.
- Comprueba la estabilidad de la salida. Si la reproducibilidad es importante, verifica los ajustes invariantes al lote y deterministas exclusivos de NVIDIA con la configuración exacta del sampler.
- Sigue la madurez del repositorio. Un primer lanzamiento público todavía exige vigilar los issues, las versiones y la compatibilidad de hardware.
Para un equipo de plataforma que ya dispone del clúster de aceleradores necesario, DeepInfer merece un piloto controlado, no una decisión automática de sustitución. El resto de desarrolladores debería empezar por el repositorio y las preguntas sobre despliegue, y después elegir un sistema de serving que encaje con su hardware y sus requisitos de API.
Preguntas frecuentes sobre DeepInfer
¿DeepInfer es completamente de código abierto?
El motor es público y utiliza la licencia Apache-2.0. Eso no significa que incluya todos los componentes empleados en el servicio interno de DeepSeek; la versión pública tiene un alcance más limitado.
¿Sirve DeepInfer sin un clúster de 64 GPU para decode?
Puede ser útil para inspeccionar el código y realizar experimentos offline compatibles si se dispone del hardware requerido. No debe considerarse una forma de reproducir el servicio publicado a gran escala en un servidor convencional pequeño.
¿Cuál es la opción práctica para hardware no compatible?
Utiliza un motor de serving compatible con el acelerador y la carga de trabajo, como vLLM o SGLang. DeepInfer no es una opción directa razonable para GPU de consumo, tarjetas antiguas de centros de datos o un endpoint compatible con OpenAI que se quiera poner en marcha rápidamente.