AIREITERO DeepSeek DeepInfer é realmente open source sob a licença Apache-2.0, mas ainda não é um produto de serving pronto para uso. A primeira versão tem como alvo o DeepSeek-V4.1-Flash em hardware NVIDIA SM100 ou Huawei Ascend 950 e documenta inferência offline, não uma stack online completa.
DeepInfer em uma frase
O DeepInfer é o motor de inferência especializado da DeepSeek para o DeepSeek-V4.1-Flash — não é um modelo nem uma API hospedada. O repositório oficial descreve um motor com recursos centrais para inferência em larga escala, e não um servidor de uso geral para modelos arbitrários.
O anúncio oficial e os materiais do repositório datam o lançamento de 20 de outubro de 2026. O motor usa a licença Apache-2.0. Para entender o hardware compatível, o escopo offline e os componentes de serving que ficaram de fora, as notas de implantação do repositório são a fonte relevante.
A licença é aberta, mas o produto de serving ainda não está completo
A Apache-2.0 responde à questão da licença, não à de implantação. O lançamento público reúne um motor de inferência e exemplos, enquanto o Q&A de implantação deixa claro que o limite público é mais estreito que o serviço interno completo da DeepSeek.
| Recurso | Está na primeira versão do DeepInfer? | O que isso significa |
|---|---|---|
| Inferência offline do DeepSeek-V4.1-Flash | Sim | O ponto de partida documentado é a execução em lote/offline |
| Licença Apache-2.0 para o motor | Sim | O código pode ser inspecionado e reutilizado conforme os termos da licença |
| Servidor online compatível com a OpenAI | Não documentado | Você precisa fornecer a camada HTTP e de protocolo |
| Sistema distribuído de cache KV | Não documentado no lançamento público | Uma camada de cache compartilhado não é fornecida como serviço de implantação |
| Desacoplamento entre prefill e decode | Não documentado no lançamento público | A separação das etapas e a transferência de dados continuam sendo trabalho externo |
| Balanceamento de carga entre réplicas | Não documentado no lançamento público | O roteamento entre réplicas continua sendo trabalho externo |
| Amplo suporte a modelos | Não | A versão analisada tem como alvo um único modelo da DeepSeek |
O que a primeira versão realmente faz
O DeepInfer combina kernels específicos da DeepSeek e recursos de escalonamento voltados à inferência especializada.
Requisitos de modelo, hardware e build
Os requisitos documentados no repositório são Linux, Python 3.12, GCC 13 ou mais recente, NVIDIA SM100 com CUDA 13 ou Huawei Ascend 950 com CANN 9.2. O modelo compatível é o DeepSeek-V4.1-Flash, com DeepSeek-V4.1-Flash-1017 usado como checkpoint padrão.
Os materiais analisados não estabelecem suporte para H100, GPUs RTX de consumo, AMD, Apple Silicon ou Windows. Portanto, a lista de aceleradores publicada deve ser tratada como um requisito eliminatório, não como uma sugestão.
Os principais recursos do motor
- Decodificação especulativa DSpark: o sistema propõe tokens preliminares e usa estimativas de confiança para decidir quanto vale a pena verificar. O repositório documenta um comprimento máximo de rascunho de 5 tokens.
- Replay limitado SWA: depois de um acerto no cache, o motor pode reproduzir um sufixo limitado em vez de recalcular todo o contexto. O exemplo documentado usa uma configuração de retenção de 140 tokens; isso é uma otimização, não um substituto para um serviço distribuído de cache KV.
- Paralelismo e balanceamento de carga: o design do motor inclui paralelismo de dados de atenção, paralelismo de contexto, paralelismo de experts em mixture-of-experts e balanceamento de carga entre experts.
- Escalonamento assíncrono: a preparação de lotes no lado da CPU pode ocorrer em paralelo com a execução no dispositivo.
- Controles de reprodutibilidade: a documentação descreve inferência invariável ao lote, exclusiva da NVIDIA, e amostragem determinística.
- Saída estruturada: a camada de geração oferece suporte a restrições com regex, JSON Schema e EBNF.
A realidade do hardware e dos benchmarks
A configuração dos benchmarks oficiais é cara o suficiente para mudar o significado de “disponível”. O README do DeepInfer relata o uso de quatro GPUs NVIDIA SM100 para prefill e 64 GPUs NVIDIA SM100 para decode. São testes especializados, não resultados de workstation que a maioria dos leitores consiga reproduzir.
| Etapa | Configuração oficial relatada nos materiais do lançamento | Tipo de medição relatado |
|---|---|---|
| Prefill | 4 × NVIDIA SM100 | Throughput de entrada sem cache em comparação com a latência por etapa |
| Decode | 64 × NVIDIA SM100 | Throughput agregado de saída em comparação com a velocidade por usuário |
| Contexto nos gráficos citados | 131.072 tokens | Não comprova o desempenho em todos os comprimentos de contexto |
| Comparação | Curvas do próprio DeepInfer | Nenhum resultado controlado colocando vLLM e SGLang frente a frente |
O lançamento não estabelece custo por token, latência de requisição ponta a ponta nem superioridade sobre o vLLM ou o SGLang. Uma avaliação real precisa reproduzir a carga de trabalho pretendida, e não apenas repetir o gráfico principal.
DeepInfer, vLLM e SGLang: qual serve melhor para cada cenário
A comparação mais útil é de escopo operacional. O DeepInfer é a opção especializada para o modelo DeepSeek e os aceleradores compatíveis; vLLM e SGLang são escolhas iniciais mais seguras quando a prioridade é ter suporte a vários modelos e uma stack de serving mais completa.
| Objetivo da implantação | Melhor ponto de partida | Motivo |
|---|---|---|
| Inspecionar kernels e escalonamento específicos da DeepSeek | DeepInfer | Implementação derivada de produção para o DeepSeek-V4.1-Flash |
| Executar vários modelos open source atrás de uma única API | vLLM ou SGLang | Escopo documentado mais amplo |
| Colocar rapidamente no ar um serviço compatível com a OpenAI | vLLM ou SGLang | O DeepInfer não documenta um servidor online completo |
| Avaliar comportamento determinístico ou invariável ao lote na NVIDIA | DeepInfer | Esses controles são recursos documentados |
| Usar hardware comum de workstation ou servidores mais antigos | vLLM ou SGLang | Os aceleradores-alvo do DeepInfer são mais restritos |
| Comprovar uma vantagem de velocidade | Faça benchmark com todos os candidatos | Os gráficos do DeepInfer não fornecem uma comparação equivalente |
Checklist prático para adotar o DeepInfer
- Confirme primeiro o acelerador. Não comece pelo script de build se a implantação não for usar hardware SM100 ou Ascend 950.
- Confirme o modelo. A versão analisada tem como alvo o DeepSeek-V4.1-Flash. Um serviço com vários modelos precisa de outra estratégia de motor ou de uma camada adicional de serving.
- Separe os requisitos offline dos online. Avaliações offline e geração sintética são mais simples que uma API voltada a clientes.
- Liste os serviços que faltam. Reserve recursos para tratamento HTTP, autenticação, cotas, observabilidade, roteamento, balanceamento entre réplicas e um design de cache KV.
- Faça benchmark com o seu tráfego. Registre o tamanho dos prompts, a concorrência, a taxa de acerto do cache, o tamanho das saídas, o tempo até o primeiro token, a latência entre tokens e o throughput.
- Teste a estabilidade das saídas. Se a reprodutibilidade for importante, verifique as configurações invariáveis ao lote e determinísticas, exclusivas da NVIDIA, usando exatamente a configuração de amostragem desejada.
- Acompanhe a maturidade do repositório. Um primeiro lançamento público ainda exige monitoramento de issues, releases e suporte a hardware.
Para uma equipe de plataforma com o cluster de aceleradores exigido, vale fazer um piloto controlado com o DeepInfer — não assumir automaticamente que ele deve substituir a solução atual. Os demais desenvolvedores devem começar pelo repositório e pelo Q&A de implantação e, em seguida, escolher um sistema de serving compatível com seu hardware e suas necessidades de API.
DeepInfer: perguntas frequentes
O DeepInfer é totalmente open source?
O motor é público e distribuído sob a licença Apache-2.0. Isso não significa que todos os componentes usados no serviço interno da DeepSeek estejam incluídos; o lançamento público tem um limite de escopo mais estreito, concentrado no motor.
O DeepInfer é útil sem um cluster de decode com 64 GPUs?
Ele pode ser útil para inspeção de código e experimentos offline compatíveis, desde que o hardware necessário esteja disponível. Não deve ser tratado como uma forma de reproduzir o serviço de larga escala publicado em um servidor pequeno e comum.
Qual é a escolha prática para hardware não compatível?
Use um motor de serving compatível com o acelerador e a carga de trabalho, como vLLM ou SGLang. O DeepInfer não é uma boa aposta como substituto direto para GPUs de consumo, placas antigas de data center ou um endpoint compatível com a OpenAI colocado no ar rapidamente.