AIREITERDeepSeek DeepInfer действительно открыт под лицензией Apache-2.0, но готовым продуктом для сервинга его пока не назовёшь. Первый релиз рассчитан на DeepSeek-V4.1-Flash и оборудование NVIDIA SM100 или Huawei Ascend 950, причём в документации речь идёт об офлайн-инференсе, а не о полноценном онлайн-стеке.
DeepInfer в одном предложении
DeepInfer — специализированный движок инференса DeepSeek для DeepSeek-V4.1-Flash, а не модель и не облачный API. В официальном репозитории он описан как движок с базовыми возможностями для крупномасштабного инференса, а не универсальный сервер для любых моделей.
Согласно официальному анонсу и материалам репозитория, релиз датирован 20 октября 2026 года. Движок распространяется под лицензией Apache-2.0. Именно примечания по развёртыванию в репозитории лучше всего описывают поддерживаемое оборудование, офлайн-сценарий и компоненты, которых в публичной версии нет.
Лицензия открытая, но полноценного продукта для сервинга пока нет
Apache-2.0 отвечает на вопрос о лицензии, но ничего не говорит о готовности к развёртыванию. В публичный релиз входят движок инференса и примеры, тогда как раздел с вопросами и ответами по развёртыванию обозначает более узкие границы публичной версии по сравнению с полной внутренней инфраструктурой DeepSeek.
| Возможность | Есть в первом релизе DeepInfer? | Что это означает |
|---|---|---|
| Офлайн-инференс DeepSeek-V4.1-Flash | Да | Документированный сценарий — пакетное или офлайн-выполнение |
| Лицензия движка Apache-2.0 | Да | Код можно изучать и использовать на условиях этой лицензии |
| Онлайн-сервер с совместимым с OpenAI API | Не документировано | HTTP- и протокольный слой нужно добавлять самостоятельно |
| Распределённая система KV-кэша | Не документировано в публичном релизе | Готовый общий слой кэширования как сервис не поставляется |
| Разделение prefill и decode | Не документировано в публичном релизе | Разделение этапов и передача данных остаются внешней задачей |
| Балансировка нагрузки между репликами | Не документировано в публичном релизе | Маршрутизацию между репликами нужно реализовывать отдельно |
| Широкая поддержка моделей | Нет | Рассмотренный релиз ориентирован на одну модель DeepSeek |
Что реально умеет первый релиз
DeepInfer объединяет специализированные для DeepSeek ядра и алгоритмы планирования, рассчитанные на конкретный сценарий инференса.
Требования к модели, оборудованию и сборке
В репозитории указаны следующие требования: Linux, Python 3.12, GCC 13 или новее, NVIDIA SM100 с CUDA 13 либо Huawei Ascend 950 с CANN 9.2. Поддерживается модель DeepSeek-V4.1-Flash, а контрольной точкой по умолчанию служит DeepSeek-V4.1-Flash-1017.
Поддержка H100, потребительских RTX, AMD, Apple Silicon и Windows в рассмотренных материалах релиза не подтверждается. Опубликованный список ускорителей стоит воспринимать как обязательное условие, а не как ориентир.
Главные возможности движка
- Спекулятивное декодирование DSpark: движок сначала предлагает черновые токены, а затем по оценке уверенности решает, сколько из них имеет смысл проверять. В репозитории указана максимальная длина черновика — 5 токенов.
- Ограниченный повторный прогон SWA: после попадания в кэш движок может повторно обработать ограниченный хвост, не пересчитывая весь контекст. В документированном примере используется настройка keep на 140 токенов; это оптимизация, а не замена распределённому сервису KV-кэша.
- Параллелизм и балансировка нагрузки: в архитектуру движка входят параллелизм данных для attention, контекстный параллелизм, параллелизм экспертов в mixture-of-experts и балансировка нагрузки между экспертами.
- Асинхронное планирование: подготовка пакетов на CPU может выполняться одновременно с работой устройства.
- Контроль воспроизводимости: документация описывает инвариантный к размеру пакета инференс только для NVIDIA и детерминированную выборку.
- Структурированный вывод: на уровне генерации поддерживаются ограничения через regex, JSON Schema и EBNF.
Что говорят оборудование и бенчмарки на практике
Официальная конфигурация тестов настолько дорогая, что заметно меняет смысл слова «доступно». В README DeepInfer указаны четыре GPU NVIDIA SM100 для prefill и 64 GPU NVIDIA SM100 для decode. Это специализированные тесты, которые большинство читателей не сможет воспроизвести на рабочей станции.
| Этап | Официальная конфигурация из материалов релиза | Тип опубликованного измерения |
|---|---|---|
| Prefill | 4 × NVIDIA SM100 | Пропускная способность некэшированного ввода в сравнении с задержкой шага |
| Decode | 64 × NVIDIA SM100 | Суммарная скорость генерации в сравнении со скоростью на одного пользователя |
| Контекст на приведённых графиках | 131,072 токена | Это не доказывает производительность при любой длине контекста |
| Сравнение | Собственные кривые DeepInfer | Контролируемого сравнения с vLLM/SGLang один на один нет |
Релиз не позволяет сделать выводы о стоимости токена, сквозной задержке запроса или превосходстве над vLLM и SGLang. Полноценная оценка должна воспроизводить предполагаемую рабочую нагрузку, а не ограничиваться самым заметным графиком из презентации.
DeepInfer, vLLM и SGLang: что выбрать под конкретную задачу
Сравнивать эти проекты полезнее всего по операционному охвату. DeepInfer — специализированный вариант для поддерживаемой модели DeepSeek и соответствующих ускорителей. Если же важны широкий выбор моделей и более полный серверный стек, безопаснее начинать с vLLM или SGLang.
| Задача развёртывания | С чего лучше начать | Причина |
|---|---|---|
| Изучить специфичные для DeepSeek ядра и планирование | DeepInfer | Реализация для DeepSeek-V4.1-Flash, основанная на производственном опыте |
| Запустить несколько открытых моделей за единым API | vLLM или SGLang | Более широкий документированный охват |
| Быстро поднять сервис с совместимым с OpenAI API | vLLM или SGLang | DeepInfer не документирует полноценный онлайн-сервер |
| Проверить детерминированное или инвариантное к размеру пакета поведение на NVIDIA | DeepInfer | Такие механизмы заявлены в документации |
| Использовать обычную рабочую станцию или более старое серверное оборудование | vLLM или SGLang | Список ускорителей DeepInfer заметно уже |
| Доказать преимущество в скорости | Протестировать все варианты | Графики DeepInfer не дают сопоставимого результата в одинаковых условиях |
Практический чек-лист перед внедрением
- Сначала проверьте ускоритель. Не начинайте со скрипта сборки, если развёртывание выполняется не на SM100 или Ascend 950.
- Проверьте модель. Рассмотренный релиз рассчитан на DeepSeek-V4.1-Flash. Для сервиса с несколькими моделями понадобится другой движок либо дополнительный слой сервинга.
- Разделите офлайн- и онлайн-требования. Офлайн-оценка и синтетическая генерация проще, чем API, доступный клиентам.
- Составьте список недостающих сервисов. Заранее заложите HTTP-обработку, аутентификацию, квоты, наблюдаемость, маршрутизацию, балансировку реплик и архитектуру KV-кэша.
- Тестируйте на собственном трафике. Фиксируйте длину промпта, параллелизм, долю попаданий в кэш, длину вывода, время до первого токена, задержку между токенами и пропускную способность.
- Проверьте стабильность вывода. Если воспроизводимость важна, протестируйте инвариантный к размеру пакета и детерминированный режимы только для NVIDIA с точной конфигурацией используемого сэмплера.
- Следите за зрелостью репозитория. Первый публичный релиз всё ещё требует мониторинга issue, новых релизов и поддержки оборудования.
Платформенной команде с нужным кластером ускорителей DeepInfer стоит предложить контролируемый пилот, но не принимать решение о замене автоматически. Остальным разработчикам лучше начать с репозитория и раздела по развёртыванию, а затем выбрать систему сервинга под своё оборудование и требования к API.
FAQ по DeepInfer
DeepInfer полностью открыт?
Движок опубликован и распространяется под Apache-2.0. Это не означает, что в него входят все компоненты, используемые во внутреннем сервисе DeepSeek: границы публичного релиза заметно уже.
Есть ли смысл в DeepInfer без кластера из 64 GPU для decode?
Да, он может пригодиться для изучения кода и поддерживаемых офлайн-экспериментов, если у вас есть необходимое оборудование. Но воспринимать его как способ воспроизвести опубликованный крупномасштабный сервис на небольшом обычном сервере не стоит.
Что выбрать для неподдерживаемого оборудования?
Используйте движок сервинга, который поддерживает ваш ускоритель и рабочую нагрузку, например vLLM или SGLang. DeepInfer не стоит рассматривать как готовую замену для потребительских GPU, старых серверных карт или быстрого запуска совместимой с OpenAI конечной точки.