AIREITERКороткий ответ для владельцев H100 и RTX
Поддержка H100 в DeepInfer официально не заявлена и не задокументирована. То же самое относится к RTX. Текущий релиз ориентирован на DeepSeek-V4.1-Flash и перечисляет оборудование NVIDIA с архитектурой SM100 и CUDA 13, а также Ascend 950 с CANN 9.2. Репозиторию также требуются Linux, GCC 13 или новее и Python 3.12 (официальный репозиторий DeepInfer).
Формулировка «не указано в списке» — это вывод для закупок и планирования промышленной эксплуатации, а не доказательство того, что экспериментальный патч в принципе невозможно собрать.
Что DeepInfer официально поддерживает сейчас
Граница поддержки проходит не по принципу «любая NVIDIA GPU» или «любая модель DeepSeek». Важна конкретная генерация ускорителя, программный стек и сценарий работы с моделью.
| Компонент | Заявленная поддержка |
|---|---|
| Модель | DeepSeek-V4.1-Flash |
| Чекпоинт по умолчанию | deepseek-ai/DeepSeek-V4.1-Flash-1017 |
| Ускоритель NVIDIA | SM100, соответствует серверным GPU Blackwell |
| Стек NVIDIA | CUDA 13 |
| Ускоритель Huawei | Ascend 950 NPU |
| Стек Huawei | CANN 9.2 |
| Требования к хосту | Linux, GCC 13+, Python 3.12 |
| Режим инференса | Офлайн-инференс внутри процесса |
В вопросах и ответах по развёртыванию DeepSeek приводит конфигурации из 4 GPU SM100 для prefill и 64 GPU SM100 для decode в рамках масштабирования. Это замеры для SM100, а не оценка возможностей H100.
Почему SM100 не означает автоматическую поддержку H100 и RTX
В официальном списке DeepInfer нет ни H100, ни SM90, ни конкретных моделей RTX. Одной совместимости с CUDA недостаточно, чтобы считать DeepInfer совместимым с определённой GPU.
Репозиторий интегрирует чувствительные к архитектуре компоненты — FlashMLA, DeepGEMM, DeepEP и операции TileLang (документация проекта). Даже если GPU распознаётся системой, приложение может завершаться с ошибками, выдавать некорректные результаты или терять ту производительность, ради которой затевалась миграция.
Поэтому здесь важно не смешивать три разных утверждения:
- Код собирается под конкретную архитектуру.
- Модель работает с корректными ответами и стабильным распределённым выполнением.
- Развёртывание обеспечивает приемлемые задержки и пропускную способность.
Успешная сборка подтверждает только первое. В открытых материалах DeepInfer нет ни бенчмарков для H100 или RTX, ни официальной инструкции по сборке для SM90, ни проверенной конфигурации на пользовательских RTX.
Варианты миграции для существующей инфраструктуры
Если в кластере используются H100 или другие системы Hopper
Не стоит заменять работающий стек обслуживания на H100 только ради эксперимента с DeepInfer. Рассматривайте такой проект как экспериментальный порт, а не как развёртывание с официальной поддержкой.
Разумный план миграции выглядит так:
- Оставить рабочий сервер моделей без изменений.
- Создать изолированную ветку с зафиксированными версиями DeepInfer, CUDA, драйвера, компилятора и модели.
- До сборки составить список зависимостей, чувствительных к архитектуре.
- Провести численное сравнение с заведомо рабочим рантаймом.
- Измерить задержки prefill и decode, уровень параллелизма, потребление памяти и восстановление после сбоев.
- Переводить порт в рабочую эксплуатацию только в том случае, если он улучшает показатели, важные именно для вашей нагрузки.
Практичная альтернатива — проверить рантайм для обслуживания моделей, который прямо документирует конфигурации H100, например vLLM, SGLang или TensorRT-LLM. Выбирать между ними следует с учётом конкретного чекпоинта DeepSeek, квантования, возможностей API и распределённой топологии, которые вам нужны, — а не на основании показателей DeepInfer для SM100.
Если у команды рабочие станции или серверы RTX
В официальном списке DeepInfer нет ни одной модели RTX. Кроме того, описанная конфигурация ориентирована на крупномасштабный инференс, поэтому одну RTX-карту или небольшой пул RTX нельзя считать дешёвой заменой конфигурациям из 4 GPU для prefill или 64 GPU для decode.
Если задача — разработка, тестирование или небольшой собственный endpoint, используйте универсальный локальный рантайм. DeepInfer можно оставить в списке наблюдения на случай архитектурного порта, но не стоит закладывать бюджет на основе незакрытого issue или сообщения на форуме.
Если у вас есть доступ к SM100 или Ascend 950
Это единственный вариант, который соответствует текущей официальной матрице. Но даже здесь DeepInfer не является готовым онлайн-сервисом с полным API: в официальных заметках по развёртыванию перечислены отсутствующие компоненты промышленной эксплуатации, включая постоянный KV-кэш, оркестрацию prefill/decode и балансировку нагрузки между репликами.
Поэтому DeepInfer лучше подходит командам, которые хотят изучать или бенчмаркать движок, располагают нужной конфигурацией ускорителей и готовы самостоятельно собрать окружающую платформу. Для многомодельного API-шлюза это не автоматически лучший выбор.
Ограничения развёртывания, не связанные напрямую с GPU
Совместимость с оборудованием — лишь один из этапов миграции. Публичный релиз описан как офлайн-инференс, а не как законченный OpenAI-совместимый сервер. Отсутствующие компоненты напрямую влияют на архитектуру решения:
| Отсутствующая возможность | Практическое последствие |
|---|---|
| Постоянный или распределённый KV-кэш | Повторное использование контекста в онлайн-диалогах нужно реализовать отдельно |
| Разделение prefill и decode | Оператору нужно самостоятельно организовать этапы и их размещение |
| Балансировка нагрузки между репликами | Маршрутизация и балансировка с учётом очередей остаются внешними компонентами |
| HTTP, аутентификация и инструменты | По-прежнему потребуются API-шлюз и агентный слой |
Отдельный проект deepseek-recipe преобразует форматы Messages, Chat Completions и Responses, но сам инференс не выполняет и полноценный сервис для промышленной эксплуатации не предоставляет.
Что проверить до смены оборудования
Перед согласованием миграции на DeepInfer запросите подтверждения по каждому пункту:
- Официальная поддержка архитектуры и сборки: указана ли конкретная GPU в списке и можно ли воспроизвести зафиксированное окружение на чистой машине?
- Покрытие ядер и корректность: выдают ли ядра attention, GEMM и expert-parallel совпадающие результаты, структурированные ответы и корректное поведение на длинном контексте?
- Распределённая производительность: сохраняет ли стабильность нужное число GPU и топология соединений при целевых значениях параллелизма и объёма памяти?
- Полнота сервиса: откуда берутся KV-кэш, маршрутизация, аутентификация, HTTP-транспорт и балансировка реплик?
Если на первый вопрос ответ «нет», проект следует пометить как экспериментальный. Если сервисные функции нужно брать извне, включите соответствующие инженерные работы в стоимость миграции.
FAQ: поддержка H100 в DeepInfer
Запустится ли DeepInfer на NVIDIA H100?
Поддержка H100 официально не задокументирована. В текущем списке NVIDIA указана архитектура SM100. Экспериментальный порт возможен, но в цитируемых материалах нет официальной инструкции по сборке для H100 и проверенного бенчмарка на H100.
Поддерживает ли DeepInfer RTX 4090, 5090 и другие RTX-карты?
Поддержка RTX официально не заявлена. В указанных официальных материалах нет проверенной конфигурации для RTX. Считайте развёртывание на RTX неподдерживаемым, пока проект не задокументирует архитектуру и не проверит работу своих ядер.
Что использовать команде с H100 вместо этого?
Сохраните текущий рантайм или оцените решение с явной поддержкой H100, а затем сравните его на собственном чекпоинте и характерной нагрузке. vLLM, SGLang и TensorRT-LLM — практичные отправные точки, тогда как DeepInfer разумнее рассматривать как будущую цель для портирования или как повод оценить инфраструктуру SM100.
Порт на H100 или RTX следует считать экспериментальным, пока не будут документированы конкретная архитектура, ядра, сервисный слой и результаты на вашей нагрузке.