DeepInfer H100 지원: 공식 지원 목록이 의미하는 것

H100과 RTX 팀이 먼저 알아야 할 결론

DeepInfer는 H100 지원을 공식 발표하거나 문서화하지 않았습니다. RTX 역시 공식 지원 대상에 포함되지 않습니다. 현재 릴리스는 DeepSeek-V4.1-Flash를 대상으로 하며, CUDA 13 기반의 NVIDIA SM100 하드웨어 또는 CANN 9.2 기반의 Ascend 950을 지원 대상으로 명시합니다. 저장소가 요구하는 환경은 Linux, GCC 13 이상, Python 3.12입니다(공식 DeepInfer 저장소).

다만 ‘목록에 없다’는 말은 실험적인 패치가 절대 빌드되지 않는다는 뜻이 아닙니다. 조달과 프로덕션 도입을 판단할 때 공식 지원으로 간주할 수 없다는 의미입니다.

현재 DeepInfer가 공식 지원하는 범위

지원 범위는 단순히 ‘NVIDIA GPU’나 ‘DeepSeek 모델’로 묶을 수 없습니다. 특정 가속기 세대와 소프트웨어 스택, 모델 실행 경로를 함께 봐야 합니다.

DeepSeek의 배포 Q&A에는 스케일업 도메인 기준으로 프리필에 SM100 GPU 4개, 디코드에 SM100 GPU 64개를 사용하는 벤치마크 토폴로지가 나와 있습니다. 이는 SM100에서 측정한 결과일 뿐, H100의 처리 용량을 추정한 수치가 아닙니다.

SM100 지원이 H100이나 RTX 지원을 뜻하지 않는 이유

DeepInfer의 공식 지원 목록에는 H100, SM90, RTX 제품군이 없습니다. CUDA 호환성만으로 DeepInfer 호환성까지 보장되지는 않습니다.

저장소는 FlashMLA, DeepGEMM, DeepEP, TileLang 연산처럼 아키텍처에 민감한 구성 요소를 통합합니다(프로젝트 문서). GPU 대상이 인식되더라도 런타임에서 실패하거나 잘못된 결과를 내거나, 마이그레이션의 목적이었던 성능을 얻지 못할 수 있습니다.

따라서 다음 세 가지 주장은 서로 구분해서 봐야 합니다.

1. 특정 아키텍처에서 코드가 빌드된다.
2. 모델이 올바른 결과와 안정적인 분산 동작을 보이며 실행된다.
3. 실제로 유용한 지연 시간과 처리량으로 배포가 검증됐다.

빌드가 성공했다는 사실만으로 확인할 수 있는 것은 첫 번째 주장뿐입니다. DeepInfer의 공개 자료에는 H100 또는 RTX 벤치마크, 공식 SM90 빌드 절차, 검증된 소비자용 RTX 구성 정보가 없습니다.

기존 인프라를 위한 마이그레이션 경로

H100 또는 다른 Hopper 시스템을 사용하는 경우

DeepInfer를 시험해 보겠다는 이유만으로 현재 운영 중인 H100 서빙 스택을 교체하지 마세요. 공식 지원 배포가 아니라 실험적인 포팅 프로젝트로 접근하는 편이 안전합니다.

현실적인 진행 순서는 다음과 같습니다.

1. 프로덕션 모델 서버는 그대로 유지합니다.
2. DeepInfer, CUDA, 드라이버, 컴파일러, 모델 버전을 고정한 격리 브랜치를 만듭니다.
3. 컴파일 전에 아키텍처별 의존성을 점검합니다.
4. 검증된 기존 런타임과 수치 결과를 비교합니다.
5. 프리필 지연 시간, 디코드 지연 시간, 동시성, 메모리 사용량, 장애 복구를 측정합니다.
6. 팀의 실제 워크로드에 도움이 될 때만 포팅 결과를 운영 환경으로 승격합니다.

대안으로는 H100 구성을 명시적으로 지원하는 서빙 런타임을 검토할 수 있습니다. 예를 들어 vLLM, SGLang, TensorRT-LLM 등이 있습니다. 다만 선택 기준은 DeepInfer의 SM100 수치가 아니라, 사용하려는 정확한 DeepSeek 체크포인트와 양자화 방식, API 기능, 분산 토폴로지여야 합니다.

RTX 워크스테이션이나 RTX 서버를 사용하는 경우

공식 DeepInfer 지원 목록에는 RTX 제품군이 없습니다. 문서에 나온 벤치마크 토폴로지는 대규모 추론을 전제로 하므로, RTX 카드 한 장이나 소규모 RTX 풀을 프리필 GPU 4개 또는 디코드 GPU 64개 구성의 저비용 대체재로 봐서는 안 됩니다.

개발, 평가, 소규모 자체 호스팅 엔드포인트가 목적이라면 범용 로컬 추론 런타임을 사용하는 편이 낫습니다. 향후 아키텍처별 포팅 가능성은 지켜보되, 아직 병합되지 않은 이슈나 포럼 게시물만 믿고 예산을 편성하지는 마세요.

SM100 또는 Ascend 950에 접근할 수 있는 경우

현재 공식 지원 매트릭스와 일치하는 경로는 이 경우뿐입니다. 다만 이 환경에서도 DeepInfer는 완성된 온라인 API 서비스가 아닙니다. 공식 배포 문서에 따르면 영속 KV 캐시, 프리필·디코드 오케스트레이션, 레플리카 로드 밸런싱 같은 프로덕션 구성 요소가 아직 빠져 있습니다.

따라서 DeepInfer는 엔진을 연구하거나 벤치마크하고, 필요한 가속기 토폴로지를 확보했으며, 주변 플랫폼을 직접 구축할 준비가 된 팀에 더 잘 맞습니다. 여러 모델을 제공하는 API 게이트웨이에 항상 최선의 선택이라고 보기는 어렵습니다.

GPU 외에 확인해야 할 배포 제약

하드웨어 지원은 마이그레이션을 가로막는 여러 조건 중 하나일 뿐입니다. 공개된 릴리스는 완성된 OpenAI 호환 서버가 아니라 오프라인 추론으로 설명됩니다. 빠져 있는 기능은 아키텍처 설계에도 직접 영향을 줍니다.

별도의 deepseek-recipe 프로젝트는 Messages, Chat Completions, Responses 형식을 변환하지만, 추론을 실행하거나 완전한 프로덕션 서비스를 제공하지는 않습니다.

하드웨어를 바꾸기 전에 확인할 체크리스트

DeepInfer 마이그레이션을 승인하기 전, 다음 항목마다 근거를 확보해야 합니다.

1. 공식 아키텍처 및 빌드 지원: 사용하려는 GPU가 정확히 목록에 포함되어 있으며, 초기화된 환경에서 고정된 구성을 재현할 수 있는가?
2. 커널 및 정확성 검증: 어텐션, GEMM, 전문가 병렬 커널이 기준 런타임과 일치하는 출력과 구조화된 응답, 긴 컨텍스트 동작을 내놓는가?
3. 분산 성능: 목표로 하는 GPU 수와 인터커넥트 토폴로지가 팀의 동시성 및 메모리 목표에서 안정적으로 작동하는가?
4. 서비스 완성도: KV 캐시, 라우팅, 인증, HTTP 전송, 레플리카 밸런싱을 어디에서 제공하는가?

첫 번째 질문에 대한 답이 ‘아니오’라면 해당 프로젝트를 실험으로 분류하세요. 서비스 관련 질문의 답이 ‘외부 구성 요소’라면, 그 엔지니어링 작업까지 마이그레이션 비용에 포함해야 합니다.

DeepInfer H100 지원 FAQ

NVIDIA H100에서 DeepInfer를 실행할 수 있나요?

H100 지원은 공식 문서에 없습니다. 현재 NVIDIA 지원 항목은 SM100입니다. 실험적인 포팅은 가능할 수 있지만, 인용된 자료에는 공식 H100 빌드 절차나 검증된 H100 벤치마크가 없습니다.

DeepInfer는 RTX 4090, 5090 또는 다른 RTX 카드를 지원하나요?

RTX 지원은 공식 목록에 없습니다. 인용된 공식 자료에도 검증된 RTX 구성이 나오지 않습니다. 업스트림 프로젝트가 해당 아키텍처를 문서화하고 커널을 검증하기 전까지는 RTX 배포를 지원되지 않는 구성으로 취급하세요.

H100 팀은 대신 무엇을 사용해야 하나요?

H100을 명시적으로 지원하는 런타임을 유지하거나 검토한 뒤, 자체 체크포인트와 트래픽 패턴으로 비교 테스트를 진행하세요. vLLM, SGLang, TensorRT-LLM은 실용적인 출발점입니다. DeepInfer는 향후 포팅 대상 또는 SM100 인프라를 검토할 계기로 보는 편이 적절합니다.

정확한 아키텍처와 커널, 서비스 계층, 워크로드 결과가 문서화되기 전까지 H100 또는 RTX 포트는 실험으로 취급해야 합니다.