AIREITERDeepSeek DeepInfer는 Apache-2.0 라이선스로 공개된 진짜 오픈소스 프로젝트다. 다만 바로 서비스에 투입할 수 있는 완성형 서빙 제품은 아니다. 첫 공개 버전은 NVIDIA SM100 또는 Huawei Ascend 950에서 DeepSeek-V4.1-Flash를 실행하는 데 초점을 맞췄으며, 완성된 온라인 서빙 스택이 아니라 오프라인 추론을 중심으로 문서화돼 있다.
DeepInfer를 한 문장으로 정리하면
DeepInfer는 DeepSeek-V4.1-Flash를 위한 DeepSeek의 특화 추론 엔진이다. 모델도, 호스팅 API도 아니다. 공식 저장소가 설명하는 것은 대규모 추론을 위한 핵심 엔진 기능이며, 임의의 모델을 처리하는 범용 서버가 아니다.
공식 발표와 저장소 자료에 따르면 공개일은 October 20, 2026이다. 엔진 라이선스는 Apache-2.0이다. 지원 하드웨어와 오프라인 실행 범위, 제공되지 않는 서빙 구성 요소를 확인하려면 저장소의 배포 문서를 기준으로 봐야 한다.
라이선스는 열려 있지만, 서빙 제품으로는 아직 미완성
Apache-2.0이라는 사실은 라이선스 문제를 해결해 주지만, 실제 배포 방식까지 보장하지는 않는다. 공개 버전에는 추론 엔진과 예제가 포함돼 있다. 반면 배포 Q&A는 DeepSeek 내부의 전체 서비스보다 좁은 공개 범위를 설명한다.
| 기능 | 첫 DeepInfer 공개 버전에 포함됐나? | 의미 |
|---|---|---|
| DeepSeek-V4.1-Flash 오프라인 추론 | 예 | 문서화된 출발점은 배치/오프라인 실행이다 |
| Apache-2.0 엔진 라이선스 | 예 | 라이선스 조건에 따라 코드를 확인하고 재사용할 수 있다 |
| OpenAI 호환 온라인 서버 | 문서화되지 않음 | HTTP와 프로토콜 계층을 직접 제공해야 한다 |
| 분산 KV 캐시 시스템 | 공개 버전에는 문서화되지 않음 | 공유 캐시 계층을 배포 서비스 형태로 제공하지 않는다 |
| Prefill/Decode 분리 | 공개 버전에는 문서화되지 않음 | 단계 분리와 데이터 전송은 별도 작업으로 남는다 |
| 복제본 로드 밸런싱 | 공개 버전에는 문서화되지 않음 | 복제본 간 라우팅은 별도로 구현해야 한다 |
| 폭넓은 모델 지원 | 아니오 | 검토한 버전은 하나의 DeepSeek 모델을 대상으로 한다 |
첫 공개 버전으로 실제 할 수 있는 일
DeepInfer는 특화 추론을 위해 DeepSeek 전용 커널과 스케줄링 기능을 결합한다.
모델·하드웨어·빌드 요구 사항
저장소에 명시된 요구 사항은 Linux, Python 3.12, GCC 13 이상, CUDA 13을 사용하는 NVIDIA SM100 또는 CANN 9.2를 사용하는 Huawei Ascend 950이다. 지원 모델은 DeepSeek-V4.1-Flash이며, 기본 체크포인트로 DeepSeek-V4.1-Flash-1017을 사용한다.
H100, 일반 소비자용 RTX, AMD, Apple Silicon, Windows 지원은 검토한 공개 자료만으로 확인되지 않는다. 따라서 팀은 공개된 가속기 목록을 선택 사항이 아니라 도입 가능 여부를 가르는 조건으로 봐야 한다.
눈여겨볼 엔진 기능
- DSpark 추측 디코딩: 먼저 초안 토큰을 제안한 뒤, 신뢰도 추정치를 바탕으로 검증에 어느 정도 자원을 투입할지 결정한다. 저장소에는 최대 초안 길이가 5토큰으로 문서화돼 있다.
- SWA 제한형 재생: 캐시 적중 후 전체 컨텍스트를 다시 계산하는 대신, 제한된 길이의 접미부를 재생할 수 있다. 문서에 나온 예시는 140토큰 keep 설정을 사용한다. 이는 최적화 기법이지 분산 KV 캐시 서비스를 대체하는 기능은 아니다.
- 병렬화와 로드 밸런싱: 어텐션 데이터 병렬화, 컨텍스트 병렬화, mixture-of-experts 전문가 병렬화, 전문가 병렬 로드 밸런싱이 엔진 설계에 포함돼 있다.
- 비동기 스케줄링: CPU 측 배치 준비와 디바이스 실행을 겹쳐 처리할 수 있다.
- 재현성 제어: 문서에는 NVIDIA 전용 배치 불변 추론과 결정론적 샘플링이 설명돼 있다.
- 구조화된 출력: 생성 계층에서 regex, JSON Schema, EBNF 제약 조건을 지원한다.
하드웨어와 벤치마크를 현실적으로 보기
공식 벤치마크 환경은 “사용 가능하다”는 말의 의미를 바꿀 만큼 고가다. DeepInfer README에 따르면 프리필에는 NVIDIA SM100 GPU 4개, 디코드에는 NVIDIA SM100 GPU 64개를 사용했다. 대부분의 독자가 워크스테이션에서 그대로 재현할 수 있는 결과가 아니라 특수한 테스트 환경에서 나온 수치다.
| 단계 | 공개 자료에 기재된 공식 환경 | 측정 항목 |
|---|---|---|
| 프리필 | 4 × NVIDIA SM100 | 비캐시 입력 처리량과 단계 지연 시간 |
| 디코드 | 64 × NVIDIA SM100 | 전체 출력 처리량과 사용자별 속도 |
| 인용 차트의 컨텍스트 | 131,072토큰 | 모든 컨텍스트 길이에서의 성능을 의미하지는 않는다 |
| 비교 대상 | DeepInfer 자체 곡선 | 통제된 vLLM/SGLang 맞대결 결과는 없다 |
공개 자료만으로는 토큰당 비용, 엔드투엔드 요청 지연 시간, vLLM 또는 SGLang 대비 우위를 확인할 수 없다. 실제 평가는 대표 차트의 수치만 보는 대신, 목표 워크로드를 직접 재현하는 방식으로 진행해야 한다.
배포 목적에 따라 달라지는 DeepInfer와 vLLM·SGLang의 선택
핵심은 기능 목록보다 운영 범위다. 지원되는 DeepSeek 모델과 가속기를 사용하는 특화 환경이라면 DeepInfer가 맞을 수 있다. 반대로 여러 모델과 완성도 높은 서빙이 중요하다면 vLLM과 SGLang이 더 안전한 기본 선택이다.
| 배포 목적 | 먼저 검토할 선택지 | 이유 |
|---|---|---|
| DeepSeek 전용 커널과 스케줄링을 살펴보기 | DeepInfer | DeepSeek-V4.1-Flash를 위한 실전 기반 구현이다 |
| 여러 오픈 모델을 하나의 API 뒤에서 운영하기 | vLLM 또는 SGLang | 문서화된 지원 범위가 더 넓다 |
| OpenAI 호환 서비스를 빠르게 시작하기 | vLLM 또는 SGLang | DeepInfer에는 완성된 온라인 서버가 문서화돼 있지 않다 |
| NVIDIA에서 결정론적 또는 배치 불변 동작을 평가하기 | DeepInfer | 해당 제어 기능이 문서화된 특성이다 |
| 일반 워크스테이션이나 구형 데이터센터 하드웨어 사용하기 | vLLM 또는 SGLang | DeepInfer가 겨냥하는 가속기 범위가 더 좁다 |
| 속도 우위를 입증하기 | 모든 후보를 직접 벤치마크 | DeepInfer 차트만으로는 동일 조건 비교 결과를 제공하지 않는다 |
도입 전에 확인할 체크리스트
- 가속기부터 확인한다. 배포 환경이 SM100 또는 Ascend 950이 아니라면 빌드 스크립트부터 실행하지 말아야 한다.
- 모델을 확인한다. 검토한 공개 버전의 대상은 DeepSeek-V4.1-Flash다. 여러 모델을 서비스하려면 다른 엔진 전략이나 추가 서빙 계층이 필요하다.
- 오프라인과 온라인 요구 사항을 나눈다. 오프라인 평가와 합성 데이터 생성은 고객 대상 API보다 단순하다.
- 빠진 서비스를 목록화한다. HTTP 처리, 인증, 쿼터, 관측성, 라우팅, 복제본 밸런싱, KV 캐시 설계에 필요한 비용과 작업을 별도로 잡아야 한다.
- 실제 트래픽으로 벤치마크한다. 프롬프트 길이, 동시성, 캐시 적중률, 출력 길이, 첫 토큰까지의 시간, 토큰 간 지연 시간, 처리량을 기록한다.
- 출력 안정성을 테스트한다. 재현성이 중요하다면 정확한 샘플러 설정에서 NVIDIA 전용 배치 불변 및 결정론적 설정이 제대로 동작하는지 확인해야 한다.
- 저장소의 성숙도를 추적한다. 첫 공개 버전인 만큼 이슈, 릴리스, 하드웨어 지원 현황을 계속 확인해야 한다.
필요한 가속기 클러스터를 갖춘 플랫폼 팀이라면 DeepInfer를 통제된 파일럿 대상으로 검토할 만하다. 다만 곧바로 기존 엔진을 교체할 이유는 아니다. 그 외 개발자는 먼저 저장소와 배포 Q&A를 확인한 뒤, 자신의 하드웨어와 API 요구 사항에 맞는 서빙 시스템을 선택하는 편이 낫다.
DeepInfer FAQ
DeepInfer는 완전한 오픈소스인가?
엔진 코드는 공개돼 있으며 Apache-2.0 라이선스를 따른다. 그렇다고 DeepSeek 내부 서비스에 사용되는 모든 구성 요소가 포함됐다는 뜻은 아니다. 공개 버전의 엔진 범위는 더 좁다.
64-GPU 디코드 클러스터가 없어도 DeepInfer를 쓸 수 있나?
필요한 하드웨어를 갖췄다면 코드 검토와 지원되는 오프라인 실험에 활용할 수 있다. 다만 소규모 일반 서버에서 공개된 대규모 서비스 환경을 재현하는 도구로 봐서는 안 된다.
지원되지 않는 하드웨어라면 어떤 선택이 현실적인가?
가속기와 워크로드를 지원하는 서빙 엔진을 사용하면 된다. 예를 들어 vLLM이나 SGLang이 있다. DeepInfer는 소비자용 GPU, 구형 데이터센터 카드, 빠른 OpenAI 호환 엔드포인트를 위한 손쉬운 대체재로 보기 어렵다.