AIREITERDeepSeek DeepInferはApache-2.0で公開された、正真正銘のオープンソース推論エンジンだ。ただし、すぐに運用へ投入できるサービング製品ではない。初回リリースの対象はNVIDIA SM100またはHuawei Ascend 950上のDeepSeek-V4.1-Flashで、公開資料が示しているのは完全なオンライン基盤ではなく、オフライン推論の使い方である。
DeepInferをひと言で説明すると
DeepInferはDeepSeek-V4.1-Flash向けに最適化された、DeepSeek製の専用推論エンジンだ。モデルそのものでも、ホスティングAPIでもない。公式リポジトリが公開しているのは、大規模推論の中核機能を備えたエンジンであり、任意のモデルを扱える汎用サーバーではない。
公式発表とリポジトリの資料では、リリース日はOctober 20, 2026とされている。ライセンスはApache-2.0だ。対応ハードウェア、オフライン推論の範囲、提供されていないサービング機能を判断するうえでは、リポジトリのデプロイ関連ドキュメントが基準になる。
ライセンスはオープンでも、サービング製品としては未完成
Apache-2.0であることが示すのは、主にライセンス上の自由だ。実際にどうデプロイできるかまでは保証しない。公開版には推論エンジンとサンプルが含まれる一方、デプロイに関するQ&Aを読むと、DeepSeek社内で使われているサービス全体よりも、公開範囲は明確に狭い。
| 機能 | 初回DeepInferリリースに含まれるか | 実際の意味 |
|---|---|---|
| DeepSeek-V4.1-Flashのオフライン推論 | 含まれる | 文書化された出発点はバッチ処理／オフライン実行 |
| Apache-2.0のエンジンライセンス | 含まれる | ライセンス条件の範囲でコードを検証・再利用できる |
| OpenAI互換のオンラインサーバー | 文書化されていない | HTTP層とプロトコル層は自前で用意する必要がある |
| 分散KVキャッシュシステム | 公開版では文書化されていない | 共有キャッシュ層はデプロイ用サービスとして提供されない |
| Prefill／Decodeの分離 | 公開版では文書化されていない | 処理段階の分離とデータ転送は別途実装する必要がある |
| レプリカ間のロードバランシング | 公開版では文書化されていない | 複数レプリカへのルーティングは別途対応が必要 |
| 幅広いモデル対応 | 対応しない | 今回確認したリリースの対象は1つのDeepSeekモデル |
初回リリースで実際にできること
DeepInferは、DeepSeek向けに設計されたカーネルとスケジューリング機能を組み合わせ、専用推論に特化している。
モデル、ハードウェア、ビルド要件
リポジトリに記載された要件は、Linux、Python 3.12、GCC 13以降、NVIDIA SM100とCUDA 13、またはHuawei Ascend 950とCANN 9.2だ。対応モデルはDeepSeek-V4.1-Flashで、デフォルトのチェックポイントにはDeepSeek-V4.1-Flash-1017が使われる。
今回確認したリリース資料では、H100、民生向けRTX、AMD、Apple Silicon、Windowsへの対応は確認できない。導入を検討するチームは、公開されているアクセラレーター一覧を「推奨条件」ではなく、まず満たすべき前提条件として扱うべきだ。
エンジンの主な機能
- DSparkによる投機的デコード：先読みトークンを生成し、その信頼度をもとに検証量を調整する。リポジトリに記載されたドラフト長の上限は5トークンだ。
- SWAによる範囲限定リプレイ：キャッシュヒット後、コンテキスト全体を再計算する代わりに、限定された末尾部分だけを再実行できる。ドキュメントの例ではkeep設定に140トークンを使っている。これは最適化機能であり、分散KVキャッシュサービスの代替ではない。
- 並列化とロードバランシング：Attentionのデータ並列、コンテキスト並列、Mixture of Expertsのエキスパート並列、エキスパート並列におけるロードバランシングが設計に含まれる。
- 非同期スケジューリング：CPU側でのバッチ準備とデバイス実行を重ねて処理できる。
- 再現性の制御：ドキュメントでは、NVIDIA限定のバッチ不変推論と決定論的サンプリングが説明されている。
- 構造化出力：生成層で正規表現、JSON Schema、EBNFによる制約を利用できる。
ハードウェア要件とベンチマークの現実
公式ベンチマークの構成は、「利用できる」という言葉の意味を変えてしまうほど大規模だ。DeepInferのREADMEによれば、PrefillにはNVIDIA SM100を4基、DecodeにはNVIDIA SM100を64基使っている。これは専用構成でのテストであり、多くの読者がワークステーション上で再現できる結果ではない。
| フェーズ | リリース資料に記載された公式構成 | 報告されている測定内容 |
|---|---|---|
| Prefill | NVIDIA SM100 × 4 | 非キャッシュ入力のスループットとステップ遅延 |
| Decode | NVIDIA SM100 × 64 | 全体の出力スループットとユーザーあたりの速度 |
| 引用されたグラフのコンテキスト長 | 131,072トークン | あらゆるコンテキスト長での性能を示すものではない |
| 比較対象 | DeepInfer自身の曲線 | vLLM／SGLangとの条件統一された直接比較はない |
このリリースだけでは、トークンあたりのコスト、リクエストのエンドツーエンド遅延、vLLMやSGLangを上回ることは証明されていない。実際に評価するなら、目立つグラフだけを見るのではなく、想定するワークロードを再現する必要がある。
デプロイ目的で見るDeepInfer、vLLM、SGLangの違い
比較の軸にすべきなのは、どの製品が速そうかではなく、どこまで運用をカバーしているかだ。対応するDeepSeekモデルとアクセラレーターに特化して使うならDeepInferが候補になる。一方、モデルの選択肢やサービング基盤としての完成度を重視するなら、vLLMやSGLangのほうが無難な出発点だ。
| デプロイ目的 | 最初に検討しやすい選択肢 | 理由 |
|---|---|---|
| DeepSeek専用のカーネルやスケジューリングを検証する | DeepInfer | DeepSeek-V4.1-Flash向けの本番由来実装を確認できる |
| 複数のオープンモデルを1つのAPIの背後で動かす | vLLMまたはSGLang | 文書化された適用範囲が広い |
| OpenAI互換サービスをすぐ立ち上げる | vLLMまたはSGLang | DeepInferには完全なオンラインサーバーが文書化されていない |
| NVIDIA上で決定論的挙動やバッチ不変性を評価する | DeepInfer | これらの制御機能が文書化されている |
| 一般的なワークステーションや旧世代のデータセンター向けハードウェアを使う | vLLMまたはSGLang | DeepInferのアクセラレーター要件は限定的 |
| 速度面の優位性を証明する | 候補をすべてベンチマークする | DeepInferのグラフには条件をそろえた比較結果がない |
導入前に確認すべきチェックリスト
- まずアクセラレーターを確認する。SM100またはAscend 950上で動かす構成でないなら、ビルドスクリプトから始めても意味がない。
- モデルを確認する。今回確認したリリースの対象はDeepSeek-V4.1-Flashだ。複数モデルを扱うサービスには、別のエンジン戦略か追加のサービング層が必要になる。
- オフライン要件とオンライン要件を分ける。オフライン評価や合成データ生成は、顧客向けAPIよりも構成が単純だ。
- 不足しているサービスを洗い出す。HTTP処理、認証、クォータ、可観測性、ルーティング、レプリカ間の負荷分散、KVキャッシュの設計に必要なコストを見積もる。
- 実際のトラフィックでベンチマークする。プロンプト長、同時実行数、キャッシュヒット率、出力長、初回トークンまでの時間、トークン間遅延、スループットを記録する。
- 出力の安定性を検証する。再現性が重要なら、実際に使うサンプラー設定で、NVIDIA限定のバッチ不変設定と決定論的設定が機能するか確認する。
- リポジトリの成熟度を追う。初回の公開リリースであっても、Issue、リリース状況、ハードウェア対応の更新を継続的に確認する必要がある。
必要なアクセラレータークラスタを持つプラットフォームチームにとって、DeepInferは管理されたパイロット導入を試す価値がある。ただし、いきなり既存環境を置き換える判断には向かない。それ以外の開発者は、まずリポジトリとデプロイQ&Aを確認し、自分たちのハードウェアとAPI要件に合ったサービングシステムを選ぶべきだ。
DeepInfer FAQ
DeepInferは完全なオープンソースですか？
エンジン本体は公開されており、Apache-2.0でライセンスされている。ただし、DeepSeek社内のサービスで使われるすべてのコンポーネントが含まれているわけではない。公開版の範囲は、エンジンを中心としたより限定的なものだ。
64基のGPUによるDecodeクラスタがなくてもDeepInferは使えますか？
必要なハードウェアが用意できるなら、コードの確認や対応環境でのオフライン実験には使える。ただし、小規模な一般的サーバー上で、公開された大規模サービスを再現するための手段だと考えるべきではない。
対応外のハードウェアでは、実際には何を選ぶべきですか？
vLLMやSGLangのように、利用するアクセラレーターとワークロードに対応したサービングエンジンを使うのがよい。DeepInferを、民生向けGPU、旧世代のデータセンター向けカード、あるいはOpenAI互換エンドポイントをすぐ立ち上げるためのドロップイン製品だと考えるのは適切ではない。