AIREITER給 H100 與 RTX 團隊的簡短結論
DeepInfer 官方目前沒有宣布或記載 H100 支援，RTX 也同樣未獲官方文件支援。目前版本以 DeepSeek-V4.1-Flash 為目標，列出的 NVIDIA 硬體是搭配 CUDA 13 的 SM100，另一條路線則是搭配 CANN 9.2 的 Ascend 950。儲存庫另外要求 Linux、GCC 13 或更新版本，以及 Python 3.12（DeepInfer 官方儲存庫）。
「未列出」代表在採購與正式上線規劃上，不能視為獲得支援；但這不等於實驗性修改絕對無法編譯。
DeepInfer 目前正式支援哪些環境
這裡的支援範圍不是泛指「NVIDIA GPU」或「DeepSeek 模型」，而是明確限定在特定加速器世代、軟體堆疊與模型路徑。
| 元件 | 文件記載的支援範圍 |
|---|---|
| 模型 | DeepSeek-V4.1-Flash |
| 預設檢查點 | deepseek-ai/DeepSeek-V4.1-Flash-1017 |
| NVIDIA 加速器 | SM100，對應 Blackwell 資料中心 GPU |
| NVIDIA 工具鏈 | CUDA 13 |
| Huawei 加速器 | Ascend 950 NPU |
| Huawei 工具鏈 | CANN 9.2 |
| 主機需求 | Linux、GCC 13+、Python 3.12 |
| 推論模式 | 離線、程序內推論 |
DeepSeek 的部署問答文件列出擴展單一網域中的基準拓撲：Prefill 使用 4 張 SM100 GPU，Decode 使用 64 張 SM100 GPU。這些是 SM100 的實測配置，不能拿來推估 H100 的容量。
為什麼支援 SM100，不代表 H100 或 RTX 也能用
DeepInfer 的官方清單沒有列出 H100、SM90 或任何 RTX 型號。僅僅具備 CUDA 相容性，並不足以證明 DeepInfer 相容。
這個儲存庫整合了 FlashMLA、DeepGEMM、DeepEP 與 TileLang 等高度依賴架構的元件與運算（專案文件）。即使某張 GPU 能被辨識、程式也成功編譯，仍可能在執行時失敗、產生錯誤結果，或失去促成遷移的效能優勢。
因此，以下三件事必須分開看：
- 程式能針對某個架構完成編譯。
- 模型能產生正確輸出，分散式執行也維持穩定。
- 部署能在實際需求下達到可接受的延遲與吞吐量。
成功建置最多只能證明第一點。DeepInfer 公開資料目前沒有提供 H100 或 RTX 基準測試、正式的 SM90 建置流程，也沒有經驗證的消費級 RTX 設定。
現有基礎架構的遷移方向
如果你的叢集採用 H100 或其他 Hopper 系統
不要只為了測試 DeepInfer，就替換目前正在運作的 H100 服務堆疊。比較合理的做法，是把它當成實驗性的移植專案，而不是受支援的正式部署。
可以依照以下方式規劃：
- 維持正式環境的模型伺服器不變。
- 建立隔離分支，固定 DeepInfer、CUDA、驅動程式、編譯器與模型版本。
- 在編譯前，先盤點所有依賴特定架構的元件。
- 對照已知可正常運作的執行環境，進行數值結果比對。
- 測量 Prefill 延遲、Decode 延遲、並行數、記憶體用量與故障復原能力。
- 只有在確定能改善團隊真正關心的工作負載時，才考慮讓移植版本上線。
更務實的替代方案，是評估明確記載 H100 設定的推論服務執行環境，例如 vLLM、SGLang 或 TensorRT-LLM。選擇時應根據你需要的 DeepSeek 檢查點、量化方式、API 功能與分散式拓撲，而不是拿 DeepInfer 的 SM100 數據作為依據。
如果團隊使用 RTX 工作站或 RTX 伺服器
DeepInfer 的官方清單沒有列出任何 RTX 型號。其已記載的基準拓撲是針對大規模推論，因此不能把單張 RTX 或小型 RTX 叢集，當成 4-GPU Prefill 或 64-GPU Decode 配置的低成本替代方案。
如果目標是開發、評估或建立較小型的自託管端點，應改用通用的本機推論執行環境。DeepInfer 可以列入未來架構移植的觀察名單，但不要把尚未合併的 issue 或論壇說法當成預算與採購依據。
如果你能取得 SM100 或 Ascend 950
這是目前唯一符合官方支援矩陣的路徑。不過即使在這種環境下，DeepInfer 也不是完整的線上 API 服務：官方部署說明指出，持久化 KV cache、Prefill/Decode 編排與副本負載平衡等正式環境元件仍然缺少。
因此，DeepInfer 更適合想研究或測試引擎、具備所需加速器拓撲，並且準備自行建立周邊平台的團隊。若需求是多模型 API 閘道，它不一定就是最佳選擇。
GPU 之外的部署限制
硬體支援只是遷移時其中一道門檻。公開版本被描述為離線推論，而不是已完成的 OpenAI 相容伺服器。缺少的功能會直接影響整體架構：
| 缺少的能力 | 對營運的影響 |
|---|---|
| 持久化或分散式 KV cache | 線上多輪對話的快取重用必須由其他元件提供 |
| Prefill/Decode 解耦 | 營運方必須自行處理階段編排與工作配置 |
| 副本負載平衡 | 請求路由與依佇列狀態進行的平衡仍需外部元件負責 |
| HTTP、驗證與工具 | 仍然需要 API 閘道與代理層 |
獨立的 deepseek-recipe 專案可以轉換 Messages、Chat Completions 與 Responses 格式，但它不會執行推論，也不會提供完整的正式環境服務。
更換硬體前，先完成這份驗證清單
在核准 DeepInfer 遷移之前，應要求每一項都有相應證據：
- 官方架構與建置支援：確切的 GPU 型號是否列在清單中？能否在乾淨的機器上重現固定版本的環境？
- 核心與正確性覆蓋：Attention、GEMM 與專家平行運算核心，能否產生一致的輸出、結構化回應，並維持長上下文行為？
- 分散式效能：在預定的 GPU 數量與互連拓撲下，能否在你的並行數與記憶體目標下維持穩定？
- 服務完整性：KV cache、路由、驗證、HTTP 傳輸與副本平衡要由哪個元件提供？
如果第一個問題的答案是「否」，就應把專案標示為實驗。如果服務相關問題的答案是「由外部提供」，也要把這部分工程工作納入遷移成本。
DeepInfer H100 支援常見問題
DeepInfer 能在 NVIDIA H100 上執行嗎？
官方文件目前沒有記載 H100 支援。現有 NVIDIA 支援項目是 SM100。實驗性移植或許可行，但引用的資料中沒有正式 H100 建置流程，也沒有經驗證的 H100 基準測試。
DeepInfer 支援 RTX 4090、5090 或其他 RTX 顯示卡嗎？
官方清單沒有列出 RTX 支援。引用的官方資料也沒有提供經驗證的 RTX 設定。在上游專案記載相關架構並完成核心驗證之前，都應把 RTX 部署視為不受支援。
H100 團隊應該改用什麼？
保留或評估明確支援 H100 的執行環境，再用你自己的檢查點與流量模式進行比較。vLLM、SGLang 與 TensorRT-LLM 都是實際可行的起點；至於 DeepInfer，則更適合當成未來的移植目標，或作為評估 SM100 基礎架構的理由。
在確切架構、核心、服務層與工作負載結果都完成文件化之前，都應把 H100 或 RTX 移植視為實驗。