AIREITER给 H100 和 RTX 团队的直接结论
DeepInfer 尚未正式宣布或记录对 H100 的支持，RTX 也不在官方支持范围内。 当前版本面向 DeepSeek-V4.1-Flash，列出的硬件是搭配 CUDA 13 的 NVIDIA SM100，以及搭配 CANN 9.2 的 Ascend 950。仓库还要求使用 Linux、GCC 13 或更高版本，以及 Python 3.12（DeepInfer 官方仓库）。
“未列出支持”是采购和生产规划层面的结论，并不等于实验性补丁绝对无法编译。
DeepInfer 当前官方支持什么
它的支持边界并不是笼统的“NVIDIA GPU”或“DeepSeek 模型”，而是由特定加速器架构、软件栈和模型路径共同构成。
| 组件 | 文档记录的支持范围 |
|---|---|
| 模型 | DeepSeek-V4.1-Flash |
| 默认检查点 | deepseek-ai/DeepSeek-V4.1-Flash-1017 |
| NVIDIA 加速器 | SM100，对应 Blackwell 数据中心 GPU |
| NVIDIA 工具链 | CUDA 13 |
| 华为加速器 | Ascend 950 NPU |
| 华为工具链 | CANN 9.2 |
| 主机环境要求 | Linux、GCC 13+、Python 3.12 |
| 推理模式 | 离线、进程内推理 |
DeepSeek 的部署问答文档给出的基准拓扑，是在一个扩展域中使用 4 张 SM100 GPU 进行 prefill，使用 64 张 SM100 GPU 进行 decode。这些是 SM100 的实测配置，不是 H100 的容量估算。
为什么支持 SM100，不代表自动支持 H100 或 RTX
DeepInfer 的官方列表没有列出 H100、SM90 或任何 RTX 型号。仅凭 CUDA 兼容性，不能证明 DeepInfer 也兼容对应 GPU。
该仓库集成了 FlashMLA、DeepGEMM、DeepEP 和 TileLang 算子等依赖架构特性的组件（项目文档）。即使某个 GPU 目标能够被识别，也可能在运行时失败、产生错误结果，或者失去推动迁移的性能收益。
因此，下面三件事必须分开判断：
- 代码能够针对某个架构完成编译。
- 模型能够输出正确结果，并保持分布式运行稳定。
- 部署能够达到可用的延迟和吞吐表现。
成功构建最多只能证明第一点。DeepInfer 的公开材料没有提供 H100 或 RTX 基准测试、正式的 SM90 构建方案，也没有经过验证的消费级 RTX 配置。
现有基础设施该如何迁移
如果你的集群使用 H100 或其他 Hopper 系统
不要仅仅为了测试 DeepInfer，就替换当前正在运行的 H100 服务栈。应把这项工作视为实验性的移植项目，而不是受支持的生产部署。
更稳妥的迁移步骤是：
- 保持生产模型服务器不变。
- 创建隔离分支，并固定 DeepInfer、CUDA、驱动、编译器和模型版本。
- 在编译前，逐项盘点依赖架构的组件。
- 对照已知可用的运行时，执行数值一致性测试。
- 测量 prefill 延迟、decode 延迟、并发能力、内存占用和故障恢复情况。
- 只有当移植版本确实改善团队关心的工作负载时，才考虑上线。
更现实的替代方案，是评估明确记录 H100 配置支持的推理运行时，例如 vLLM、SGLang 或 TensorRT-LLM。选择时应以你需要的具体 DeepSeek 检查点、量化方式、API 能力和分布式拓扑为依据，而不是参考 DeepInfer 的 SM100 数据。
如果团队使用 RTX 工作站或 RTX 服务器
DeepInfer 的官方列表没有列出任何 RTX 型号。其基准拓扑面向大规模推理，因此，不能把单张 RTX 卡或小规模 RTX 集群简单视为 4 卡 prefill 或 64 卡 decode 配置的低成本替代品。
如果目标是开发、评测或搭建规模较小的自托管端点，可以使用通用的本地推理运行时。DeepInfer 可以继续留在未来架构移植的观察名单中，但不要依据尚未合并的问题单或论坛说法来制定预算。
如果你能使用 SM100 或 Ascend 950
这是目前唯一符合官方支持矩阵的路径。即便如此，DeepInfer 也不是完整的在线 API 服务：官方部署说明提到，它仍缺少持久化 KV cache、prefill/decode 编排和副本负载均衡等生产组件。
因此，DeepInfer 更适合希望研究或测试推理引擎、拥有所需加速器拓扑，并且愿意自行搭建外围平台的团队。对于多模型 API 网关，它并不会自动成为最佳选择。
GPU 之外的部署限制
硬件支持只是迁移门槛之一。公开版本被描述为离线推理引擎，而不是已经完成的 OpenAI 兼容服务器。缺失的能力会直接影响架构设计：
| 缺失能力 | 对运维的影响 |
|---|---|
| 持久化或分布式 KV cache | 在线多轮复用需要由其他组件提供 |
| Prefill/decode 解耦 | 阶段编排和实例放置需要由运维方负责 |
| 副本负载均衡 | 路由和基于队列状态的均衡仍需外部实现 |
| HTTP、身份认证和工具调用 | 仍需要 API 网关和 Agent 层 |
独立的 deepseek-recipe 项目可以转换 Messages、Chat Completions 和 Responses 格式，但它不会执行推理，也不提供完整的生产服务。
更换硬件前的验证清单
在批准 DeepInfer 迁移前，至少要为以下每项准备证据：
- 官方架构与构建支持：准确的 GPU 型号是否在列表中？在干净环境中能否复现固定版本的运行环境？
- 算子与正确性覆盖：注意力、GEMM 和专家并行算子能否输出一致结果，并在结构化响应和长上下文场景下保持正常？
- 分布式性能：在目标并发量和内存指标下，计划使用的 GPU 数量及互联拓扑是否仍然稳定？
- 服务完整性：KV cache、路由、身份认证、HTTP 传输和副本均衡由谁提供？
如果第一个问题的答案是“否”，就应把项目标记为实验。如果服务相关问题的答案是“由外部提供”，就必须把这部分工程工作计入迁移成本。
DeepInfer H100 支持常见问题
DeepInfer 能在 NVIDIA H100 上运行吗？
官方文档没有记录 H100 支持。目前 NVIDIA 支持项是 SM100。实验性移植或许可行，但引用的材料中没有正式的 H100 构建方案，也没有经过验证的 H100 基准测试。
DeepInfer 支持 RTX 4090、5090 或其他 RTX 显卡吗？
官方没有列出 RTX 支持。引用的官方材料没有提供经过验证的 RTX 配置。在上游项目明确记录对应架构并完成算子验证之前，应将 RTX 部署视为不受支持。
H100 团队应该改用什么？
保留或评估明确支持 H100 的运行时，然后使用你们自己的检查点和流量模式进行对比。vLLM、SGLang 和 TensorRT-LLM 都是实际可行的起点；而 DeepInfer 更适合作为未来的移植目标，或作为评估 SM100 基础设施的理由。
在准确的架构、算子、服务层和工作负载结果都得到记录之前，应把 H100 或 RTX 移植视为实验项目。