AIREITERDeepSeek DeepInfer 确实以 Apache-2.0 许可证开源，但它还不是一套拿来就能上线的服务产品。首个版本面向 NVIDIA SM100 或 Huawei Ascend 950 硬件上的 DeepSeek-V4.1-Flash，文档重点也是离线推理，而不是完整的在线服务栈。
一句话看懂 DeepInfer
DeepInfer 是 DeepSeek 为 DeepSeek-V4.1-Flash 打造的专用推理引擎，不是模型，也不是托管 API。官方仓库将其定位为一套具备大规模推理核心能力的引擎，而不是支持任意模型的通用服务器。
官方公告和仓库资料显示，该项目于 2026 年 10 月 20 日发布。引擎采用 Apache-2.0 许可证。至于支持哪些硬件、适用离线还是在线场景，以及哪些服务组件并未包含在内，应以仓库中的部署说明为准。
许可证是开放的，但完整的服务产品还没到位
Apache-2.0 只能回答“能否使用和修改”，不能回答“能否直接部署”。目前公开版本包含推理引擎和示例，而部署问答明确了它与 DeepSeek 内部完整服务之间更窄的公开边界。
| 能力 | 首个 DeepInfer 版本是否提供 | 实际意味着什么 |
|---|---|---|
| DeepSeek-V4.1-Flash 离线推理 | 是 | 文档描述的起点是批处理或离线执行 |
| Apache-2.0 引擎许可证 | 是 | 可以在许可证条款下查看代码并复用 |
| 兼容 OpenAI API 的在线服务器 | 未有文档说明 | HTTP 和协议层需要自行提供 |
| 分布式 KV-cache 系统 | 公开版本未有文档说明 | 项目没有附带可直接部署的共享缓存层 |
| Prefill/Decode 解耦 | 公开版本未有文档说明 | 阶段拆分和数据传输仍需外部实现 |
| 副本负载均衡 | 公开版本未有文档说明 | 跨副本路由仍需外部实现 |
| 广泛的模型支持 | 否 | 当前评估的版本面向一个 DeepSeek 模型 |
首个版本真正能做什么
DeepInfer 将面向 DeepSeek 优化的算子和调度能力组合起来，用于专用推理场景。
模型、硬件与构建要求
仓库列出的要求包括 Linux、Python 3.12、GCC 13 或更高版本，以及搭载 CUDA 13 的 NVIDIA SM100，或搭载 CANN 9.2 的 Huawei Ascend 950。支持的模型是 DeepSeek-V4.1-Flash，默认检查点为 DeepSeek-V4.1-Flash-1017。
当前评估的发布资料并未证明其支持 H100、消费级 RTX、AMD、Apple Silicon 或 Windows。对团队而言，官方公布的加速器列表应当被视为部署门槛，而不是建议配置。
值得关注的引擎特性
- DSpark 投机解码：系统先生成候选 token，再根据置信度判断是否值得进行更多验证。仓库文档记录的最大草稿长度为 5 个 token。
- SWA 有界重放：命中缓存后，引擎可以重放一段有上限的后缀，而不必重新计算整个上下文。文档示例使用 140 token 的 keep 设置；这是一项优化，不能替代分布式 KV-cache 服务。
- 并行与负载均衡：引擎设计包含 attention 数据并行、上下文并行、混合专家模型的专家并行，以及专家并行负载均衡。
- 异步调度：CPU 侧的批处理准备可以与设备执行并行进行。
- 可复现性控制：文档介绍了仅支持 NVIDIA 的批次不变推理和确定性采样。
- 结构化输出：生成层支持正则表达式、JSON Schema 和 EBNF 约束。
硬件与基准测试的真实含义
官方基准测试所用的硬件规模，足以改变“可用”这个词的含义。DeepInfer README显示，Prefill 使用 4 张 NVIDIA SM100，Decode 使用 64 张 NVIDIA SM100。这些是专门设计的测试，并不是大多数读者都能复现的工作站结果。
| 阶段 | 发布资料中的官方测试配置 | 报告的指标类型 |
|---|---|---|
| Prefill | 4 × NVIDIA SM100 | 非缓存输入吞吐量与单步延迟 |
| Decode | 64 × NVIDIA SM100 | 总输出吞吐量与单用户速度 |
| 图表中的上下文长度 | 131,072 个 token | 不能证明所有上下文长度下的性能 |
| 对比方式 | DeepInfer 自身的曲线 | 没有受控的 vLLM/SGLang 正面对比结果 |
目前的发布资料无法证明单位 token 成本、端到端请求延迟，或 DeepInfer 相比 vLLM 和 SGLang 的优势。真正评估时，应复现目标工作负载，而不能只看一张醒目的性能图表。
按部署任务比较 DeepInfer、vLLM 和 SGLang
真正有用的比较维度是运维范围。对于受支持的 DeepSeek 模型和加速器，DeepInfer 是更专门的选择；如果更看重模型覆盖面和服务完整度，vLLM 与 SGLang 会是更稳妥的默认方案。
| 部署任务 | 更适合的起点 | 原因 |
|---|---|---|
| 研究 DeepSeek 专用算子和调度 | DeepInfer | 面向 DeepSeek-V4.1-Flash 的生产级实现 |
| 通过一个 API 运行多个开源模型 | vLLM 或 SGLang | 文档覆盖范围更广 |
| 快速搭建兼容 OpenAI API 的服务 | vLLM 或 SGLang | DeepInfer 没有文档说明提供完整的在线服务器 |
| 在 NVIDIA 上评估确定性或批次不变行为 | DeepInfer | 这些控制能力属于已公开文档的特性 |
| 使用普通工作站或较老的数据中心硬件 | vLLM 或 SGLang | DeepInfer 支持的加速器范围更窄 |
| 证明性能优势 | 对所有候选方案进行基准测试 | DeepInfer 的图表没有提供严格的同条件对比结果 |
落地前的实用检查清单
- 先确认加速器。如果部署环境不是 SM100 或 Ascend 950，不要从构建脚本开始。
- 确认模型。当前评估的版本面向 DeepSeek-V4.1-Flash。多模型服务需要采用另一套引擎方案，或额外增加服务层。
- 区分离线和在线需求。离线评估与合成数据生成，比面向客户的 API 服务简单得多。
- 列出缺失的服务。为 HTTP 处理、身份认证、配额、可观测性、路由、副本均衡以及 KV-cache 设计预留预算。
- 用真实流量做基准测试。记录提示词长度、并发数、缓存命中率、输出长度、首 token 时间、token 间延迟和吞吐量。
- 测试输出稳定性。如果可复现性很重要，应在完全一致的采样器配置下，验证仅支持 NVIDIA 的批次不变和确定性设置。
- 关注仓库成熟度。首个公开版本仍需要持续跟踪 issue、版本发布和硬件支持情况。
对于拥有所需加速器集群的平台团队，DeepInfer 值得进行受控试点，但还不应直接据此做出替换现有方案的决定。其他开发者可以先阅读仓库和部署问答，再根据自身硬件与 API 要求选择合适的服务系统。
DeepInfer 常见问题
DeepInfer 是完全开源的吗？
该引擎公开发布，并采用 Apache-2.0 许可证。但这不代表 DeepSeek 内部服务使用的每个组件都已包含在内；公开版本的引擎边界更窄。
没有 64-GPU Decode 集群，DeepInfer 还有用吗？
如果具备所需硬件，它仍可用于代码研究和受支持的离线实验。但不要把它理解为能在一台普通小型服务器上复现已发布的大规模服务。
不支持的硬件该怎么选？
应选择支持目标加速器和工作负载的服务引擎，例如 vLLM 或 SGLang。对于消费级 GPU、较老的数据中心显卡，或需要快速提供兼容 OpenAI API 的端点，直接假设 DeepInfer 可以即插即用并不现实。