2026 年 10 月 20 日，DeepSeek 宣布将内部使用的大规模推理框架 DeepInfer 全面开源，采用 Apache 2.0 许可证，代码托管在 GitHub。与之一同放出的还有生产级 Token 编解码组件 deepseek-recipe。这是继开源模型权重、TileLang 编译工具与推理算子库之后，DeepSeek 第一次把"服务侧"的核心工程完整地摆到台面上。
一个集群，一天 155 万亿 Token
据公开信息，DeepSeek V4.1-Flash 的高吞吐、低延迟服务依托的正是 DeepInfer；在单个集群上，该框架一天可服务约 155 万亿 Token。此前这套能力只存在于 DeepSeek 自己的机房，如今开发者可以在自有 GPU 或国产 NPU 上复现同一套算子与调度组合。
开源了什么：从算子到调度
DeepInfer 默认支持 DeepSeek-V4.1-Flash-1017 检查点，核心能力覆盖推理链路的多个环节：
- 优化算子：FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，以及基于 TileLang 的自定义算子；
- 并行策略：Attention DP 与均衡 CP，MoE EP 加 EPLB 专家负载均衡；
- DSpark 与置信度调度验证：用草稿 Token 加速解码，再按置信度决定验证长度；
- 解码器 SWA 有界重放：只重放有限后缀，压缩 prefill 阶段的计算量；
- 异步调度：CPU 批调度与设备执行重叠，默认开启；
- 批不变推理与确定性采样：相同输入与采样参数可得到完全一致的输出；
- 结构化输出：支持正则、JSON Schema 与 EBNF 语法约束。
这些特性指向同一个目标：让推理服务在规模化之后仍然"可预测"。批不变与确定性采样尤其适合需要审计、回放和 A/B 对比的生产环境。
硬件门槛与尚未交付的部分
官方给出的运行环境是 Linux、GCC 13 以上、Python 3.12；NVIDIA 平台需要 CUDA 13，昇腾平台需要 CANN 9.2。当前支持的硬件为 NVIDIA SM100 GPU 与华为昇腾 950 NPU，这也意味着国内算力平台被纳入了同一套框架的支持范围。
需要说明的是，这次开源的并不是一套"开箱即用"的完整服务。项目 README 明确列出三项未包含的组件：KV Cache 系统、VE/Prefill/Decode 分离部署，以及数据并行副本之间的负载均衡。换言之，DeepInfer 解决的是"单引擎怎么跑得快、跑得稳"，而"多副本怎么组成集群"仍需使用者自行补齐。
影响：推理成本进入工程竞争阶段
DeepSeek 在项目说明中写道：
DeepInfer is the high-performance inference framework that powers DeepSeek's large-scale production services.
—— DeepSeek-AI，GitHub 项目 README
过去一年，大模型竞争的主战场从"训练更大"转向"推理更便宜"。把生产级框架开源，等于把成本优化的方法论公开：谁能把吞吐、延迟和一致性调得更好，谁就能在同等算力下提供更多服务。对中小团队而言，这是一条绕开重复造轮子的捷径；对云厂商而言，则意味着推理层的差异化空间被进一步压缩。
来源：DeepSeek 官方 GitHub 仓库（github.com/deepseek-ai/DeepInfer）、IT之家、21 世纪经济报道。