DeepInfer 开源：DeepSeek 把生产级推理引擎搬上了 GitHub

10 月 16 日创建的仓库，四天冲上 HN 当日榜首——DeepSeek 开源了 DeepInfer，一个直接支撑自家线上服务的生产级推理框架。注意关键词不是”又一个推理框架”，而是”生产级”：README 第一句就写明，这是驱动 DeepSeek 大规模生产服务的那套引擎，这次把离线推理的核心能力搬了出来。Apache 2.0 协议，商用无忧。

它和 vLLM、SGLang 有什么不同

DeepSeek 在致谢里坦白：DeepInfer 最初主要基于 vLLM 构建，同时借鉴了 SGLang 和 TensorRT-LLM。但它不是 vLLM 的换皮——真正值得关注的是那些”只有服务过自家海量流量才会做”的工程细节。

比如 DSpark 加置信度调度验证：用草稿 token 加速解码，再用置信度估计来决定什么时候真正验证——本质是把投机解码从”固定策略”升级成”动态策略”。再比如 batch-invariant inference（批次不变性）：同一输入在不同 batch 组合里输出完全一致，这对可复现性和调试是质变，也是大多数开源框架长期缺失的能力。异步调度器号称”零开销”，让 CPU 批次调度与 GPU 执行完全重叠。这些特性的共同点是：它们不是为了刷榜，是为了线上服务每天万亿 token 的稳定性。

最大的信号：昇腾 950 一等公民

README 里最让国内从业者兴奋的一行，藏在”Supported hardware”里：除了 NVIDIA SM100（Blackwell 一代），DeepInfer 同时支持华为昇腾 950 NPU，需要 CANN 9.2 环境。这不是简单加个后端——DeepSeek 此前已被曝出为昇腾芯片调整模型架构，这次把生产框架直接双硬件开源，等于替整个国产算力生态趟平了”新模型 + 新芯片 + 推理框架”三者协同的路。

值得注意的还有它”没包含什么”：KV cache 系统、PD 分离（prefill/decode 分离部署）、跨副本负载均衡都要你自己接。这说明 DeepInfer 定位是”引擎”而不是”整机”——它把最难的内核和调度层给你，集群编排留给你的平台团队。对中小团队，这可能意味着上手门槛比 vLLM 高一截；对自建推理平台的大厂，这恰恰是最想要的部分。

为什么这个时间点开源

把最近两周 DeepSeek 的动作排开看：V4.1 Flash 1017 空降 HuggingFace、搜索 API 定价每千次 0.75 美元、DeepInfer 开源——产品、价格、基础设施三线同时推进。再叠加美国联邦机构禁用 DeepSeek 的背景（模型可以禁，权重和框架禁不掉），开源推理引擎的意味变得微妙：把引擎开源给全世界，等于让 DeepSeek 架构成为事实标准的一部分，生态渗透比 API 出口更难被政策切断（推测）。

Takeaway：如果你只跑 DeepSeek 系模型且团队有平台工程能力，DeepInfer 值得立刻评估——批次不变性和置信度调度是 vLLM 给不了的东西。用昇腾算力的团队更是如此，这可能是第一个真正生产级的昇腾推理框架。其他模型栈的团队，建议观望三个月，看社区适配的扩展速度再动。