Deepseek 于 10 月 20 日宣布,以 Apache 2.0 许可证开源其内部推理框架 DeepInfer。该框架是支撑其 V4.1-Flash 模型在规模化场景下快速生成回答的服务软件,也是 Deepseek 在模型之外补齐推理效率短板的关键一步。
推理是已训练模型处理请求并生成输出的环节,直接决定响应速度与单位算力成本。DeepInfer 基于开源项目 vLLM 构建,并加入优化后的计算内核、跨多芯片的分布式处理以及更快的文本生成技术。Deepseek 表示,未来新模型的代码也将以开源形式发布,这意味着其开源策略正从模型权重向推理基础设施延伸。
与 DeepInfer 同步,Deepseek 还发布了 deepseek-recipe,用于复现官方 API 的 token 处理流程,使自托管部署的行为与官方服务保持一致。对于希望在不依赖官方接口的情况下运行 Deepseek 模型的企业和开发者而言,这一工具降低了行为差异带来的迁移成本。
Deepseek 在 X 上表示,目标是帮助社区降低算力成本、减少能源消耗,并让 AI 更可负担。其模型本身已以低价著称,DeepInfer 的开源则补上了高效运行这些模型的最后一块拼图。从竞争角度看,这一动作可能进一步向 OpenAI 和 Anthropic 等西方厂商施加定价压力——当高性能推理栈免费开放,自托管的总拥有成本会更具吸引力。
背景上,中美 AI 竞赛正从模型能力延伸到成本与部署效率。开源推理引擎不仅服务开发者社区,也可能具有战略意味:若西方 AI 公司增长不及预期,其经济影响会超出单一行业。Deepseek 此举将竞争焦点部分引向推理层的效率与开放性,后续值得观察的是社区采用速度,以及西方厂商在定价与服务模式上的回应。