DeepSeek在周二下午宣布,将内部使用的推理框架DeepInfer全面开源,同时开放生产级Token编解码组件deepseek-recipe。这是该公司继开放模型权重之后,进一步向开发者社区开放大模型推理基础设施的举措。

根据DeepSeek披露的信息,DeepInfer集成了高性能算子与优化推理引擎,支持分布式推理、推测解码、结构化输出等能力,并同时兼容英伟达与华为昇腾两大计算平台。基于该框架,DeepSeek已实现DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务,单集群日吞吐量达到155万亿Token,每卡时收入为38美元。

同步开源的deepseek-recipe组件旨在确保社区开发者获得与DeepSeek官方部署一致的API体验。DeepSeek表示,未来新模型的推理代码及后续优化也将在DeepInfer上持续更新。

从行业背景看,大模型推理环节的算力成本与能源消耗一直是AI服务规模化落地的关键制约。推理框架处于模型与硬件之间的中间层,其效率直接影响单位算力的输出能力。DeepSeek将内部框架开源,相当于把自身在推理优化上的工程积累开放给外部开发者,理论上可帮助企业在同等硬件条件下支撑更高的服务负载。

值得关注的是,DeepInfer同时兼容英伟达和华为昇腾平台。在当前AI芯片供应格局下,这一设计为使用不同硬件路线的开发者提供了统一的上层工具链,也降低了应用层对单一芯片生态的绑定。

DeepSeek在声明中称,希望通过开放模型、算子库及推理框架,帮助开发者优化推理效率、降低部署成本,推动AI服务以更低成本触达更广泛的用户。该框架的实际性能表现与社区采用情况,仍有待开发者部署后的反馈验证。