Deepseek 於 10 月 20 日宣佈,以 Apache 2.0 許可證開源其內部推理框架 DeepInfer。該框架是支撐其 V4.1-Flash 模型在規模化場景下快速生成回答的服務軟體,也是 Deepseek 在模型之外補齊推理效率短板的關鍵一步。
推理是已訓練模型處理請求並生成輸出的環節,直接決定響應速度與單位算力成本。DeepInfer 基於開源專案 vLLM 構建,並加入最佳化後的計算核心、跨多晶片的分散式處理以及更快的文本生成技術。Deepseek 表示,未來新模型的程式碼也將以開源形式釋出,這意味著其開源策略正從模型權重向推理基礎設施延伸。
與 DeepInfer 同步,Deepseek 還發布了 deepseek-recipe,用於復現官方 API 的 token 處理流程,使自託管部署的行為與官方服務保持一致。對於希望在不依賴官方介面的情況下執行 Deepseek 模型的企業和開發者而言,這一工具降低了行為差異帶來的遷移成本。
Deepseek 在 X 上表示,目標是幫助社群降低算力成本、減少能源消耗,並讓 AI 更可負擔。其模型本身已以低價著稱,DeepInfer 的開源則補上了高效執行這些模型的最後一塊拼圖。從競爭角度看,這一動作可能進一步向 OpenAI 和 Anthropic 等西方廠商施加定價壓力——當高效能推理棧免費開放,自託管的總擁有成本會更具吸引力。
背景上,中美 AI 競賽正從模型能力延伸到成本與部署效率。開源推理引擎不僅服務開發者社群,也可能具有戰略意味:若西方 AI 公司增長不及預期,其經濟影響會超出單一行業。Deepseek 此舉將競爭焦點部分引向推理層的效率與開放性,後續值得觀察的是社群採用速度,以及西方廠商在定價與服務模式上的回應。