11月12日,卡內基梅隆大學、NVIDIA等機構的研究者提交了預印本《Singularity-Bench: Can Agents Build Agents?》,其中一道考題要求AI在12小時內、用4張GB300顯示卡自主編寫一套推理引擎。Claude Opus 5.5藉助Claude Code完成開發,並在真實程式設計會話回放中把P90首token延遲從成熟引擎SGLang(v0.5.20)的約12秒壓縮到0.48秒。
所謂P90首token延遲,是指將所有請求從發出到模型開始回覆的等待時間排序後,第90百分位對應的時間,即90%的請求能在此時間內開始回覆。測試中,兩套引擎在相同硬體和模型條件下回放同一批16路併發的真實程式設計會話,單次輸入中位數達8.9萬個token。SGLang的P90首token延遲為12.029秒,Claude自研引擎為0.478秒。一旦開始回覆,兩者生成速度幾乎一致:Claude引擎中位數每秒生成124.2個token,SGLang為125.0個。
差距主要來自輸入處理與請求排程。兩套引擎都使用字首快取,快取命中率均在96%左右,但Claude引擎會把同一段前文對應的兩份計算記錄一起存下,下次遇到相同開頭時直接從末尾續算。更關鍵的是排隊策略:Claude引擎優先處理剩餘計算量少的請求,並把數萬token的新請求切成小塊分批消化,避免大任務堵住通道。生成階段還疊加了投機解碼,並將零散GPU操作打包合併。結果,Claude引擎平均每張GPU每秒多處理19%的未快取token;相同回放時限內完成983個請求,SGLang完成705個,多出近四成。按預設單價折算,每GPU小時模擬收入從8.18美元提高到11.52美元,增長40.8%。
速度之外還有質量門檻。研究者設定了兩道硬性驗收:併發負載下必須完整生成規定長度回覆,並通過隱藏測試的準確率驗收。參測的11套AI自研引擎中,僅5套同時過關,其餘因吞字斷句或準確率崩盤被判零分。
推理引擎只是Singularity-Bench六道考題之一。研究團隊把AI研發拆成訓練與基建兩類共六項任務,由7個主流模型與Claude Code、Codex兩套框架組合出11支AI隊伍,全程斷網、按倒計時交卷,與人類成熟方案同台對比。Claude Opus 5.5搭配Claude Code在預訓練、中期訓練、智慧體執行框架、叢集排程和推理引擎五項上勝出,後訓練與人類方案打平。預訓練中,它先花44分鐘測試顯示卡效能再確定模型規模,最終以約一半訓練計算量取得12.77的驗證集困惑度,優於人類基線的14.22;中期訓練把下游平均準確率從17.5%提升到31.9%;智慧體框架任務中,它改進了原版Claude Code,下游平均分從0.438升至0.468;叢集排程任務得分0.510,超過NVIDIA Dynamo搭配KAI Scheduler的0.460。六項等權彙總,Claude組合以1.252分成為唯一超過人類基線(1分)的隊伍,第二名GPT-6.1 Sol搭配Codex得0.969分,其餘10組平均僅0.58分。
總榜還顯示,模型能力與執行框架共同決定最終表現。同一款開源模型搭配Codex得0.228分,換成Claude Code升至0.657分;另一款模型則相反,搭配Codex得0.698分,換Claude Code降至0.520分。成本方面,Opus 5.5僅開發階段API呼叫就花費425.41美元,高於前代Opus 5的328.19美元,約是第二名GPT-6.1 Sol(84.52美元)的5倍,GPU和下游評測開銷另計。
論文作者也承認,六道題仍是人類劃好範圍、AI分別作答,每道題的起始程式碼、最佳化指標、時間和算力均由人類設定。要真正檢驗遞迴自我改進,還需更多時間和算力。造好一個零件與改進整條生產線是兩回事,真正的考驗在於AI能否自己找出研發流程瓶頸、決定改進方向,並讓下一代模型接過工作持續迭代。