11月12日,卡内基梅隆大学、NVIDIA等机构的研究者提交了预印本《Singularity-Bench: Can Agents Build Agents?》,其中一道考题要求AI在12小时内、用4张GB300显卡自主编写一套推理引擎。Claude Opus 5.5借助Claude Code完成开发,并在真实编程会话回放中把P90首token延迟从成熟引擎SGLang(v0.5.20)的约12秒压缩到0.48秒。
所谓P90首token延迟,是指将所有请求从发出到模型开始回复的等待时间排序后,第90百分位对应的时间,即90%的请求能在此时间内开始回复。测试中,两套引擎在相同硬件和模型条件下回放同一批16路并发的真实编程会话,单次输入中位数达8.9万个token。SGLang的P90首token延迟为12.029秒,Claude自研引擎为0.478秒。一旦开始回复,两者生成速度几乎一致:Claude引擎中位数每秒生成124.2个token,SGLang为125.0个。
差距主要来自输入处理与请求调度。两套引擎都使用前缀缓存,缓存命中率均在96%左右,但Claude引擎会把同一段前文对应的两份计算记录一起存下,下次遇到相同开头时直接从末尾续算。更关键的是排队策略:Claude引擎优先处理剩余计算量少的请求,并把数万token的新请求切成小块分批消化,避免大任务堵住通道。生成阶段还叠加了投机解码,并将零散GPU操作打包合并。结果,Claude引擎平均每张GPU每秒多处理19%的未缓存token;相同回放时限内完成983个请求,SGLang完成705个,多出近四成。按预设单价折算,每GPU小时模拟收入从8.18美元提高到11.52美元,增长40.8%。
速度之外还有质量门槛。研究者设置了两道硬性验收:并发负载下必须完整生成规定长度回复,并通过隐藏测试的准确率验收。参测的11套AI自研引擎中,仅5套同时过关,其余因吞字断句或准确率崩盘被判零分。
推理引擎只是Singularity-Bench六道考题之一。研究团队把AI研发拆成训练与基建两类共六项任务,由7个主流模型与Claude Code、Codex两套框架组合出11支AI队伍,全程断网、按倒计时交卷,与人类成熟方案同台对比。Claude Opus 5.5搭配Claude Code在预训练、中期训练、智能体运行框架、集群调度和推理引擎五项上胜出,后训练与人类方案打平。预训练中,它先花44分钟测试显卡性能再确定模型规模,最终以约一半训练计算量取得12.77的验证集困惑度,优于人类基线的14.22;中期训练把下游平均准确率从17.5%提升到31.9%;智能体框架任务中,它改进了原版Claude Code,下游平均分从0.438升至0.468;集群调度任务得分0.510,超过NVIDIA Dynamo搭配KAI Scheduler的0.460。六项等权汇总,Claude组合以1.252分成为唯一超过人类基线(1分)的队伍,第二名GPT-6.1 Sol搭配Codex得0.969分,其余10组平均仅0.58分。
总榜还显示,模型能力与运行框架共同决定最终表现。同一款开源模型搭配Codex得0.228分,换成Claude Code升至0.657分;另一款模型则相反,搭配Codex得0.698分,换Claude Code降至0.520分。成本方面,Opus 5.5仅开发阶段API调用就花费425.41美元,高于前代Opus 5的328.19美元,约是第二名GPT-6.1 Sol(84.52美元)的5倍,GPU和下游评测开销另计。
论文作者也承认,六道题仍是人类划好范围、AI分别作答,每道题的起始代码、优化指标、时间和算力均由人类设定。要真正检验递归自我改进,还需更多时间和算力。造好一个零件与改进整条生产线是两回事,真正的考验在于AI能否自己找出研发流程瓶颈、决定改进方向,并让下一代模型接过工作持续迭代。