围绕 OpenAI 新旗舰模型 GPT-6 Astra 的一场技术争议,正从内部爆料演变为公开讨论。据 The Information 在 Astra 发布前约两天援引内部消息报道,该模型采用了一种名为「循环深度」(recurrent depth)、也称「循环 Transformer」(looped transformer)的设计,而这种设计据称会让模型的部分乃至全部推理过程变得不可见。消息一出,「循环深度」迅速成为 AI 安全讨论的焦点词。
模型正式上线后,争议进一步升温。OpenAI 首席科学家 Jakub Pachocki 出面回应,表示他希望避免一场由混乱报道引发的、奔向不可监控性的竞赛,并强调包括 Astra 在内的当前前沿模型,其计算图深度与 GPT-4 的差距仍在两倍以内。
在大量语焉不详的转述中,技术博主、《Build a Large Language Model (From Scratch)》作者 Sebastian Raschka 发表长文,把相关技术细节摊开梳理。他先给出自己使用 Astra 的观察:该模型在 3D 渲染和图形任务上领先幅度不成比例,能通过 Codex/ChatGPT 应用直接操作本地软件,并提到 OpenAI 采购数万台 Mac 作为强化学习环境背后的训练逻辑。
随后,Raschka 从 2018 年的 Universal Transformer 讲起,一路梳理到开放权重模型 Nanbeige4.2-3B、字节跳动的 Ouro 以及谷歌的 Mixture-of-Recursions 等近期工作。他解释,循环 Transformer 的核心思路是让中间表示多次通过同一批 Transformer 块,而非只过一次;关键在于这些遍历过程中权重保持不变。以 Nanbeige4.2-3B 为例,同一组 22 个 Transformer 块被应用两次,展开后相当于 44 次块应用,但第二轮复用的是第一轮的权重,而非拥有 44 个独立块。
对于最受关注的问题——循环 Transformer 是否导致思维链变短、变得难以监控——Raschka 给出了否定回答。在他看来,更合理的解释是能力更强的模型犯错更少、回溯更少,因此不需要那么长的草稿纸。他举例称,GPT-5.6 家族里 Luna 比 Sol 多用 80% 的 token 才达到相近性能,没有人因此说 Sol 的可解释性更差。Astra 系统卡确实承认推理轨迹的可监控性出现了退步,但 Raschka 认为没有证据表明可以把这笔账记在循环架构头上。
文章还介绍了 Astra 的基准表现。Raschka 称,Astra 在数学和编程上很强,在 ARC-AGI-3 基准上拿到 99.9%,而 GPT-5.6 Sol 只有 7.8%。在 Artificial Analysis Coding Agent Index v1.4 上,Astra 明显处在前沿,但并未大幅甩开对手;更综合的 Artificial Analysis Intelligence Index 也反映类似情况。他提醒,模型训练通常围绕某一主力框架展开,某些智能体评测可能低估 Astra 在自家主力框架下的实际表现。
关于计算机操作能力,Raschka 认为这是 Astra 相比其他模型真正出彩的地方。他描述了一个训练流程:给模型任务提示,提供 macOS 界面截图,模型预测鼠标/键盘动作,在 Mac 上执行后把新截图喂回模型,循环往复,直到任务成功或失败,再把成功/失败信号作为训练反馈,类似可验证奖励强化学习(RLVR)。他强调,这些 Mac 主要是环境,模型很可能跑在英伟达 GPU 上,通过 API 与 Mac 通信。他还提到,英伟达 CEO 称 GPT-6 Astra 是在约 10 万块 Grace Blackwell GPU 上训练的。
Raschka 同时指出,对计算机操作的侧重并不意味着训练范式发生根本转变,GPT-6 Astra 仍然是推理模型,用可验证奖励强化学习训练并生成中间推理轨迹。他预计,接下来几个月甚至几年,计算机操作能力会在 LLM 和智能体框架两个层面持续打磨,让模型对科技圈之外的日常电脑任务更加友好。