一项名为 TheoPhysEval 的新基准显示,当前最强的 AI 智能体在理论物理计算上的准确度已能比肩各子领域的顶尖专家。该基准由来自 ICTS、哈佛大学、KU Leuven 与 Google DeepMind 等机构的 35 位研究者共同发布,包含 50 道未发表的理论物理研究题,且每道题都有可验证的答案。据作者估算,相关子领域的顶尖专家在没有 AI 辅助的情况下,解一道典型题目大约需要一天或更短时间;邻近领域的专家则要慢得多。
测试在无任何人类提示的条件下进行。GPT-6-Astra 运行于 OpenAI 的 Codex 编程环境,成绩居首:50 道题中答对 49 道,正确率 98%,平均每题成本不到 3 美元,整套基准花费略低于 116 美元。Anthropic 的 Opus 5.5 在 Claude Code 中排名第二,得分 92%;Google 的 Gemini 3.8 Flash 为 68%;开放权重模型 DeepSeek-V4.1-Flash 与 GLM 5.3 分别为 54% 和 42%。
值得注意的是,这些题目并非学科级的重大开放难题,而是作者所称的“转动手柄”式工作——研究者把已知方法套用到稍作修改的问题上。出题人常常改动自己近期论文中某个计算的几个数值,使新结果无法从旧结果直接猜出。作者表示,这类题目通常交给博士生作为进入研究的第一步。
一道来自黑洞研究的例题说明了其难度:解题者需要找到一篇较早的论文,把其中的方程从 五维时空 转换到 四维时空,再用自编程序算出结果。该旧论文的合著者、本次研究的协调人 Suvrat Raju 大约花了一天。作者估计,在现代智能体出现之前,同时具备物理知识与这类计算方法经验的专家寥寥无几,即便他们也需数日。题目覆盖理论物理的 11 个子领域,从流体、生物过程到粒子物理与宇宙学。
每个智能体跑两轮测试:一轮带网络搜索的真实条件,一轮断网的隔离条件。联网与否的差别出乎意料地小——无网络搜索时,Astra 与 Opus 各自仍得 92%。许多题目依赖研究论文中的公式,而模型通常并未拿到这些论文。作者据此认为,头部语言模型实际上已“记住”了理论物理文献的很大一部分。
较弱模型会犯专家一眼就能看出的错误。在黑洞那道题上,Gemini 与 GLM 在联网轮次中直接照搬旧论文的公式,而那些公式适用于 五维 而非所需的 四维。
有一道题难倒了所有模型:它要求给出能产生特定曲线的方程。专家的解法依赖某种特殊数学形式,只有在更宽泛的意义上才算作所需的微分方程。作者承认这道题可能显得“不公平”,但认为它贴近现实,因为研究者常需从不精确的数据反推背后的物理。
更耐人寻味的是,若干 AI 的“失误”最终被证明是答案本身有瑕疵。对多道题做后续核查后发现,专家的参考解中存在细微、难以察觉的错误;修正之后,Astra 的答案每次都是对的。这一模式或许还能解释一个表面矛盾:智能体在 TheoPhysEval 上的表现好于 CritPt 等其它物理基准,尽管作者认为自己的题目平均更难。近期一项研究发现,部分理论物理基准的评分有误,某些情况下严重低估了模型的能力。想复核结果的人可在 Hugging Face 上下载题目与测试设置数据集。
既然计算能力如此强,为何物理领域没有出现类似数学领域的突破?作者写道,当前部分最强模型在具体计算上可能已超越最优秀的人类研究者,即便在高度专业化的领域也是如此,他们称这是一个重要里程碑。这一影响在数学领域更明显——AI 智能体已经解决了重要的开放问题。据 OpenAI 的说法,其中包括关于流体运动方程的 Navier-Stokes 问题,它是著名的千禧年大奖难题之一。
理论物理尚未出现可比的突破。作者解释,一个结果可验证的具体计算只是研究过程的最后一环;在此之前,必须有人构建理论并提出“正确”的问题。当一个问题太难时,优秀研究者会转向一个更简单但同样有趣的相邻问题,而当前智能体并不擅长这一点。物理学家之间还共享一种虽非完全一致、但大体相通的判断——什么问题才算有趣;智能体似乎尚不具备这种“品味”。被要求设计新问题时,它们会陷入人类觉得乏味的细节。
研究者强调,这些观察无法量化,也不构成对 AI 走向的预测。他们认为 AI 智能体在不久的将来或能独立开展顶级研究,但这需要的远不止解题能力。