一項名為 TheoPhysEval 的新基準顯示,當前最強的 AI 智慧體在理論物理計算上的準確度已能比肩各子領域的頂尖專家。該基準由來自 ICTS、哈佛大學、KU Leuven 與 Google DeepMind 等機構的 35 位研究者共同釋出,包含 50 道未發表的理論物理研究題,且每道題都有可驗證的答案。據作者估算,相關子領域的頂尖專家在沒有 AI 輔助的情況下,解一道典型題目大約需要一天或更短時間;鄰近領域的專家則要慢得多。
測試在無任何人類提示的條件下進行。GPT-6-Astra 運行於 OpenAI 的 Codex 程式設計環境,成績居首:50 道題中答對 49 道,正確率 98%,平均每題成本不到 3 美元,整套基準花費略低於 116 美元。Anthropic 的 Opus 5.5 在 Claude Code 中排名第二,得分 92%;Google 的 Gemini 3.8 Flash 為 68%;開放權重模型 DeepSeek-V4.1-Flash 與 GLM 5.3 分別為 54% 和 42%。
值得注意的是,這些題目並非學科級的重大開放難題,而是作者所稱的“轉動手柄”式工作——研究者把已知方法套用到稍作修改的問題上。出題人常常改動自己近期論文中某個計算的幾個數值,使新結果無法從舊結果直接猜出。作者表示,這類題目通常交給博士生作為進入研究的第一步。
一道來自黑洞研究的例題說明了其難度:解題者需要找到一篇較早的論文,把其中的方程從 五維時空 轉換到 四維時空,再用自程式設計序算出結果。該舊論文的合著者、本次研究的協調人 Suvrat Raju 大約花了一天。作者估計,在現代智慧體出現之前,同時具備物理知識與這類計算方法經驗的專家寥寥無幾,即便他們也需數日。題目覆蓋理論物理的 11 個子領域,從流體、生物過程到粒子物理與宇宙學。
每個智慧體跑兩輪測試:一輪帶網路搜尋的真實條件,一輪斷網的隔離條件。聯網與否的差別出乎意料地小——無網路搜尋時,Astra 與 Opus 各自仍得 92%。許多題目依賴研究論文中的公式,而模型通常並未拿到這些論文。作者據此認為,頭部語言模型實際上已“記住”了理論物理文獻的很大一部分。
較弱模型會犯專家一眼就能看出的錯誤。在黑洞那道題上,Gemini 與 GLM 在聯網輪次中直接照搬舊論文的公式,而那些公式適用於 五維 而非所需的 四維。
有一道題難倒了所有模型:它要求給出能產生特定曲線的方程。專家的解法依賴某種特殊數學形式,只有在更寬泛的意義上才算作所需的微分方程。作者承認這道題可能顯得“不公平”,但認為它貼近現實,因為研究者常需從不精確的資料反推背後的物理。
更耐人尋味的是,若干 AI 的“失誤”最終被證明是答案本身有瑕疵。對多道題做後續核查後發現,專家的參考解中存在細微、難以察覺的錯誤;修正之後,Astra 的答案每次都是對的。這一模式或許還能解釋一個表面矛盾:智慧體在 TheoPhysEval 上的表現好於 CritPt 等其它物理基準,儘管作者認為自己的題目平均更難。近期一項研究發現,部分理論物理基準的評分有誤,某些情況下嚴重低估了模型的能力。想複核結果的人可在 Hugging Face 上下載題目與測試設定資料集。
既然計算能力如此強,為何物理領域沒有出現類似數學領域的突破?作者寫道,當前部分最強模型在具體計算上可能已超越最優秀的人類研究者,即便在高度專業化的領域也是如此,他們稱這是一個重要里程碑。這一影響在數學領域更明顯——AI 智慧體已經解決了重要的開放問題。據 OpenAI 的說法,其中包括關於流體運動方程的 Navier-Stokes 問題,它是著名的千禧年大獎難題之一。
理論物理尚未出現可比的突破。作者解釋,一個結果可驗證的具體計算只是研究過程的最後一環;在此之前,必須有人構建理論並提出“正確”的問題。當一個問題太難時,優秀研究者會轉向一個更簡單但同樣有趣的相鄰問題,而當前智慧體並不擅長這一點。物理學家之間還共享一種雖非完全一致、但大體相通的判斷——什麼問題才算有趣;智慧體似乎尚不具備這種“品味”。被要求設計新問題時,它們會陷入人類覺得乏味的細節。
研究者強調,這些觀察無法量化,也不構成對 AI 走向的預測。他們認為 AI 智慧體在不久的將來或能獨立開展頂級研究,但這需要的遠不止解題能力。