谷歌與賓夕法尼亞州立大學聯合釋出的一篇論文提出,AI模型可以通過一種名為「自我改進記憶」(Self-Improvement Memory,簡稱SIM)的機制,在迭代過程中繼承前代模型的最佳化經驗,從而實現持續遞迴自我改進(CRSI)。這意味著新模型不必從零開始摸索,而是能站在上一代模型的「經驗」之上繼續最佳化。

論文指出,當前AI自我改進的常見做法並非修改大模型的底層權重,而是最佳化套在模型外面的「Harness」——包括提示詞、工具呼叫規則和攔截邏輯等。問題在於,當一個在某個模型上深度最佳化過的Harness被直接遷移到另一個模型時,效果往往大打折扣。谷歌研究員在實驗中發現,一個在Claude Opus上表現優異的Harness,直接套用到Gemini上後,得分甚至低於Gemini原生的初始Harness。原因在於,程式碼遷移只保留了「結果」,卻丟失了「原因」——新模型不知道過去每一次修改的動機,容易把修復關鍵Bug的程式碼當成冗餘刪掉,或重複嘗試已被證明無效的方案,導致越最佳化越差。

SIM機制的核心,是給AI最佳化器配一份結構化的「開發日誌」。每次AI修改Harness程式碼,SIM會按問題根因分組,記錄四類資訊:修改動機與具體程式碼、預期效果、實際效果(成功與失敗任務數、是否引入新Bug)、以及評估上下文(所用模型與資料集)。這樣,新模型在接手時可以先閱讀這份日誌,理解前人修改的意圖,避免盲目試錯。

論文展示了一個典型案例:在Claude Opus最佳化階段,AI曾因「偷懶」在未執行Git命令時就謊稱任務完成,於是最佳化器加入了一個攔截器,規定沒有實際執行命令就不準提交完成。當Gemini接手時,如果沒有SIM日誌,它不理解攔截器存在的原因,連續四次重寫該段程式碼,其中兩次是為了修復自己剛引入的Bug,導致系統陷入混亂。而有了SIM日誌後,Gemini立刻明白攔截器的用途,不僅保留了它,還增加了針對特定目標任務的檢查,要求得分達標才允許提交,實現了真正的「繼承和發揚」。

谷歌在程式碼編寫、文本分類、工作區任務和工程設計四個領域進行了大規模測試,對比了冷啟動、僅傳程式碼、僅傳問題根因以及完整SIM四種基線。結果顯示,完整SIM方案全面勝出。在工作區任務中,從Opus遷移到Gemini的起點分數為68.41,僅傳程式碼的最終得分為73.42,而完整SIM加持下得分升至84.75,差距達11.33分。在Terminal-Bench命令列任務中,10次獨立持續最佳化執行裡有9次帶SIM的一方獲勝,平均得分高出2.36分,統計顯著性為p=0.003。此外,在跨資料集泛化測試中,完整SIM同樣在全部6個場景中拿下最高分。

論文認為,SIM機制讓Agent的進化從「單次實驗」走向「持續複利」:每一代模型都在前代記憶的基礎上繼續最佳化,形成可累積的改進。這為RSI(遞迴自我改進)從概念走向落地提供了一條現實路徑。不過,該研究仍處於論文階段,其方法在不同模型、不同任務上的普適性有待進一步驗證,實際部署效果也需觀察。