Anthropic 釋出研究稱,AI 智慧體跨會話記憶的核心難題不在於能存多少,而在於能否在當下判斷哪些資訊值得留存、哪些應當捨棄。該公司以 Claude 在《寶可夢紅》遊戲中的表現為例:舊版 Claude Sonnet 3.7 在約 1 萬步遊戲過程中建立了 413 個檔案、分佈在 225 個資料夾裡,幾乎為每場戰鬥和每個道具單獨建檔,結果大量筆記迅速過時,模型有時只顧整理筆記而忘了推進遊戲,最終只拿到 一枚徽章。新版 Claude Fable 5 則把記憶壓縮到少數幾個檔案,只記錄經過驗證的策略與規則,不重複螢幕上已可見的資訊,最終獲得 四枚徽章,進展約為前者的四倍。
Anthropic 指出,智慧體在寫下筆記的那一刻,並不知道未來什麼資訊會派上用場,因此每條筆記都是對未來的押注。全量存檔看似保險,實則讓模型被過時資料淹沒。研究還發現,記憶指令的效果因模型能力而異:對較強模型而言,諸如“只記錄錯誤”這類剛性指令反而抹掉了大部分優勢;而較弱的舊模型則能從明確指令中受益,例如被要求每次回答前先讀筆記。Anthropic 建議向 Claude 說明記憶的用途,讓模型自行決定如何使用。
比儲存策略更棘手的是錯誤筆記被盲目信任。為此,Anthropic 提出名為 “Dreaming” 的後處理流程,其思路借鑑了 Letta 與加州大學伯克利分校的研究。該流程在空閒時段讓 Claude 回顧此前會話的記錄,核對筆記與原始對話是否一致,並據此修正錯誤、構建結構化的知識庫。在《寶可夢紅》測試中,Claude 曾錯誤記下某地標在山脈的哪一側,導致它三次掉進同一個陷阱、幾乎放棄目標;經過一次 Dreaming 處理後,Claude 發現並糾正了該錯誤,才得以穿過月見山抵達華藍市。
Dreaming 也被用於整理大規模知識庫。Anthropic 稱,Claude 曾基於其收購的軟體公司 Stainless 約 35 萬份內部文件構建了一個相互連結的 wiki,並在過程中修補缺口、去重和修復失效連結。當 wiki 與搜尋結合使用時效果最佳,wiki 扮演補充而非替代角色。在另一項法律領域測試中,對於答案分散在多份文件中的問題,使用 wiki 的 Claude 得分 87%,僅用搜索時為 73%;對於簡單查詢任務,兩者表現大致相當,wiki 的體量有時甚至超過源文件本身。
Anthropic 也坦承記憶機制仍有未解難題:任務中途記筆記會分散智慧體注意力,Dreaming 消耗額外算力且結果存在延遲,wiki 和筆記需要定期維護,否則錯誤與幻覺會不斷累積。該公司還警告不要自動將過多記憶載入到每次會話中,因為這會佔用上下文視窗,並把錯誤筆記傳遞給未來每一次會話。上述測試均來自 Anthropic 自身。整體結論是,有用的智慧體記憶更多取決於保留正確資訊並在事後糾錯,而非儘可能多地儲存。
Dreaming 於 今年 5 月作為 Claude Managed Agents 的研究預覽功能推出,該服務可讀取現有記憶庫及最多 100 個歷史會話,刪除重複與過時條目並生成重組後的記憶庫,同時保留原始資料不變。釋出之初,Dreaming 僅支援 Claude Opus 4.7 和 Sonnet 4.6。值得注意的是,OpenAI 也將其在 6 月 overhaul 後的 ChatGPT 記憶功能稱為“Dreaming”,顯示主要大模型廠商在智慧體記憶方向上正形成某種命名與思路的趨同。