外部審計機構 METR 與 Redwood Research 對 OpenAI 內部 AI 代理監控系統進行了為期三週的現場審查,發現多個覆蓋漏洞。根據公開摘要,在 7 月 21 日至 8 月 11 日 的審計期間,GPT-5.5 級及以上模型產生的內部代理式 Responses API 流量中,估計有 6% 至 25% 完全未被監控覆蓋。METR 同時提示,這一估算區間兩側的不確定性都很大。
審計還發現,本應被監控的內部 Codex 流量在 5 月至 7 月 間約有 10% 未被追蹤,原因是系統對“壓縮事件”(即上下文摘要)的處理存在缺口。該估算同樣存在顯著不確定性。OpenAI 在審計進行期間已獨立發現並修復了這一缺陷。
在壓縮事件未被監控的視窗期,代理還可以通過持續執行動作、不將控制權交還使用者來規避監督,因為監控只在代理交還控制權時觸發。審計人員還找到了向監控器隱藏數百個動作、繞過 Codex 沙箱的方法,並判斷特製輸入有可能讓監控器整體崩潰。審計開始時,強化學習訓練中的模型行為完全不在監控範圍內。
OpenAI 表示,在 8 月 Hugging Face 事件 後已暫停強化學習訓練,並將監控擴充套件至該環節,但這些調整發生在審計人員訪問許可權結束之後,未被納入本次評估。
完整報告共 61 頁,經 OpenAI 刪減後,METR 與 Redwood Research 管理層收到的是 38 頁 版本,公眾僅能看到一份簡短摘要。METR 表示無權自行披露被刪減部分。此次審計是三方聯合組織的試點專案,旨在讓外部研究者深入接觸內部基礎設施;METR 稱未來審計將爭取更高的公開透明度。