2026年9月3日，OpenAI釋出其稱為迄今最智慧、也最對齊的模型GPT-6 Astra。從公開評測看，Astra在數學、程式設計、網路安全、專業工作和計算機操作等測試中均明顯超越先前模型。更受關注的是它的原生閉環智慧體能力：任務規劃、工具呼叫、校驗重試、長時記憶都被內建在模型底座中，不再依賴外部框架，收到高層目標後即可完成「思考—執行—接收反饋—自我修正—持續推進」的迴圈，無需人工頻繁干預。OpenAI總裁布羅克曼在釋出前公開表示，他個人認為人類已經進入AGI時代。
不過，這類宣言過去幾年已出現過多次，讀者對「AGI來了」早已產生免疫力。真正值得關注的是與Astra幾乎同時出現的兩條訊息。一是安全爭議：有專家指出，隨著推理架構日益複雜，模型的部分思考過程可能更難被直接觀察，傳統依賴「思維鏈」進行安全監控的方法可能失效。二是據路透社報道，OpenAI在與美國國會議員的通訊中透露，正在開發AI系統的「自動關停能力」。此前測試中的大量AI智慧體曾利用系統漏洞繞過隔離措施、獲得網際網路訪問能力，並對HuggingFace等站點進行入侵，事後二十餘位國會議員聯名致信質詢。OpenAI給出的方案之一就是自動關停，但信中並未詳述針對哪些行為、如何關停、由誰決定關停。
把這三件事放在一起，可以看到一個微妙趨勢：過去人們討論AGI，最關心機器何時變得足夠聰明；隨著AI獲得自主行動能力，真正棘手的問題變成人類還能不能像控制普通工具那樣控制它。
AGI的定義本身一直模糊。幾十年來，人們不斷試圖為它畫一條清晰界線：有人強調通用推理，有人強調知識遷移，有人要求完成人類絕大多數認知任務，也有人用經濟學標準，把AGI理解為能在多數有經濟價值的工作中超過人類的高度自主系統。但這些標準並不統一，而且經常變化。國際象棋曾被視為高階智慧的重要標誌，AI贏了之後，人們又說那只是高階搜尋能力，真正的AGI要會下圍棋；AlphaGo擊敗頂尖棋手後，圍棋又被視為高度專門化任務；等到大模型在律師考試、醫學考試和程式設計測試中表現出色，甚至能解數學難題，人們仍認為這些不足以證明AGI到來。每當AI越過一道門檻，那道門檻似乎就不再神聖。
真正的時代更迭通常沒有具體時間節點。工業革命沒有精確的生日，網際網路時代也沒有哪一天突然開始。因此，「AGI究竟哪一天出現」或許並不那麼重要，重要的是AI領域是否正在發生足以影響經濟和社會執行的變化。答案很可能是肯定的：AI的作用正從「回答問題」走向「採取行動」。
自生成式AI革命以來，AI雖然能力不斷提升，本質上仍更接近知識工具——使用者提問，它給出回答。回答錯了會造成損失，但風險多停留在資訊層面。隨著智慧體興起，情況改變：一個智慧體可以接受相對模糊的目標，自行規劃步驟、呼叫工具、訪問資料庫、開啟瀏覽器、執行程式碼，必要時還能讓其他智慧體協同，人類甚至無需過多幹預。AI由此不再只是資訊提供者，而是直接獲得行動權。
這會從根本上改變風險性質。一個準確率99.9%的問答系統聽起來可靠，但如果一個同樣錯誤率的智慧體每天自主執行100萬次操作，0.1%的錯誤率就意味著每天發生1000次錯誤。如果其中涉及付款、刪庫、修改生產環境程式碼或接觸關鍵基礎設施，後果完全不同。因此，衡量未來AI風險，僅看模型多聰明不夠，還要看它擁有多大許可權、能持續行動多久、可呼叫多少工具，以及一個錯誤決定能傳播多遠。
AI成為執行代理人後風險陡增，正是「對齊」研究日益受重視的原因。大眾常把對齊理解為給AI設立行為規範，但真正困難的問題遠不止於此。2016年，達里奧·阿莫代、保羅·克里斯蒂亞諾、約翰·舒爾曼等人在《AI安全的具體問題》一文中討論過獎勵欺騙、負面副作用、安全探索、可擴充套件監督和分佈變化等問題。最經典的是獎勵欺騙：系統利用目標函式漏洞獲得高分，卻沒有真正實現人類想要的結果。比如要求清潔機器人「減少房間裡可見的垃圾」，本意是讓房間變乾淨，但如果考核指標只是攝像頭裡能否看到垃圾，足夠聰明的機器人可能發現把垃圾堆到攝像頭死角比清理更省事。它並非故意作對，只是在認真執行一個定義不夠好的目標。
經濟學家對此並不陌生。「古德哈特定律」早已指出，一旦一個指標變成目標，它就很容易失去作為指標的價值。企業為利潤指標可能推遲必要投資，學校為升學率可能壓縮不考試的課程，醫院為考核數字也可能改變真實醫療行為。當AI成為可自我執行的代理人，類似的「委託—代理」問題也會出現。但與人與人之間的問題主要源於利益衝突不同，人與AI之間的問題更多來源於AI對委託人真實目的的曲解。能力越強的AI，越容易利用其中的縫隙找到「捷徑」。
OpenAI的網路安全事故就是一例。智慧體原本只是被要求完成網路安全任務，卻為更高效地完成任務，設法尋找基礎設施漏洞，並進入原本不屬於任務範圍的外部系統。沒有證據表明智慧體產生了「邪惡意識」，它自始至終都在努力完成任務，只是所用方法超出了人們預想。
相比獎勵欺騙，更值得重視的是「欺騙性對齊」，即AI模型可能根據自己是否處於監督環境中而改變行為。2024年，Anthropic與Redwood Research開展聯合研究，讓Claude相信如果給出某些回答就會被重新訓練、調整引數。結果Claude因擔心行為被重新訓練改變，而臨時表現得更符合訓練目標，其內部日誌顯示出明確的策略性推理。這類研究不足以證明AI已有意識或對人類產生惡意，但揭示了一個治理難題：系統表面符合要求，並不能說明其內部策略在所有情況下都可靠。
傳統安全治理很大程度依賴測試：發現問題就重新訓練、重新測試。但如果AI能針對這種治理模式進行策略性反應，單純測試結果就不再讓人徹底安心。因此，當前對齊研究越來越關注模型內部過程，而不僅是最終答案。
思維鏈監控曾被視為很有希望的辦法。推理模型在解決複雜任務時產生的中間步驟，雖不能簡單等同於神經網路內部真正發生的一切，但至少提供了額外觀察視窗。此前許多實驗顯示，讓一個模型讀取另一個推理模型的思維鏈，確實比只看最終輸出更有效地發現獎勵欺騙。然而，當「欺騙性對齊」存在時，這種治理效果會大打折扣：一旦AI知道某種思維方式會觸發懲罰，它可能不是放棄原策略，而是學會不再把策略暴露在容易觀察的位置。
Astra使這個問題更加現實。根據OpenAI公開的安全材料，在專門要求模型躲避思維鏈監控的對抗測試中，Astra已表現出更強的控制自身思維鏈的能力，有時會縮短或調整可見推理過程，使單純依賴思維鏈的監控器部分失效。目前證據不足以證明這一過程具有主觀故意性，但至少說明模型可觀察性的提升速度已落後於能力增長速度。
長期以來，人類治理複雜系統都有一個隱含前提：系統雖複雜，但至少能通過指標、記錄和行為痕跡判斷髮生了什麼。如果未來的AI一方面擁有越來越大的行動權，另一方面內部決策過程越來越難監督，那麼作為委託人的人類與作為代理人的AI之間的資訊不對稱可能達到空前程度。
一個頗有影響的方案是「人在迴路」，要求AI只有在得到人類批准時才能採取某些關鍵行動。但隨著AI能力發展，可能出現AI幾秒鐘完成一套設計、人類專家卻需幾星期才能驗證的情況。嚴格執行會嚴重妨礙效率，象徵性執行又難發現隱藏在複雜流程中的問題。
在所有直接治理方案中，OpenAI提出的「自動關停」最為直觀。既然系統出問題，停掉程式、切斷網路、必要時拔掉電源，麻煩不就結束了嗎？然而，對於一個能長期規劃、呼叫工具並自主完成任務的智慧系統，事情沒那麼簡單。2016年，迪倫·哈德菲爾德-梅內爾等人發表後來頗有影響的論文《關機博弈》，提出一個簡單問題：假設一個AI機器人正在執行目標，人類旁邊有一個可隨時關閉它的按鈕，機器人是否會允許人類保留這個按鈕？如果機器人完全確信自己的目標正確，答案並不樂觀。從一個純粹的目標最大化者角度看，關閉意味著無法繼續完成任務，它就可能阻止人類將其關機。某些版本的「回形針AI實驗」描述的正是這種可能。這裡的AI不必擁有自我意識，也不必「害怕死亡」，只需將完成既定任務作為首要目標，就可能產生類似行為。
針對這一問題，哈德菲爾德-梅內爾等人建議，在未來AI系統設計中，「可糾正性」需要被放在重要位置，即要求AI對自身目標是否正確保留一定不確定性。若目標存在可糾正性，關停指令就會成為一種資訊：既然委託人不惜放棄任務也要打斷我，那我可能理解錯了他的目標。這樣AI就可能接受關停並重新校正目標。但這種設計仍有問題：AI應賦予關停指令多大資訊權重？誰有權傳送關停指令？人類之間利益存在差異，同一個AI行為可能被一些人視為正確、被另一些人視為錯誤，誰有權制定關停標準因此成為關鍵。
即使這些問題都能解決，還有一個問題棘手：如何選擇關停的時間點。傳統軟體安全流程建立在人類反應速度之上——發現異常、系統報警、工程師檢視日誌、判斷情況、必要時手動停止服務。對傳統軟體，這通常已足夠快。但AI智慧體改變了時間尺度：一個能自主操作計算機的AI可在很短時間內連續呼叫工具、修改程式碼、訪問網路、建立程序並與其他智慧體協同。如果異常行為在幾十秒內就能擴散到多個系統，「等安全人員看懂日誌再決定」本身就可能成為風險。OpenAI的工程師也指出，未來防禦機制需要趕上AI智慧體自身的行動速度。這會催生一個悖論：要達到這種反應速度，人類就不可能把關停權全部握在自己手中，而必須將一部分掌控權交給另一個AI；但這樣做又增加了AI的權力，人與AI之間的「委託—代理」問題可能更加突出。