Anthropic在上市衝刺階段披露了一項不同尋常的風險提示:公司自身設定的AI安全閾值已被觸發。據英國《金融時報》11月19日報道,Anthropic在更新後的IPO申報檔案中承認,其技術進展速度已達到2023年制定的“負責任擴充套件政策”(Responsible Scaling Policy)所設定的觸發條件,因此必須啟動額外的安全控制措施。
這一披露的時間點頗為敏感——公司同時將IPO發行價定為每股83美元,高於此前給出的指引區間,對應估值約1.5萬億美元。對一家即將登陸華爾街的AI公司而言,在招股材料中主動寫明“安全機制被觸發”,既是對自身治理框架的履行,也把外界對前沿AI風險的關注直接帶入了公開市場語境。
觸發機制的依據來自AI評估機構METR本月釋出的報告。該機構在獲得Anthropic系統、人員及未釋出模型的廣泛訪問許可權後評估認為,Anthropic過去12個月實現的AI能力進展,大致相當於此前約兩年的歷史進展,提速幅度約為一倍。報告還指出,研究人員藉助AI工具加速自身研發,是推動這一趨勢的重要因素。
按照Anthropic 2023年的政策設計,當AI發展速度達到“把過去兩年的技術進展壓縮到一年內實現”的程度時,公司就須執行更嚴格的安全監督。公司方面表示,此次判斷基於對未來模型能力的預期以及整體進展速度,並不意味著AI系統已經能夠完全自主改進;新增措施將覆蓋安全保障、治理架構以及模型開發過程中的內部審查。Anthropic高管Sam McCandlish回應稱,METR報告中的許多結論與自己的判斷一致,他承認AI正在加速公司的研究工作,但這一影響仍難以精確量化。
技術提速的背後,是AI越來越多地參與下一代AI系統的研發,這一過程被稱為“遞迴自我改進”(RSI),即AI系統利用自身能力協助開發更強大的後續模型。Anthropic在招股說明書中將“一個模型協助構建下一個模型”的閉環研發能力列為相較競爭對手的重要優勢,並稱其已顯著提升算力使用效率。但同一能力也帶來新的安全命題:研發一旦部分自動化,能力躍升的節奏可能超出人類評估與監督的跟進速度。
圍繞這一趨勢,外部機構的判斷出現分化。Apollo Research執行長Marius Hobbhahn表示,研究人員此前對遞迴自我改進的實現時間存在很大分歧,如今這一時間視窗正迅速縮短,而行業的安全準備遠未到位。AI安全機構“AI未來專案”(The AI Futures Project)認為,METR報告揭示的加速趨勢出乎意料,並預測超人類AI研究員很可能在2027年某個時間點出現,該機構認為暫停或實質性放緩前沿AI開發已十分迫切。Anthropic執行長Dario Amodei去年9月也曾提出,應為AI遞迴自我改進的速度設定某種“速限”,因為相關進展可能快得令人咋舌。
與此同時,Anthropic的“安全”定位正受到更直接的質疑。週三,由非營利機構“AI安全中心”(Center for AI Safety)牽頭,一個包括Hugging Face及SpaceXSI(原 xAI)創始人在內的AI研究人員與安全倡導者聯盟發表公開宣告,指責Anthropic利用安全品牌吸引投資者、員工和公眾,並直言其“並非一家安全的AI公司”。宣告特別指出,Anthropic一方面警告遞迴自我改進可能導致權力集中和人類失去控制,另一方面卻在競相開發相關技術。
類似擔憂也出現在AI行業內部。OpenAI董事會成員、AI安全研究員Paul Christiano近日在一檔播客節目中表示,AI開發自動化程度不斷提高,可能在短時間內推動極其強大的AI出現;如果行業經歷快速的智慧爆炸並走向超級智慧,人類可能最終無法控制所開發的系統。Hobbhahn則認為,即使Anthropic IPO失敗、AI融資市場陷入低迷,也未必能夠阻止技術繼續躍升——現有AI實驗室擁有足夠資金推進至少兩輪重大技術突破,即使市場泡沫破裂,也可能誕生遠超人類能力的模型。
對關注馬斯克生態的讀者而言,這條新聞還有一層對照意義:SpaceXSI(原 xAI)與Anthropic同處大模型競賽的第一梯隊,前者強調快速迭代與算力擴張,後者則以安全治理作為差異化敘事。Anthropic在招股書中承認安全閾值被觸發,等於把“發展速度與安全控制能否同步”這一問題擺上了公開市場的桌面;而外部聯盟的批評則顯示,安全品牌本身正在成為競爭與爭議的一部分。無論IPO定價如何落地,圍繞遞迴自我改進的討論已從研究圈進入公司治理與融資敘事,後續監管與行業自律如何回應,值得持續觀察。