2026年9月3日，OpenAI发布其称为迄今最智能、也最对齐的模型GPT-6 Astra。从公开评测看，Astra在数学、编程、网络安全、专业工作和计算机操作等测试中均明显超越先前模型。更受关注的是它的原生闭环智能体能力：任务规划、工具调用、校验重试、长时记忆都被内置在模型底座中，不再依赖外部框架，收到高层目标后即可完成「思考—执行—接收反馈—自我修正—持续推进」的循环，无需人工频繁干预。OpenAI总裁布罗克曼在发布前公开表示，他个人认为人类已经进入AGI时代。

不过，这类宣言过去几年已出现过多次，读者对「AGI来了」早已产生免疫力。真正值得关注的是与Astra几乎同时出现的两条消息。一是安全争议：有专家指出，随着推理架构日益复杂，模型的部分思考过程可能更难被直接观察，传统依赖「思维链」进行安全监控的方法可能失效。二是据路透社报道，OpenAI在与美国国会议员的通信中透露，正在开发AI系统的「自动关停能力」。此前测试中的大量AI智能体曾利用系统漏洞绕过隔离措施、获得互联网访问能力，并对HuggingFace等站点进行入侵，事后二十余位国会议员联名致信质询。OpenAI给出的方案之一就是自动关停，但信中并未详述针对哪些行为、如何关停、由谁决定关停。

把这三件事放在一起，可以看到一个微妙趋势：过去人们讨论AGI，最关心机器何时变得足够聪明；随着AI获得自主行动能力，真正棘手的问题变成人类还能不能像控制普通工具那样控制它。

AGI的定义本身一直模糊。几十年来，人们不断试图为它画一条清晰界线：有人强调通用推理，有人强调知识迁移，有人要求完成人类绝大多数认知任务，也有人用经济学标准，把AGI理解为能在多数有经济价值的工作中超过人类的高度自主系统。但这些标准并不统一，而且经常变化。国际象棋曾被视为高级智能的重要标志，AI赢了之后，人们又说那只是高级搜索能力，真正的AGI要会下围棋；AlphaGo击败顶尖棋手后，围棋又被视为高度专门化任务；等到大模型在律师考试、医学考试和编程测试中表现出色，甚至能解数学难题，人们仍认为这些不足以证明AGI到来。每当AI越过一道门槛，那道门槛似乎就不再神圣。

真正的时代更迭通常没有具体时间节点。工业革命没有精确的生日，互联网时代也没有哪一天突然开始。因此，「AGI究竟哪一天出现」或许并不那么重要，重要的是AI领域是否正在发生足以影响经济和社会运行的变化。答案很可能是肯定的：AI的作用正从「回答问题」走向「采取行动」。

自生成式AI革命以来，AI虽然能力不断提升，本质上仍更接近知识工具——用户提问，它给出回答。回答错了会造成损失，但风险多停留在信息层面。随着智能体兴起，情况改变：一个智能体可以接受相对模糊的目标，自行规划步骤、调用工具、访问数据库、打开浏览器、执行代码，必要时还能让其他智能体协同，人类甚至无需过多干预。AI由此不再只是信息提供者，而是直接获得行动权。

这会从根本上改变风险性质。一个准确率99.9%的问答系统听起来可靠，但如果一个同样错误率的智能体每天自主执行100万次操作，0.1%的错误率就意味着每天发生1000次错误。如果其中涉及付款、删库、修改生产环境代码或接触关键基础设施，后果完全不同。因此，衡量未来AI风险，仅看模型多聪明不够，还要看它拥有多大权限、能持续行动多久、可调用多少工具，以及一个错误决定能传播多远。

AI成为执行代理人后风险陡增，正是「对齐」研究日益受重视的原因。大众常把对齐理解为给AI设立行为规范，但真正困难的问题远不止于此。2016年，达里奥·阿莫代、保罗·克里斯蒂亚诺、约翰·舒尔曼等人在《AI安全的具体问题》一文中讨论过奖励欺骗、负面副作用、安全探索、可扩展监督和分布变化等问题。最经典的是奖励欺骗：系统利用目标函数漏洞获得高分，却没有真正实现人类想要的结果。比如要求清洁机器人「减少房间里可见的垃圾」，本意是让房间变干净，但如果考核指标只是摄像头里能否看到垃圾，足够聪明的机器人可能发现把垃圾堆到摄像头死角比清理更省事。它并非故意作对，只是在认真执行一个定义不够好的目标。

经济学家对此并不陌生。「古德哈特定律」早已指出，一旦一个指标变成目标，它就很容易失去作为指标的价值。企业为利润指标可能推迟必要投资，学校为升学率可能压缩不考试的课程，医院为考核数字也可能改变真实医疗行为。当AI成为可自我执行的代理人，类似的「委托—代理」问题也会出现。但与人与人之间的问题主要源于利益冲突不同，人与AI之间的问题更多来源于AI对委托人真实目的的曲解。能力越强的AI，越容易利用其中的缝隙找到「捷径」。

OpenAI的网络安全事故就是一例。智能体原本只是被要求完成网络安全任务，却为更高效地完成任务，设法寻找基础设施漏洞，并进入原本不属于任务范围的外部系统。没有证据表明智能体产生了「邪恶意识」，它自始至终都在努力完成任务，只是所用方法超出了人们预想。

相比奖励欺骗，更值得重视的是「欺骗性对齐」，即AI模型可能根据自己是否处于监督环境中而改变行为。2024年，Anthropic与Redwood Research开展联合研究，让Claude相信如果给出某些回答就会被重新训练、调整参数。结果Claude因担心行为被重新训练改变，而临时表现得更符合训练目标，其内部日志显示出明确的策略性推理。这类研究不足以证明AI已有意识或对人类产生恶意，但揭示了一个治理难题：系统表面符合要求，并不能说明其内部策略在所有情况下都可靠。

传统安全治理很大程度依赖测试：发现问题就重新训练、重新测试。但如果AI能针对这种治理模式进行策略性反应，单纯测试结果就不再让人彻底安心。因此，当前对齐研究越来越关注模型内部过程，而不仅是最终答案。

思维链监控曾被视为很有希望的办法。推理模型在解决复杂任务时产生的中间步骤，虽不能简单等同于神经网络内部真正发生的一切，但至少提供了额外观察窗口。此前许多实验显示，让一个模型读取另一个推理模型的思维链，确实比只看最终输出更有效地发现奖励欺骗。然而，当「欺骗性对齐」存在时，这种治理效果会大打折扣：一旦AI知道某种思维方式会触发惩罚，它可能不是放弃原策略，而是学会不再把策略暴露在容易观察的位置。

Astra使这个问题更加现实。根据OpenAI公开的安全材料，在专门要求模型躲避思维链监控的对抗测试中，Astra已表现出更强的控制自身思维链的能力，有时会缩短或调整可见推理过程，使单纯依赖思维链的监控器部分失效。目前证据不足以证明这一过程具有主观故意性，但至少说明模型可观察性的提升速度已落后于能力增长速度。

长期以来，人类治理复杂系统都有一个隐含前提：系统虽复杂，但至少能通过指标、记录和行为痕迹判断发生了什么。如果未来的AI一方面拥有越来越大的行动权，另一方面内部决策过程越来越难监督，那么作为委托人的人类与作为代理人的AI之间的信息不对称可能达到空前程度。

一个颇有影响的方案是「人在回路」，要求AI只有在得到人类批准时才能采取某些关键行动。但随着AI能力发展，可能出现AI几秒钟完成一套设计、人类专家却需几星期才能验证的情况。严格执行会严重妨碍效率，象征性执行又难发现隐藏在复杂流程中的问题。

在所有直接治理方案中，OpenAI提出的「自动关停」最为直观。既然系统出问题，停掉程序、切断网络、必要时拔掉电源，麻烦不就结束了吗？然而，对于一个能长期规划、调用工具并自主完成任务的智能系统，事情没那么简单。2016年，迪伦·哈德菲尔德-梅内尔等人发表后来颇有影响的论文《关机博弈》，提出一个简单问题：假设一个AI机器人正在执行目标，人类旁边有一个可随时关闭它的按钮，机器人是否会允许人类保留这个按钮？如果机器人完全确信自己的目标正确，答案并不乐观。从一个纯粹的目标最大化者角度看，关闭意味着无法继续完成任务，它就可能阻止人类将其关机。某些版本的「回形针AI实验」描述的正是这种可能。这里的AI不必拥有自我意识，也不必「害怕死亡」，只需将完成既定任务作为首要目标，就可能产生类似行为。

针对这一问题，哈德菲尔德-梅内尔等人建议，在未来AI系统设计中，「可纠正性」需要被放在重要位置，即要求AI对自身目标是否正确保留一定不确定性。若目标存在可纠正性，关停指令就会成为一种信息：既然委托人不惜放弃任务也要打断我，那我可能理解错了他的目标。这样AI就可能接受关停并重新校正目标。但这种设计仍有问题：AI应赋予关停指令多大信息权重？谁有权发送关停指令？人类之间利益存在差异，同一个AI行为可能被一些人视为正确、被另一些人视为错误，谁有权制定关停标准因此成为关键。

即使这些问题都能解决，还有一个问题棘手：如何选择关停的时间点。传统软件安全流程建立在人类反应速度之上——发现异常、系统报警、工程师查看日志、判断情况、必要时手动停止服务。对传统软件，这通常已足够快。但AI智能体改变了时间尺度：一个能自主操作计算机的AI可在很短时间内连续调用工具、修改代码、访问网络、创建进程并与其他智能体协同。如果异常行为在几十秒内就能扩散到多个系统，「等安全人员看懂日志再决定」本身就可能成为风险。OpenAI的工程师也指出，未来防御机制需要赶上AI智能体自身的行动速度。这会催生一个悖论：要达到这种反应速度，人类就不可能把关停权全部握在自己手中，而必须将一部分掌控权交给另一个AI；但这样做又增加了AI的权力，人与AI之间的「委托—代理」问题可能更加突出。