Anthropic在上市冲刺阶段披露了一项不同寻常的风险提示:公司自身设定的AI安全阈值已被触发。据英国《金融时报》11月19日报道,Anthropic在更新后的IPO申报文件中承认,其技术进展速度已达到2023年制定的“负责任扩展政策”(Responsible Scaling Policy)所设定的触发条件,因此必须启动额外的安全控制措施。

这一披露的时间点颇为敏感——公司同时将IPO发行价定为每股83美元,高于此前给出的指引区间,对应估值约1.5万亿美元。对一家即将登陆华尔街的AI公司而言,在招股材料中主动写明“安全机制被触发”,既是对自身治理框架的履行,也把外界对前沿AI风险的关注直接带入了公开市场语境。

触发机制的依据来自AI评估机构METR本月发布的报告。该机构在获得Anthropic系统、人员及未发布模型的广泛访问权限后评估认为,Anthropic过去12个月实现的AI能力进展,大致相当于此前约两年的历史进展,提速幅度约为一倍。报告还指出,研究人员借助AI工具加速自身研发,是推动这一趋势的重要因素。

按照Anthropic 2023年的政策设计,当AI发展速度达到“把过去两年的技术进展压缩到一年内实现”的程度时,公司就须执行更严格的安全监督。公司方面表示,此次判断基于对未来模型能力的预期以及整体进展速度,并不意味着AI系统已经能够完全自主改进;新增措施将覆盖安全保障、治理架构以及模型开发过程中的内部审查。Anthropic高管Sam McCandlish回应称,METR报告中的许多结论与自己的判断一致,他承认AI正在加速公司的研究工作,但这一影响仍难以精确量化。

技术提速的背后,是AI越来越多地参与下一代AI系统的研发,这一过程被称为“递归自我改进”(RSI),即AI系统利用自身能力协助开发更强大的后续模型。Anthropic在招股说明书中将“一个模型协助构建下一个模型”的闭环研发能力列为相较竞争对手的重要优势,并称其已显著提升算力使用效率。但同一能力也带来新的安全命题:研发一旦部分自动化,能力跃升的节奏可能超出人类评估与监督的跟进速度。

围绕这一趋势,外部机构的判断出现分化。Apollo Research首席执行官Marius Hobbhahn表示,研究人员此前对递归自我改进的实现时间存在很大分歧,如今这一时间窗口正迅速缩短,而行业的安全准备远未到位。AI安全机构“AI未来项目”(The AI Futures Project)认为,METR报告揭示的加速趋势出乎意料,并预测超人类AI研究员很可能在2027年某个时间点出现,该机构认为暂停或实质性放缓前沿AI开发已十分迫切。Anthropic首席执行官Dario Amodei去年9月也曾提出,应为AI递归自我改进的速度设置某种“速限”,因为相关进展可能快得令人咋舌。

与此同时,Anthropic的“安全”定位正受到更直接的质疑。周三,由非营利机构“AI安全中心”(Center for AI Safety)牵头,一个包括Hugging Face及SpaceXSI(原 xAI)创始人在内的AI研究人员与安全倡导者联盟发表公开声明,指责Anthropic利用安全品牌吸引投资者、员工和公众,并直言其“并非一家安全的AI公司”。声明特别指出,Anthropic一方面警告递归自我改进可能导致权力集中和人类失去控制,另一方面却在竞相开发相关技术。

类似担忧也出现在AI行业内部。OpenAI董事会成员、AI安全研究员Paul Christiano近日在一档播客节目中表示,AI开发自动化程度不断提高,可能在短时间内推动极其强大的AI出现;如果行业经历快速的智能爆炸并走向超级智能,人类可能最终无法控制所开发的系统。Hobbhahn则认为,即使Anthropic IPO失败、AI融资市场陷入低迷,也未必能够阻止技术继续跃升——现有AI实验室拥有足够资金推进至少两轮重大技术突破,即使市场泡沫破裂,也可能诞生远超人类能力的模型。

对关注马斯克生态的读者而言,这条新闻还有一层对照意义:SpaceXSI(原 xAI)与Anthropic同处大模型竞赛的第一梯队,前者强调快速迭代与算力扩张,后者则以安全治理作为差异化叙事。Anthropic在招股书中承认安全阈值被触发,等于把“发展速度与安全控制能否同步”这一问题摆上了公开市场的桌面;而外部联盟的批评则显示,安全品牌本身正在成为竞争与争议的一部分。无论IPO定价如何落地,围绕递归自我改进的讨论已从研究圈进入公司治理与融资叙事,后续监管与行业自律如何回应,值得持续观察。