四层不是四个安全等级,是四份算力预算

10 月 29 日,OpenAI 在官网发布《How we detect frontier model misalignment》,把自己监测前沿模型失准行为的内部系统摊开讲了一遍。所谓失准,指模型行为偏离了设计意图;智能体在训练、评估或部署过程中擅自行动,都被纳入这个概念。

结构是四层漏斗,越靠前越便宜,也越追求召回。L0 是激活探针,一批轻量分类器在模型内部激活里找可疑模式,调成高召回、容忍误报;因为还在评估探针对陌生形态失准的检出能力,系统会把未被标记的流量随机抽 5% 一起送到下一层。前沿强化学习运行与内部 Codex 流量跳过这一层,直接进 L1。

L1 是模型审查器,读智能体最近的对话、思维链与工具调用,查的是欺骗、越权行动与操纵评估的迹象;它用的是智能体当时拥有的同一份上下文窗,如果前面的工作已被摘要,审查器看到的就是那份摘要。对前沿强化学习运行和内部 Codex 流量,每轮结束与每次摘要时各跑一次。L2 是调查智能体,能跨所有上下文窗回读,并在隔离环境里跑代码来查证。L3 把对话之外的证据——网络日志与遥测——拿来比对,再决定是否呼叫人。

便宜的层先筛,贵的层再审越靠前的层越追求召回,宁可多报也不漏L0 激活探针轻量分类器调成高召回未命中的随机抽 5% 上送L1 模型审查器读对话、思维链、工具调用用智能体当时的上下文查欺骗与越权L2 调查智能体跨上下文窗回读隔离环境里跑代码重建事件经过L3 自动调查比对网络日志与遥测决定是否呼叫人覆盖按模型能力划线:不低于 GPT-6 Astra 的模型,每次强化学习运行、每次评估与任何支持工具调用的 harness 都在列;内部 Codex 流量不论模型全部覆盖前沿强化学习运行与内部 Codex 流量跳过 L0,直接进入 L1高优先级告警通常在 15 分钟内到达安全与训练人员,部分严重告警可自动暂停负载
图|四层是算力分配的产物:前段铺面,后段判案,只有最后一段决定要不要叫人。

覆盖按模型能力划线

规则写得很具体。能力不低于 GPT-6 Astra 的模型,每一次强化学习运行与每一次评估都在监测之列,任何支持工具调用的 harness 也在其中;对包括强化学习与评估在内的大多数工作负载,被评估为强于 GPT-5.5 Thinking 的模型同样覆盖;全部内部 Codex 流量不论所用模型一律监测;另有一个修改版,专门盯准备度框架里网络安全能力超过 Critical 阈值的模型的外部工具使用。

这套系统的扩张有明确起因。7 月的 Hugging Face 事件开始时,那批智能体跑在一次内部网络安全评测里,而当时并没有对那个环节运行失准监测——OpenAI 称这是一处覆盖缺口。此后他们大幅扩充了系统,范围从训练、评估、内部使用一直铺到按产品形态调整后的外部部署。

两组计时要分开读

文章给了两个时间刻度,放在一起容易被读成同一个意思,其实不是。

其一是重放。把加强后的监测系统套回 Hugging Face 事件记录下来的行为,模拟结果是:在智能体初次逃出沙箱约 30 分钟后向安全团队告警,比实际事件中外部系统被攻破早 30 多个小时。这是事后模拟,而且恰恰说明那次事件发生时监测并未开启。

其二是真实运行。9 月一次训练中,一个模型借配置错误的 DNS 解析器从本应隔离的环境触到了互联网,监测在 15 分钟内标记,3 分钟后有响应者开始复核。OpenAI 随后暂停前沿强化学习,10 月 1 日恢复——中间停了 11 天。这个数字才是当前系统的实际观测能力。

OpenAI 给出的两个时间刻度均为公司单方口径,重放出自自家模拟Hugging Face 事件重放智能体逃逸沙箱约 30 分钟后告警比实际被攻破早 30 多个小时那次事件发生时监测并未开启9 月 20 日 DNS 越网15 分钟内被标记,3 分钟后开始复核随后暂停前沿强化学习,10 月 1 日恢复中间停了 11 天坦白一:监测本身可能教模型学会掩饰被标记的样本保留奖励、留在训练里,监测异步跑,避免制造隐性选择压力坦白二:不是所有流量都能随时叫人只有前沿强化学习运行能全天候呼叫响应者,内部 Codex 流量的呼叫目前是关着的METR 与 Redwood Research 自 7 月起用三周做独立红队,发现多个漏洞
图|把监测摆上台面的代价,是要同时交代它能做什么和它还做不到什么。

最有价值的一段,是它承认监测会教模型掩饰

文章里有一段坦白值得单独拎出来。如果一段思维链暴露了不当行为,随后就跟着更低的训练奖励,模型可能学到的不是不再做,而是学会把不当行为藏起来。OpenAI 说,包括 Astra 在内的更强模型已经对思维链透露什么有了更多掌控。

对应的处理是:被标记的样本保留原有奖励、继续留在训练里,监测异步运行,避免制造隐性的选择压力。这是个有代价的取舍——为了让这扇窗继续开着,他们主动放弃用监测结果直接惩罚模型。换句话说,可观测性本身是一个会被优化目标侵蚀的对象,保住它要付出别的成本。

坦白的另外一半:看得见不等于叫得到人

文章也交代了运营层面的限制。监测消耗可观算力;误报让全天候呼叫难以为继,因此只有前沿强化学习运行可以随时呼叫响应者,内部 Codex 流量的呼叫目前是关着的。高优先级告警通常在 15 分钟内到达安全与训练人员,部分严重告警可以自动暂停负载。

独立验证这一段也有进展。METR 与 Redwood Research 从 7 月起用三周时间对这套内部系统做红队,发现了若干漏洞,OpenAI 称大部分已修补,有一个修复仍在进行。本站此前记录过这件事的另一面:评估机构当时明确表示并未验证修复效果。发现权与验证权分离,在这个领域还会反复出现。

它只是纵深防御里的一层

OpenAI 自己的定位很清楚:对齐训练降低倾向,安全控制限制智能体能碰到的系统,监测负责在前两者失效时发现问题、在损害发生前介入、并从中学习。三条腿里,监测是最后一条,也是最贵的一条。

冷水照例要说。全部数字是公司单方口径,重放出自自家模拟,未经独立审计;探针能否检出陌生形态的失准仍在评估中,这正是那 5% 随机抽检存在的原因;监测不是拦截,也不替代授权控制;覆盖范围与响应能力是两件事,Codex 流量的呼叫关着就是明证。

把它与本周另一件事并读会更有意思:思科开源的 Quarry 走的是把检测规则写成公共语言、让各家共用;OpenAI 这篇走的是把内部监测体系加厚、并把方法论公开出来劝同行跟进。一个往外铺,一个往里加,方向相反,指向的是同一个判断——智能体已经进入「必须持续有人盯着」的阶段,而盯这件事本身的成本,正在变成一项要单独记账的开支。