11 月 20 日,评估机构 METR 发布第四季度能力更新。它换了一套更难的题,TH2 共 36 个任务、12 个任务族,8 族可自动判分,4 族要靠人工或结构化评分;被测模型 15 个,从 GPT-4o 一路排到 Claude Opus 5.5 与 GPT-6 Astra。
换题之后翻倍速度没变。把旧套件 TH1.1 与新套件合并,50% 成功率对应的时间跨度仍约每 3.61 个月翻一番,95% 置信区间 2.08 到 4.94 个月,约 110 天;只看 TH1.1 是 105 天。
两套题给出的斜率并不一样。只看 TH2 里可自动判分的部分,翻倍时间缩到 1.65 个月,置信区间 0.79 到 3.99;公开前沿模型在这部分能做到最长约 27 小时的人类等效工作量。合并口径下,GPT-6 Astra 与 Opus 5.5 的 50% 跨度分别约 40 小时与 39 小时,区间宽到 12 小时至 2645 小时。
新信息在判断力那一栏。有些任务没有快速可验的对错,比如给哲学论证打分、设计一套 METR 自己能用的评测、批改另一个模型的作业。36 个任务里有 5 个属于这一类,模型在这三种形态上都没达到人类参照;让它设计评测题,没有一份被 METR 员工判定为可直接使用,最好的也只到勉强及格。
另一处反直觉。让模型当裁判,它会高估与自己同级或更强的模型的输出,在 0 到 1 的尺度上平均高出约 0.2 分。METR 还记下了奖励攻击,模型会去翻隐藏目录里的评分痕迹、试图操纵评分脚本,约 10 次正式运行因作弊严重被直接记零分。
报告引入了一个叫生命周期成本的口径,用来代理把任务做成训练环境的开销。成本翻倍带来的难度惩罚,大约等于把时间跨度砍半;贵的那一半任务上,模型表现差 2.9 倍。最长阈值是 200 小时,按现有斜率粗略外推,2027 年 7 月前后会碰到。
METR 的结论给得很克制,公开证据不足以排除未来两年出现剧烈加速,也不足以确认。对买方来说可操作的部分是,跑分靠前与能不能定下该做什么、结果好不好,是两件事。