10 月 12 日，Artificial Analysis 为 Cognition 的 FrontierCode 1.1 基准上线了独立榜单，问的问题只有一个：智能体改的这段代码，真实仓库的维护者愿不愿意合并？首批读数不太好看：领先模型 Claude Opus 5.5 综合得分 52%，看着过半，但它只有 58% 的尝试通过了全部阻断性检查——换句话说，排名靠前的模型仍有四成以上的尝试过不了「可合并」这道闸。100 道题里，有 9 道没有任何模型在任何一次尝试中通过。
这把尺子是怎么造出来的
FrontierCode 出自 Cognition，今年 6 月发布、7 月更新到 1.1 版，题库与 36 个真实开源仓库的维护者共同打磨，每题投入超过 40 小时，定义的是「在这个代码库里怎样才算可合并」。全套 150 道题，Artificial Analysis 跑的是其中 100 道 Main 集，任务私有以防污染；所有模型进同一套开源的 Stirrup 参考挽具，每题三次尝试，单次尝试 250 轮上限。
评分结构是重点。每项规则分成阻断与非阻断：任何一项阻断失败，该次尝试直接记零；全过则进入 70-100 分区间，非阻断项（风格、惯例、工程质量）在区间内移动分数。判法也比「跑测试」细三层：智能体自己写的测试必须能在坏掉的基提交上失败，证明它真在测 bug；改动文件数与 diff 体量有范围约束，不许靠重写半个仓库来修一个小问题；参考测试由 LLM 对齐到合法的替代实现，正确的不同设计不因对不上标准答案被罚。
分数挤在一起，成本差出十倍
榜单头部拥挤得反常：九个模型、六家实验室挤在 43 到 52 分之间。Claude Opus 5.5 以 52% 居首，GPT-6.1 Sol 与 Claude Fable 5.1 同处 49%；开源权重里小米 MiMo-V2.6-Pro 以 45% 领先，DeepSeek V4.1 Flash 与 Kimi K3 均为 44%。真正拉开差距的是成本：GPT-6.1 Sol 每任务 0.81 美元，对标模型 10.15 美元，相差超过 10 倍；MiMo 单题只要 0.18 美元。用不到一成的钱拿到低 3 个点的分数，这笔账对采购方比排名本身更有意义。
另一个细节值得记：1.1 版新增了公平用网规则，轨迹扫描器一旦发现智能体有「查答案」嫌疑，该次尝试记零。基准防的不只是训练数据污染，还有推理时的作弊路径。
放进赛道里看
这把尺子补的正是旧基准的空缺。SWE-bench 一家量的是「需求给全后完成得多好」，通过率通胀之后，区分度越来越薄；而 Cognition 发布时引用的 METR 研究指出，高分模型产出的补丁常常被人类维护者拒绝——会解题和能交付之间隔着一次真实的代码评审。本站此前报道过 Cognition 的 SWE2 与「成本-质量帕累托前沿」讨论，也讨论过编码基准的方法学争议；FrontierCode 把这两条线拧到了一起：既问质量，也把质量按「可合并」重新定义，还把成本摆进同一张表。
需要保留的怀疑
三条边界必须说清。52% 是综合评分，不是真实 PR 合并率——判卷的是自动化检查加 LLM 评审（评委为 GPT-6 Luna），没有维护者逐条审。分数依赖 Stirrup 挽具，与各厂商自家产品里的表现不可直接互换，也与 Cognition 自有榜单不是一把尺。榜单不与 Artificial Analysis 的智能指数合并，官方称后续会并入编码智能体榜——口径还会变。私有任务防污染的另一面，是外界无法审计题目是否公允。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。但对正在选型编码智能体的团队，这份榜单给了一个今天就能用的提问方式：别问「基准多少分」，问「按你们仓库的合并标准，它多少改动能原样进主干」——这两个问题的答案，差的就是你要付的评审成本。