为什么需要另一把尺子
主流的智能体评测大多长成一个样子：一份固定任务集，跑一遍，算通过率。SWE-bench 系修 bug，Terminal-Bench 系走终端，OSWorld 系点界面。这类基准的优点是可复现，缺点也正因为固定——任务一旦被反复练习，分数里就会混入记忆与脚手架的贡献，而真实使用者关心的「我把这件事交给它，值不值这个价」并没有被测量。
Agent Arena 走的是另一条路。它不发布任务集，而是从真实 Agent Mode 会话中收集信号：任务完成程度、工具可靠性、可控性、用户满意度，合成一个叫净改进的指标；同时公布每任务成本的中位数。这两件事放在一起，就把问题从「谁做得更好」改成了「多花的钱换来了多少改进」。
这个方法论的代价也很明显：任务分布不可控、样本不可复现、不同模型拿到的会话数差异很大。所以它不是用来替代固定基准的，而是用来回答固定基准回答不了的那部分问题。本文的处理方式是把两套快照并排放在一起——既然单次快照不可复现，那就看十二天里什么变了、什么没变。
净改进衡量的是模型相对同场景基线的改进幅度，其信号来自真实会话中的完成度、可控性与满意度，而不是「任务是否通过客观判定」。因此它可以很好地反映「用起来顺不顺」，但不适合被当作能力上限的证据。把它和固定基准并列阅读，才能同时拿到「能不能做」与「用起来值不值」两个维度。
指标怎么读：净改进不是成功率
榜单共给出九列数据，其中几列容易被误读，先厘清定义。
| 指标 | 含义（据榜单说明与列名） | 常见误读 |
|---|---|---|
| 净改进 Net Improvement | 模型在真实会话中相对基线的综合改进幅度，含完成度、可控性与满意度等信号 | 被当成「任务通过率」。它是一个相对量，不是绝对成功率 |
| 确认成功率 Confirmed Success | 得到确认的成功会话占比 | 被当成比净改进更硬的成功指标。它依赖「确认」这一环节，未确认的会话不计入分子也不计入分母 |
| 可控性 Steerability | 模型在会话中接受引导、按人意图调整的表现 | 被忽略。对需要中途介入的场景，这一项的重要性不亚于完成度 |
| Bash 可靠性 | 终端命令执行相关的可靠性贡献 | 被当成模型越强就越高。实际它与净改进并不单调相关 |
| 工具幻觉 | 越低越好，正值表示幻觉少于平均模型 | 被当成绝对值。它是一个相对平均值，负值只代表高于平均 |
| 每任务成本（P50） | 过去 14 天真实任务实测的单次花费中位数，非官方标价 | 被当成官方定价。它包含实际 token 消耗，因此受 harness 与上下文策略影响 |
最后一项尤其关键：成本是实测值而非标价。这意味着同一款模型在不同 harness 下会拿到不同的每任务成本，榜单衡量的其实是「模型加上它所处的执行环境」这一组合，而不是孤立的模型。理解这一点，后面几节里几处看起来矛盾的数据就都说得通了。
10 月 14 日快照：Top 13 的九项指标
下面这张表还原 2026 年 10 月 14 日快照的前十三名。括号内为榜单给出的置信区间，输出 token 为每任务中位数，标价单位为美元每百万 token（输入/输出）。
| 排名 | 模型 | 净改进 | 确认成功率 | 可控性 | Bash 可靠性 | 工具幻觉 | 会话数 | 成本/任务 | 输出 token |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 5.5 (Max) | +17.01% ±3.51 | 18.48% ±5.42 | 17.49% ±3.04 | 15.40% ±0.86 | 0.53% ±0.13 | 6,025 | $5.66 | 112.9K |
| 2 | GPT-6.1 Sol (Max) | +15.05% ±2.10 | 15.91% ±3.38 | 14.42% ±2.03 | 2.58% ±2.40 | 0.65% ±0.04 | 12,052 | $0.65 | 30.8K |
| 3 | Claude Fable 5.1 (Max) | +14.32% ±2.04 | 15.42% ±3.40 | 15.02% ±2.42 | 10.84% ±1.16 | 0.57% ±0.11 | 16,212 | $7.30 | 62.4K |
| 4 | GPT-6 Astra (Max) | +13.69% ±2.34 | 12.50% ±4.13 | 13.73% ±2.48 | 10.90% ±1.99 | 0.59% ±0.09 | 12,774 | $3.65 | 32.6K |
| 5 | Gemini 4 Argon (High) | +13.59% ±1.58 | 14.65% ±2.65 | 16.54% ±1.61 | 1.87% ±2.55 | 0.01% ±0.58 | 26,905 | $0.84 | 30.3K |
| 6 | Claude Sonnet 5.5 (Max) | +13.00% ±3.17 | 20.49% ±5.18 | 12.09% ±3.37 | 13.16% ±0.86 | 0.45% ±0.24 | 7,404 | $3.62 | 139.8K |
| 7 | GPT-6 Sol (Max) | +10.51% ±2.31 | 7.29% ±4.30 | 12.14% ±2.29 | 11.04% ±0.98 | 0.35% ±0.11 | 6,664 | $0.83 | 25K |
| 8 | Claude Opus 5 (Max) | +9.23% ±1.71 | 12.75% ±3.02 | 7.41% ±2.32 | 11.85% ±1.06 | 0.59% ±0.08 | 23,536 | $5.31 | 67.9K |
| 9 | Claude Fable 5 (High) | +8.49% ±1.42 | 5.63% ±2.65 | 10.28% ±2.19 | 12.87% ±1.72 | 0.62% ±0.07 | 42,384 | $3.27 | 21.6K |
| 10 | GPT-5.6 Sol (xHigh) | +7.74% ±1.43 | 4.37% ±2.67 | 8.47% ±2.14 | 12.01% ±1.23 | 0.51% ±0.09 | 36,282 | $1.53 | 23.6K |
| 11 | Claude Opus 4.8 (High) | +7.55% ±1.55 | 4.22% ±2.76 | 7.58% ±2.81 | 15.76% ±2.23 | 0.35% ±0.19 | 40,269 | N/A | 22.1K |
| 12 | Claude Sonnet 5 (High) | +4.88% ±1.72 | 1.85% ±3.39 | 6.61% ±2.55 | 15.73% ±1.07 | 0.40% ±0.14 | 33,083 | $1.03 | 28.4K |
| 13 | Gemini 3.8 Flash (High) | +4.02% ±1.09 | 5.21% ±2.22 | 1.89% ±1.62 | 11.28% ±0.51 | 0.51% ±0.08 | 37,264 | $0.68 | 57.9K |
几个立刻能读出来的事实。榜首与第二名的净改进相差不到两个百分点，但每任务成本相差约 8.7 倍（5.66 对 0.65 美元）。第五名的 Gemini 4 Argon 净改进 +13.59%，只比第三名低 0.73 个百分点，成本却只有 0.84 美元，不到第三名的八分之一。这是本份榜单最核心的一条信息：在真实会话口径下，头部模型的差距远小于它们的价格差距。
十二天重排：10-02 与 10-14 双快照对照
把 10 月 2 日的快照与 10 月 14 日的快照并排，可以看出十二天里发生了什么。10 月 2 日快照覆盖 2,158,478 次会话与 51 款模型；十二天后，会话数增至 2,581,674，模型数增至 54。
| 模型 | 10-02 净改进（成本） | 10-14 净改进（成本） | 变化 | 说明 |
|---|---|---|---|---|
| Claude Fable 5.1 (Max) | +14.31%（$4.56） | +14.32%（$7.30） | 分数持平，成本 +60% | 分数几乎未动，成本口径变化明显 |
| Claude Opus 5.5 | +13.82%（$1.58，High 档） | +17.01%（$5.66，Max 档） | 分数 +3.19pp，成本 +258% | 档位由 High 变 Max，不可直接视作同一配置 |
| Claude Sonnet 5.5 (Max) | +12.52%（$2.77） | +13.00%（$3.62） | 分数 +0.48pp，成本 +31% | 同档位对比，变化在置信区间内 |
| GPT-6 Astra (Max) | +12.27%（$2.92） | +13.69%（$3.65） | 分数 +1.42pp，成本 +25% | 同档位对比，小幅改善 |
| GPT-6.1 Sol (Max) | +11.23%（$0.56） | +15.05%（$0.65） | 分数 +3.82pp，成本 +16% | 本轮改善幅度较大的一款，且成本几乎未变 |
| GPT-6 Sol (Max) | +9.71%（$0.91） | +10.51%（$0.83） | 分数 +0.80pp，成本 −9% | 分数与成本同时改善 |
| Gemini 4 Argon (High) | +7.57%（$0.67） | +13.59%（$0.84） | 分数 +6.02pp，成本 +25% | 十二天内改善幅度最大的一款，排名由第十升至第五 |
这张表里最需要读者自己判断的是 Opus 5.5 这一行。它在 10 月 2 日以 High 档入榜，十二天后以 Max 档登顶——分数上升的同时成本涨到约 3.6 倍，很难说这 3.19 个百分点的净改进里有多少来自模型本身、多少来自推理档位。榜单并未把档位作为可筛选维度固定住，因此跨快照比较时，凡档位发生变化的条目都不能按「模型变强了」来读。这一点在 AGI Hunt 的周报里也有呼应：该文提到 Sonnet 5.5 以 Max 档登场时净改进 +12.5%，每任务成本 2.74 美元，比同系列 High 档高出约 73%。
另一个需要注意的口径差异：同一批模型在不同来源给出的成本数值并不完全一致。Gemini 4 Argon 在一份转述中为 2.74 美元附近的对照值，在另一份中为 0.84 美元；Opus 5.5 Max 在榜单主表中为 5.66 美元，在帕累托页中为 5.40 美元；Fable 5.1 Max 主表 7.30 美元、帕累托页 7.26 美元、另有转述写 4.62 美元。这些差异多数来自不同页面的刷新时点，但量级差异较大的那一类（如 4.62 与 7.30）更可能是不同快照时点所致。引用时应标明具体页面与时点。
帕累托前沿：把成本放进同一张图
榜单单独提供了一张以净改进为纵轴、每任务成本中位数为横轴的帕累托视图。所谓帕累托最优，指的是在给定成本水平上，没有别的模型能给出更高的净改进；或者说，要达到某个改进幅度，没有更便宜的选择。
| 模型 | 净改进 | 每任务成本 | 每 1 个百分点净改进的代价 | 读法 |
|---|---|---|---|---|
| Claude Opus 5.5 (Max) | +17.18% | $5.40 | 约 $0.314 | 前沿右端：买的是改进幅度上限 |
| GPT-6.1 Sol (Max) | +14.78% | $0.65 | 约 $0.044 | 前沿中段：单位改进代价约为前者的七分之一 |
| MiMo V2.6 Pro | +3.81% | $0.11 | 约 $0.029 | 开源权重在低端提供可用改进 |
| GPT-6 Luna (Max) | +3.26% | $0.08 | 约 $0.025 | 极低成本档位 |
| MiMo V2.6 Flash | +2.53% | $0.05 | 约 $0.020 | 成本量级进入分币区间 |
| Solar Pro 4 | −20.18% | $0.04 | 不适用 | 净改进为负仍在前沿上：它定义了最低成本点 |
Solar Pro 4 这一行值得单独解释。它的净改进是 −20.18%，即低于基线，却依然被列为帕累托最优。这并不矛盾：帕累托前沿描述的是「在每个成本点上没有更好的选择」，最便宜的那一档即使表现为负，也因为没有更便宜的替代品而站在前沿上。对读榜者的实际含义是——前沿的右端代表你能买到的最好表现，前沿的左端只代表最便宜，两者之间才是有意义的取舍区间。
把中段单独拎出来看，GPT-6.1 Sol (Max) 是这张图上最值得注意的一点：净改进 +14.78%，只比榜首低 2.4 个百分点，代价却只有榜首的八分之一左右。若以「每美元买到的改进」排序，它与榜首不在同一个量级。这也解释了为什么多家周报在报道这轮更新时，把重点放在价格而不是排名上。
三项背离：确认成功率、Bash 可靠性与工具幻觉
榜单的副指标与主指标之间存在几处明显背离，这些背离恰恰是最有信息量的部分。
确认成功率与净改进不一致。Sonnet 5.5 (Max) 的确认成功率是 20.49%，高于榜首 Opus 5.5 的 18.48%，但它的净改进只有 +13.00%，比后者低约四个百分点。一种合理的解释是：确认成功率只统计被确认的会话，而净改进还纳入了可控性与满意度等信号；一款「做出来的部分很确定，但整体体验并不更好」的模型就会出现这种错位。反过来，Fable 5 (High) 净改进 +8.49% 而确认成功率仅 5.63%，说明它的改进更多来自过程体验而非可确认的完成。
Bash 可靠性与净改进不单调相关。榜单中 Bash 可靠性较高的几款——Opus 4.8 (High) 15.76%、Sonnet 5 (High) 15.73%、Opus 5.5 (Max) 15.40%——净改进分别为 +7.55%、+4.88% 与 +17.01%，跨度极大。而净改进第五的 Gemini 4 Argon 只有 1.87%，且置信区间为 ±2.55，区间包含零，意味着这一项在统计上与零不可区分。一个可能的解释是：Bash 可靠性高只说明终端这一条路径稳定，而真实会话的成败还取决于规划、工具选择与上下文管理；另一可能是部分模型的会话分布并不重度依赖终端。
工具幻觉的相对性。工具幻觉一列的数值整体很小，且多款模型的置信区间宽于点估计本身。Gemini 4 Argon 的 0.01% ±0.58 尤其典型：点估计接近零，但区间覆盖了从负值到 0.59% 的范围，实际只能读作「与平均水平没有可区分的差异」。相对而言，GPT-6.1 Sol 的 0.65% ±0.04 区间窄，反而是一个更可确定的结论——它的工具幻觉确实较少。这里的原则是：区间宽度比数值大小更值得先看。
token 经济学：输出量与单价的错位
每任务成本是实测中位数，它由两件事相乘得出：实际消耗的输出 token 数与单位价格。这两件事在榜单上并不相关，因此出现了几处错位。
- Sonnet 5.5 (Max) 输出 139.8K token，是全表最高，几乎是最低的 GPT-6 Sol（25K）的 5.6 倍。在标价未公开（榜单显示为 N/A）的情况下，其实测成本为 3.62 美元——这说明它在真实会话里的输出量策略相当激进。
- Opus 5.5 (Max) 输出 112.9K token，标价 4/20 美元，实测成本 5.66 美元。按输出量反推，其成本结构里输出 token 占主要部分。
- GPT-6.1 Sol (Max) 输出仅 30.8K，标价 2/10 美元，实测 0.65 美元。它与 Opus 5.5 的成本差主要来自输出量的四倍差距叠加约两倍的单价差。
- Gemini 3.8 Flash 输出 57.9K，标价 0.75/3.75 美元，实测 0.68 美元——低价档位里，输出量的控制与单价同样重要。
对使用者的直接含义是：控制成本的杠杆有两个，一是选单价更低或输出更克制的模型，二是改进 harness 的上下文策略。前者是榜单能告诉你的，后者是榜单告诉不了的——而后者往往更大的那部分。这一点与固定基准横评中的观察一致：同一模型在不同 harness 下的每任务成本可以相差数倍。
口径红线：这份榜单不能怎么用
- 不能跨档位比较。同一模型的高档位与中档位在榜单上是两条独立记录，成本可以相差三倍以上。凡比较都要先确认档位一致。
- 不能跨快照比较。会话池、模型列表与成本窗口（过去 14 天）都在变动，10-02 与 10-14 的两组数字只适合看趋势，不适合做差分断言。
- 不能把它当能力上限。净改进是相对基线的偏好合成量，不含客观通过判定。需要「能不能做」的证据时，应回到固定基准。
- 不能用成本做横向精确比价。成本为实测 P50，受 harness、上下文策略与任务分布影响，且不同页面的刷新时点会带来可见差异（榜首在两页之间就有 5.66 与 5.40 两种读数）。
- 不能忽略置信区间。多款模型的副指标区间宽于点估计本身，尤其会话数较少的条目（如 Opus 5.5 仅 6,025 次，区间 ±3.51），排名相邻的两款之间多数差异在统计上不可区分。
- 不能用它替代自有场景验证。任务分布来自平台真实流量，与你内部的工作流分布未必重合。
三步读榜法与选型清单
把上面的限制条件收进方法里，这份榜单可以这样用。
步骤一，先定预算区间再排名次。打开帕累托视图，在你的单任务成本上限处画一条竖线，只比较这条线左侧的模型。对多数批量场景，这条线会落在 1 美元以内，此时榜首就不在候选集里了。
第二步，在区间内看副指标而非主指标。候选集里的净改进差距往往小于置信区间宽度，此时决定体验的是可控性（需要中途介入时）与工具幻觉（区间窄的条目才可信）。Bash 可靠性只在你的场景重度依赖终端时才有参考价值。
第三步，用自有任务集做终局验证。取二十到五十个你真实工作流里的任务，让候选模型跑一遍，记录完成率、返工次数与实际花费。榜单负责缩小候选集，不负责替你做决定。
按这套流程读 10 月 14 日快照，会得到一个与排行榜顺序不同的结论：若单任务预算在 1 美元以内，GPT-6.1 Sol (Max) 与 Gemini 4 Argon (High) 是净改进最高的两款，前者分数更高、后者成本更低且改善趋势更陡；若预算不受限且追求改进幅度上限，Opus 5.5 (Max) 仍是榜首，但需接受它是次优选项约九倍的价格。介于两者之间的 Fable 5.1 (Max) 与 Astra (Max)，在这份数据上没有清晰的取舍理由。
局限与冷静判断
- 数据来源以平台自身页面为主：本文数值取自榜单主表、帕累托页与中文镜像页面，官方页面在抓取时存在访问限制，部分数字经检索快照与第三方周报交叉。凡引用应标明页面与时点。
- 任务分布不可复现：这是方法论固有的代价，无法通过增加样本量消除。
- 成本口径受 harness 污染：榜单衡量的是模型与执行环境的组合，把成本差异完全归因于模型会高估模型侧的作用。
- 档位混排：同一模型的不同推理档位并列呈现，是这份榜单最容易被误读的结构性问题。
- 厂商分布不均：闭源厂商在头部占多数，开源权重模型集中在低成本段，这与真实分布有关，但也与平台接入节奏有关。
- 十二天窗口偏短：本文的双快照对照只能反映短期波动，不能据此推断长期趋势；Gemini 4 Argon 的 +6.02pp 跃升是否可持续，尚需后续快照验证。
总的来说，Agent Arena 提供的价值不在「谁占据榜首」，而在它把成本变成了与分数并列的一等公民。在这个视角下，头部模型之间的能力差距远小于价格差距，而真正稀缺的信息——每一美元能买到多少改进——终于有了一个可查的公开来源。这个来源并不完美：任务不可复现、档位混排、成本受执行环境影响。但它回答了固定基准一直回答不了的那个问题，也就值得被放进选型的必读清单里，与固定基准并列而非相互替代。目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。