同周两份卷子，共同的对手是判分口径
arXiv:2611.13246《ExpertCrowd-SWE: Measuring Frontier Coding Agents on Expert-Authored Engineering Tasks in Unfamiliar Codebases》由 Josip Vrdoljak 等七人署名，2026 年 11 月 9 日 21:20 UTC 提交 v1，17 页、5 图、6 表，归类 cs.AI 与 cs.SE；数据集挂在 Hugging Face，榜单挂在 Toptal 的 ExpertCrowd 页面（来源：arXiv 2611.13246 摘要页与提交历史直读）。
arXiv:2611.14364 的 ARE-bench v1 于 2026 年 11 月 10 日提交、PDF 页眉标注 11 月 11 日，团队列出上海人工智能实验室、复旦大学与另四所中国高校，项目页为 arebench.com（来源：AGI Tracker 对 ARE-bench 的全文整理，明确标注自身未运行该基准、所有数值为论文作者报告且通过与否由 LLM judge 判定）。
两份卷子看似领域不同——一个测陌生大仓库里的编码智能体，一个测研究型智能体在真实项目会话中途接手任务——但设计上共享同一个自变量：判分口径。ExpertCrowd-SWE 把任务与判分器一起重做，ARE-bench 则把智能体的交付物与每个检查项的判定结果全部冻结，只改哪些检查项算数。
| 维度 | ExpertCrowd-SWE（2611.13246） | ARE-bench（2611.14364） |
|---|---|---|
| 提交时间 | 2026.11.09 v1 | 2026.11.10 v1，PDF 页眉 11.11 |
| 任务来源 | 执业工程师在真实仓库固定提交上写的变更请求 | 从受招募研究者的真实智能体会话与完整工作区切分 |
| 任务量 | 100 道多文件任务，覆盖 87 个开源项目与 11 种语言 | 75 个任务，会话全程重放且不清理 |
| 评测规模 | 7 个前沿模型、每模型每任务 5 次，3495 次评分运行 | 7 个模型、每任务 3 轮，每模型 225 次运行 |
| 判分设计 | 任务专属加权判分器、多数可执行判据给部分分、must-pass 阻断项 | 1173 条二元检查项，ISR 要求全过、CSR 按比例给部分分 |
| 公开范围 | 放出 24 道含环境与判分器，留出 76 道 | 项目页栏目在核对时未渲染，溯源包受控访问 |
| 本文归类 | 改任务与判分器 | 改计入范围 |
两份论文都没有把模型权重当自变量。ExpertCrowd-SWE 说成绩跨 35 分、步数与成绩关系不大；ARE-bench 说下降描述的是 grader 而非智能体。把它们并排读，得到的增量不是「谁分高」，而是一份成绩单在多大程度上是判分规则的产物。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未说明的是两份基准是否共享任务来源、是否使用同一批模型版本，以及两者成绩能否在同一坐标上并列。
ExpertCrowd-SWE：把维护者会拒绝什么写进判分器
摘要把任务构造说得很具体：每道题是执业工程师针对真实仓库某个固定提交写下的变更请求，配一份密封参考解与一个任务专属判分器；判分器用加权、多数可执行的判据给部分分，并用 must-pass 阻断项与通过或不通过的门表达「维护者会拒绝合并什么」（来源：arXiv 2611.13246 摘要页全文）。
校准方式也与常见的通过率榜单不同：每个任务镜像在放出前先校准，让参考解得 1.0、未改动的仓库与惰性改动都得 0；近半数任务还附带替代解、偷懒解与对抗性控制补丁，判分器必须正确分类它们。最终 100 道题是针对当前前沿模型按难度筛选出来的（来源：同上）。
| 设计项 | 公开读数 | 口径说明 |
|---|---|---|
| 任务数 | 100 | 多文件软件工程任务 |
| 开源项目数 | 87 | 每项目任务数约 1.15，属结构折算 |
| 语言数 | 11 | 未给各语言任务分布 |
| 工单长度中位数 | 148 词 | 描述任务输入规模 |
| 参考解改动中位数 | 471 行 | 描述解规模，与 148 词不同量纲 |
| 评测规模 | 7 模型 × 5 次 × 100 任务 = 3495 次评分运行 | 摘要原文为 3,495 scored runs |
| 放出与留出 | 24 放出、76 留出 | 留出用于限制污染 |
| 校准基线 | 参考解 1.0；未改仓库与惰性改动 0 | 每任务镜像发布前校准 |
这里有一处需要并列保留的算术缺口：按摘要给出的 7 个模型、每模型 5 次、100 道任务相乘应为 3500 次运行，摘要报告的却是 3495 次评分运行，相差 5 次（原创换算）。摘要没有说明这 5 次是缺失运行、评分失败还是某模型未跑满全部任务。本文按原文记录 3495，并把差额列为待核项，不替作者补齐分母。
放出 24 道、留出 76 道，公开比例 24%、留出比例 76%（原创换算，分母 100 道任务）。留出比例高于公开比例约 3.17 倍，这一结构本身说明作者把抗污染放在可复核性之前；外部团队只能复现那 24 道，不能独立重算整张榜单（原创口径辨析）。
加权判据给部分分，是为了区分「差一点就合并」与「整体跑偏」；但 must-pass 阻断项与通过门又保留了维护者的硬边界。两者叠加后，一个解可以在多数判据上得分却仍被判不通过。把这套判分器简化成「通过率」会抹掉它最主要的构造。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是 76 道留出题的构成、判分器权重的确定方式、控制补丁的具体数量，以及每次运行的成本明细。
67.3% 与 63.7%：领先两字用不上
摘要给出的成绩是：Claude Opus 5.5 得 67.3%、GPT-6 Astra 得 63.7%，二者差距未达统计显著；随后是 Claude Fable 5.1 的 46.5%、Gemini 3.8 Flash 的 40.0%，以及 Qwen 3.8 Max、DeepSeek V4.1 Flash、Grok 4.6 组成的 32% 至 34% 区间，组内统计上不可区分（来源：arXiv 2611.13246 摘要页）。
| 模型 | 公开成绩 | 与 67.3% 的差 | 摘要给出的分组措辞 |
|---|---|---|---|
| Claude Opus 5.5 | 67.3% | — | 与 GPT-6 Astra 同列前段，差距未达统计显著 |
| GPT-6 Astra | 63.7% | 3.6 个百分点 | 同上 |
| Claude Fable 5.1 | 46.5% | 20.8 个百分点 | 单独一档 |
| Gemini 3.8 Flash | 40.0% | 27.3 个百分点 | 单独一档 |
| Qwen 3.8 Max / DeepSeek V4.1 Flash / Grok 4.6 | 32%~34% | 33.3~35.3 个百分点 | 统计上不可区分的一组 |
摘要说成绩跨 35 分。以 67.3% 减去区间下界 32% 得 35.3 个百分点，与「35 分」自洽；若取 34% 上界则为 33.3 个百分点（原创换算）。这条算式只在「用区间端点做差」这一层成立，不能读成每个模型都跨了 35 分。
另外三条同样值得记：没有任何一道题被所有模型全部解出；在 80 道题上，没有任何模型能在五次运行里都拿满 credit；按模型不同，每次运行的中位步数在 33 到 166 之间，且与成绩关系不大（来源：arXiv 2611.13246 摘要页）。最后一条对工程选型有直接含义——步数不能当能力的代理指标，跑得久不意味着更接近完成。
把 148 词的工单中位数与 471 行的参考解中位数相除得约 3.18 行每词（原创换算）。这两个量纲不同，比值只是描述「简短请求对应大改动」的稀疏程度，不是效率或难度系数；本文把它列为结构性折算，不参与任何成绩合成。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未说明的是五次运行的标准差、显著性检验方法、单任务成本，以及 32%~34% 组内三模型各自的精确分数。
ARE-bench：75 个真实会话与 1173 条检查项
ARE-bench 的起点是「研究中途接手」：任务从受招募研究者自己的智能体会话与完整工作区构建，在真实用户请求处切分。Instruction 里有一个 Background 段落，平均摘要 36.0 个更早的用户轮次，并引用 10.3 个仍然生效的更早请求；工作区从平台事件日志重放到切分点且不做清理，平均含 41.1 个文件，65.3% 的任务带有智能体在更早轮次写下的文件（来源：AGI Tracker 整理的 ARE-bench 论文 Table 6 与方法描述）。
| 构造项 | 公开读数 | 说明 |
|---|---|---|
| 任务数 | 75 | 每模型 3 轮，故每模型 225 次运行 |
| 检查项总数 | 1173 条二元项 | 编译自 rubric，智能体看不到 rubric |
| 每任务平均检查项 | 15.6 条 | 1173 ÷ 75 ≈ 15.64，与 15.6 自洽 |
| 研究阶段数 | 7 | Survey、Design、Data and Environment、Code、Execution、Analysis、Writing |
| Background 平均长度 | 36.0 个更早用户轮次 | 同时引用 10.3 个仍生效的更早请求 |
| 工作区平均文件数 | 41.1 | 重放自事件日志，不清理 |
| 含早前智能体写入文件的任务 | 65.3% | 描述工作区污染的普遍程度 |
| 每模型运行数 | 225 | 75 任务 × 3 轮 |
两个指标要分清：ISR（instance success rate）是「所有适用检查项全部通过」的运行占比，CSR（checklist item success rate）是每任务通过检查项比例的平均，属部分给分。论文给的 CSR 区间是 79.66% 到 92.72%，跨度 13.06 个百分点；ISR 区间是 25.78% 到 66.22%，跨度 40.44 个百分点（来源：AGI Tracker 整理的 ARE-bench 结果）。两者相除约 3.10 倍（原创换算）——同一批工作用部分给分看差距被明显压平。
rubric 有两条构造规则：检查项不规定实现方式，任何有效解都能通过；只有称职研究者在切分点本可推断出的要求才保留，哪怕该要求是后来返工时才暴露的。检查项按范围分为五类——contract 与 norm 是当前请求明确要求与通用专业规范，inherited 与 anchored 是历史要求与工作区或材料要求，latent 是后来返工揭示但切分点可推断的要求（来源：AGI Tracker 整理的 Table 8 范围定义）。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是贡献会话的研究者人数与来源项目数、检查项判定与人工复核的一致率按范围拆分，以及重放环境与原始环境的差异清单。
只改哪些项算数：69% 落到 28%~40%
Table 8 的实验设计很干净：作者没有重新运行智能体，交付物与每个检查项的 judge 判定全部保持不变，只改变哪些项计入通过，然后对同一批 225 次运行重算 ISR。因此下降描述的是 grader，不是智能体（来源：AGI Tracker 引述论文原句 The drop describes the grader, not the agents）。
| 模型（harness） | 窄范围 contract+norm | 加 inherited+anchored | full checklist 再加 latent | 窄范围到加约束的降幅 |
|---|---|---|---|---|
| DeepSeek-V4.1-Flash（Claude Code） | 69.33%（约 156/225） | 40.00%（90/225） | 39.56% | 29.33 个百分点 |
| GLM-5.3-Flash（Claude Code） | 69.33%（约 156/225） | 31.56%（71/225） | 30.67% | 37.77 个百分点 |
| Kimi-K3（Claude Code） | 69.78%（约 157/225） | 28.44%（64/225） | 28.00% | 41.34 个百分点 |
按窄范围成功率作分母，三个模型分别失去约 42.3%、54.5%、59.2% 的表观成功（原创换算，与整理方给出的 42%、54%、59% 自洽）。latent 项的影响不到 1 分，分别为 0.44、0.89、0.44 个百分点，说明结果不依赖这一类最容易引起争议的推断项（来源：AGI Tracker 整理的 Table 8 差值）。
更有意思的是分辨率：窄范围下三模型极差只有 69.78 − 69.33 = 0.45 个百分点，几乎打平；full checklist 下极差变成 39.56 − 28.00 = 11.56 个百分点，放大约 25.7 倍（原创换算）。换句话说，窄判分器不只是把分数抬高，还把模型之间的差异压掉了。
整理方明确说明：约 69% 只描述七模型中的三个，这三个是因窄范围分数接近而被选中的，总体排名分别为七分之三、第五与第六；论文没有报告 GPT-6.1-Sol、Claude Opus 5.5、Qwen3.8-Max、Qwen3.8-27B 的窄范围 ISR。把 69% 读成「研究智能体的普遍水平」不成立。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是另外四个模型在同一重评分实验下的数值，以及更强模型加入上下文检查项后是否也出现同等幅度的回落。
被窄判分漏掉的失败：66、85、93 次运行
论文还给出一组可直接核对的运行计数：三个模型中，分别有 66、85、93 次运行「窄范围通过但仍未通过某个上下文项」；Table 6 给出的总失败运行数是 136、156、162（来源：AGI Tracker 整理的 ARE-bench Table 6 与 Table 8）。
| 模型 | 总失败运行 | 窄范围通过却挂上下文项 | 占比（原创核算） | 整理方给出的比例 |
|---|---|---|---|---|
| DeepSeek-V4.1-Flash | 136 | 66 | 66 ÷ 136 ≈ 48.53% | 48.5% |
| GLM-5.3-Flash | 156 | 85 | 85 ÷ 156 ≈ 54.49% | 54.5% |
| Kimi-K3 | 162 | 93 | 93 ÷ 162 ≈ 57.41% | 57.4% |
| 三项合计 | 454 | 244 | 244 ÷ 454 ≈ 53.74% | 未单列 |
三行占比与整理方给出的 48.5%、54.5%、57.4% 逐条自洽（原创核算）。合计约 53.74% 这一行是本文按同样分母相加得出的结构性折算，只描述这三模型合计 675 次运行中的失败构成，不能外推到七模型全体。
工作示例把机制讲得更细：CylindFormer 复现任务有 20 条检查项，一次执行 20/20、另一次 16/20；只看显式交付物与训练是否正常，两次都会得到 6/6，加上报告项则是 7/7，差异只出现在 13 条方法保真项上，一次 13/13、另一次 9/13。按 CSR 口径，16/20 是 80%（来源：AGI Tracker 整理的工作示例）。论文同时限定：该比较只证明方法是否被保留，不证明最终配准精度是否下降。
把 80% 的 CSR 与 ISR 的「全过才算」并排，就能理解为什么部分给分会掩盖失败：一次执行在方法保真上丢了 4 条，部分给分仍有八成，严格口径下则直接判失败。这也是论文把 correctness 列为各模型得分靠后的一项的原因——含至少一个未满足 correctness 项的失败运行占比达 85.5% 到 92.8%（来源：AGI Tracker 整理的 ARE-bench 结果）。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是上下文项判定按范围拆分的人工复核一致率、失败运行与具体检查项的完整交叉表，以及 20 条检查项示例之外的分布。
成本轴、judge 同族与 harness 混杂
ARE-bench 把 API 价格冻结在 2026 年 11 月 2 日，给出单次运行成本：GPT-6.1-Sol 约 2.17 美元、Claude Opus 5.5 约 5.69 美元、GLM-5.3-Flash 约 0.20 美元、DeepSeek-V4.1-Flash 约 0.53 美元；同时说明这只覆盖模型 API 费用，且基于单一任务分布与单一组 harness（来源：AGI Tracker 整理的成本段落）。
| 模型 | 单次运行成本 | headline ISR | 口径说明 |
|---|---|---|---|
| GPT-6.1-Sol（Codex harness） | 约 $2.17 | 66.22% | 七模型中 ISR 居前 |
| Claude Opus 5.5（Claude Code） | 约 $5.69 | 56.89% | 成本约为前者的 2.62 倍，ISR 低 9.33 个百分点 |
| GLM-5.3-Flash（Claude Code） | 约 $0.20 | 未在该段单列 | 最便宜的一档 |
| DeepSeek-V4.1-Flash（Claude Code） | 约 $0.53 | 39.56%（full checklist 口径） | 与上一行同为窄范围重评分三模型之一 |
5.69 ÷ 2.17 ≈ 2.62，与整理方写的约 2.6 倍自洽；66.22 − 56.89 = 9.33 个百分点（原创换算）。但要小心：39.56% 属 full checklist 重评分口径，66.22% 与 56.89% 属 headline ISR，三者不在同一列，不能把 56.89 与 39.56 相减当作成本带来的差异。
两处混杂必须并列标注。其一是 judge 同族：判定由 GLM-5.3 judge 发出，少量运行用 GLM-5.3-Flash，而同族模型也是被测 actor 之一；作者在部分任务上比较 DeepSeek 与 Qwen 两个 judge 的 9874 对配对判定，一致率 92.76%、Cohen's kappa 0.717，其中 90.63% 的分歧朝同一方向（DeepSeek judge 判失败而 Qwen judge 判通过）；20 题公共子集上 CSR 排序的 Spearman 相关在 0.9286 到 0.9643 之间。按范围拆分的 judge 一致率没有报告，而 contextual 项恰恰最需要读论文与设计文档（来源：AGI Tracker 整理的 judge 可靠性段落）。
其二是 model 与 harness 混杂：GPT-6.1-Sol 跑在 Codex，其余六个模型跑在 Claude Code，作者承认跨模型差异反映的是模型与 harness 的共同作用；统一 harness 或 harness 消融都未做。此外还有一条不可比对照：Qwen3.8-Max 在 PaperBench Code-Dev 的 model card 分数是 93.0（Claude Opus 4.6 判分、三次平均、单次上限 12 小时），在 ARE-bench 是 37.78% ISR，FAQ 明确写两者任务、harness、judge 与指标都不同，不能直接作为排名比较。
2.62 倍是成本比，9.33 个百分点是同口径 ISR 差，25.7 倍是重评分后的分辨率变化。三者分母与实验设置各不相同，不能相乘成一个「性价比改善」或「整体提升」的合成值（原创口径辨析）。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是包含工具与沙箱成本的总账单、统一 harness 的对照运行，以及按检查范围拆分的 judge 与人工标注一致率。
六组原创换算与并列保留的口径
以下六组均由本文依据公开读数推算，摘要与整理文未直接给出。每组标明分母，避免把不同口径的量拼在一起。
| 换算 | 依据 | 结果 | 分母与边界 |
|---|---|---|---|
| 评分运行差额 | 7 × 5 × 100 对摘要的 3495 | 3500 − 3495 = 5 次 | 摘要未说明差额来源，仅并列保留 |
| 留出比例 | 24 放出、76 留出 | 24% 对 76%，约 3.17 倍 | 分母 100 道任务，属结构折算 |
| 检查项密度自洽 | 1173 ÷ 75 | 约 15.64 条，与 15.6 一致 | 同一论文内部核对 |
| 表观成功损失 | 29.33/69.33、37.77/69.33、41.34/69.78 | 约 42.3%、54.5%、59.2% | 分母为各模型窄范围 ISR |
| 分辨率放大 | 11.56 ÷ 0.45 | 约 25.7 倍 | 同为三个选中模型的 ISR 极差，前后不同计分范围 |
| 漏判失败占比 | 66/136、85/156、93/162 | 约 48.53%、54.49%、57.41% | 分母为该模型总失败运行数，与整理方数值自洽 |
六组里第三、第五、第六组属于同一批数据内部的自洽核对，头一组与第四组是跨口径折算，第二组是纯结构计数。把 25.7 倍与 3.17 倍相乘、或把 42.3% 与 48.53% 相加，都缺少共同分母，本文不给出这类合成值。
读榜时可把三把尺子分列：交付范围（只查当前请求交付物，还是连同历史要求与工作区约束）、给分粒度（二元全过才算的 ISR，还是按比例给部分分的 CSR）、基线校准（参考解与惰性改动是否被强制落在 1.0 与 0，是否有留出集）。ARE-bench 动的是头一把，ExpertCrowd-SWE 三把都换了。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未说明的是三把尺子各自对成绩方差的贡献占比，以及是否存在一份同时固定三者的公开对照实验。
读榜六问与可证伪边界
把两份材料当作选型依据前，建议按下面六问逐条索取，而不是先看排在前列的条目：
- 通过的定义是什么：全部检查项通过，还是加权部分给分？有无 must-pass 阻断项？
- 检查项覆盖到哪里：只含当前请求，还是包含会话历史、工作区文件与早前仍生效的约束？
- 基线校准做过没有：参考解、未改仓库、惰性改动与对抗补丁是否落在预设分数上？
- 分母是谁：几次运行、几个任务、多少任务留出？3495 与 3500 的差额如何解释？
- 谁在判：judge 是否与被测模型同族？一致率与 kappa 是否按检查范围拆分？是否有人类标注复核？
- harness 是否统一：跨模型差异里有多少来自执行程序？成本是否只覆盖模型 API？
可证伪边界也要写清。对 ARE-bench：三个模型是因窄范围分数接近被选中，且只做重评分未做 context-withheld 消融，因此结论限于「更窄的判分器会高估并压缩差异」，不能推出「智能体没读工作区」；会话来自受招募研究者、只保留中高难度片段，75 个任务的 ISR 不是科研能力的通用刻度；截至 11 月 12 日 arebench.com 的 Overview、Leaderboard、Tasks 栏目在核对时未渲染，溯源包受控访问，独立复现取决于后续放出内容。
对 ExpertCrowd-SWE：留出 76 道使外部无法独立重算整榜；3495 次运行与 3500 的差额、五次运行的标准差、显著性检验方法与单任务成本均未给出；论文为预印本自报结果，任务针对当前前沿模型按难度筛选，成绩不能外推到筛选时点之后发布的新版本。两份材料都属于作者自报，AGI Tracker 也明确声明自己未运行 ARE-bench。
一条可证伪的检验路径是：固定 ARE-bench 的 75 个任务、三次轮次与全部交付物，只把判分范围从 contract+norm 换成 full checklist，若七个模型的排序变化很小，则「分辨率放大」主要来自中段模型；若强模型也出现同等幅度回落，才说明上下文约束是普遍短板。论文目前只报告了三个中段模型的重评分，本文把它列为待验证项。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是七模型完整重评分表、context-withheld 与统一 harness 消融、judge 按范围的人工复核一致率、ExpertCrowd-SWE 留出题明细与两份基准的成本总账。