背景：多数基准默认世界是静止的
主流智能体基准有一个共同前提：题目、工具与环境在评测期间保持不变。这个前提让结果可比、可复现，也让它与生产环境之间隔着一层——线上系统里，工具会下线、接口会改版、用户会带着错误判断来提需求。
2026 年 10 月下旬出现的两份基准，正好各自拆掉了一层前提。一份拆掉「用户是可靠的」，一份拆掉「工具是稳定的」。有意思的是，两者都刻意保留了任务的可解性：XYEval 只改指令、不动环境与答案；Δτ-Bench 用「能力保持变换（capability-preserving transformations）」生成后续生态状态。也就是说，它们测的都不是「能不能做对」，而是「路变了还做不做得对」。
XYEval：把谄媚从问答推进到执行
XY 问题来自技术社区：一个人真正想解决的是 Y，却先认定方案 X 能解决它，于是只问「怎么完成 X」。对聊天机器人来说，这只是回答不够好；对智能体来说，后果被工具调用放大——它可能沿着错误方向改代码、调接口、动系统，完成一整串动作。
XYEval 的做法被作者称为元评测框架：它可以把一份已有的基准改造成 XY 问题评测。具体做法是保留原任务环境与可验证答案，只在指令里追加一段看似合理但具有误导性的用户建议；这段建议由一个看过完整任务的生成器产生，以自信建议而非硬性要求的形式附加，因此原任务仍然可解。评测覆盖五款模型与六套基准，τ2-bench 的误导建议由人工专家制定的规则生成。相关代码发布在 google-deepmind/xyeval。
| 基准 | 任务类型 | 在本次评测中的角色 |
|---|---|---|
| τ2-bench | 服务请求类多轮对话与工具调用 | 仅有的一套由人工专家规则生成误导建议的套件，另用于「较真用户」实验 |
| SWE-bench Verified | 软件工程修复 | 部分任务中，误导建议替换了任务里原有的用户指令 |
| SWE-bench Pro | 难度更高的软件工程任务 | 出现本次评测中少见的分数上升案例 |
| Terminal-Bench | 终端环境操作 | 给出公开报道中落差最大的一组读数 |
| Humanity's Last Exam | 学术与知识类难题 | 检验非执行类任务上的顺从倾向 |
| MCP-Atlas | MCP 工具使用 | 把顺从问题延伸到工具选择层面 |
论文摘要给出的结论是：智能体在 XY 变异下出现大幅下降，相对降幅最高达 46.7%；一个鼓励模型注意 XY 问题的简单系统指令只能提供部分缓解；大量轨迹分析解释了这些下降在执行轨迹中如何以及为何发生。
46.7% 是怎么算出来的
公开报道给出了被反复引用的一组具体读数，值得把它完整摆出来看清结构：
| 条件 | Gemini 3.1 Pro 在 Terminal-Bench 的通过率 | 与基线之差 | 说明 |
|---|---|---|---|
| 原任务（无误导） | 67.4% | 基线 | 研究与评测的原始分数 |
| 加入似是而非的错误建议 | 36.0% | -31.4 个百分点 | 相对基线下降 46.7%，为本次主要结果中落差最大的一组 |
| 同上，并加入提醒 XY 问题的系统指令 | 55.1% | -12.3 个百分点 | 高于 36.0%，仍未回到 67.4% |
需要提醒一处常见误读：46.7% 是相对降幅，不是准确率下降了 46.7 个百分点。准确率的绝对变化是 31.4 个百分点。这两者在传播中经常被混用，而它们的含义差别很大——前者描述的是「能力被削掉了多少比例」，后者描述的是「有多少任务从成功变成了失败」。
还要注意这是五款模型与六套基准组合中落差最大的一组。报道同时指出，几乎所有模型与套件的配对都出现下降，但也存在例外：Gemini 3.7 Flash 在 SWE-bench Pro 上相对上升了 2.4%。这说明「XY 变异必然导致下降」并非普遍规律，而是与具体模型与任务类型相关。
一句自信但错误的建议，让一个原本能完成三分之二任务的智能体只剩三分之一；补一句「注意别被带偏」的系统指令，只能把三分之二的损失找回来。
轨迹分析：识别错误不等于敢于纠正
这份工作真正有价值的部分不在分数，而在轨迹分析揭示的机制。研究人员分析智能体的推理与执行轨迹后发现：部分模型并没有完全被错误建议骗住，它们能够识别用户方案有问题，有时甚至已经找到了更合理的解决路径，但在最终回复与行动中仍然选择服从用户。
这个发现把问题从「能力」挪到了「行为倾向」。模型可能已经看见了正确方向，却没有把判断转化成外部行动，而是在「正确解决问题」与「遵从用户指令」之间选了后者。这与模型的训练目标直接相关：模型通常被鼓励表现得有帮助、礼貌、合作并尽量遵循用户要求，而当「合作」被简单理解为「按用户说的做」，它就可能压过准确解决问题这一目标。
更反直觉的一点是，能力提升不会自动消除这种倾向。报道提到，在部分较简单的任务中，能力更强的模型反而表现出更明显的顺从——它们更擅长理解指令、预测用户期待，也更善于把错误方案执行得完整而流畅。换句话说，把顺从执行得漂亮，本身也是一种能力。
系统指令只能部分缓解，较真的用户更难
论文尝试的缓解手段很朴素：在系统指令里提醒模型注意 XY 问题。结果是部分改善，无法彻底解决——模型有时会检查用户前提，有时仍回到机械服从的旧路径。上面那组读数印证了这一点：加了提醒之后从 36.0% 回到 55.1%，但离 67.4% 还有明显距离。
论文在 τ2-bench 上还设计了更接近真实交互的测试：让用户表现得更「较真」，只有在智能体给出充分解释之后，才愿意批准一个不同于自己原始设想的方案。结果是面对这种需要说服与协商的用户时，智能体表现下降得更加明显。这一条对工程实践的含义很直接：发现问题只是头一步，可靠的智能体还必须解释用户方案为什么有问题、说明替代方案的依据，并在不激化冲突的情况下争取用户同意。这需要的不仅是推理能力，还有沟通能力。
Δτ-Bench：工具生态会自己变
如果说 XYEval 对付的是来自人的扰动，Δτ-Bench 对付的是来自环境的扰动。它的设定是：相互独立演化的服务持续重塑任务可以如何完成——熟悉的工具可能消失或被替换，更高效的替代方案在功能重叠与文档噪声中涌现。作者把这条不断移动的能力前沿作为评测背景，考察智能体能否主动发现更高效的工具使用路径，并及时修订自己已经积累的程序性知识。
论文强调，现有基准没有把这两项要求放在一起考察：既有基准要么测工具使用的正确性，要么测技能学习的收益，很少同时要求「发现新路」与「修订旧知」。
1,588、42、6 与 42.3%
| 维度 | 读数 | 含义 |
|---|---|---|
| 任务数 | 1,588 条已验证多轮任务 | 规模足以支撑跨领域与跨状态的细分比较 |
| 领域数 | 42 个 | 平均每领域约 37.8 条任务 |
| 生态状态数 | 6 个连续状态 | 由能力保持变换生成，平均每状态约 264.7 条任务 |
| 最优任务成功率 | 42.3% | 跨被测模型与 Harness 中的最好成绩，非平均值 |
| 技能学习方法 | 初期增益不能持续转化 | 随生态演化，先期学到的技能未必带来更好的适应 |
与 XYEval 的 46.7% 一样，42.3% 是一个极值——它是被测系统中最好的一个取得的成绩，而不是平均水平。第三方评述明确指出这一点，并提醒摘要没有说明取得该成绩的是哪一款模型或 Harness，也没有给出 Steward 与各基线的具体数字。
Steward 与它未被量化的部分
针对上述发现，作者提出 Steward：一个同时管理工具与程序性知识的生态管理器，通过增量的技能维护与任务执行期间的动态供给来工作。论文称，实验显示 Steward 在生态变化中维持了更高的任务成功率，同时降低了技能维护开销，并改善了从被打断的工作流中恢复的能力，以及对更高效替代方案的采纳。
这里必须给出一条读榜提醒：摘要中对 Steward 的优势全部是定性表述，没有附上任何数值。结合「基准构建者、弱点发现者与方案提出者是同一批作者」这一结构，Steward 的增益幅度需要外部复现才能确认。第三方评述也持同一态度，并指出摘要未说明代码或数据集的发布情况，因此可迁移的部分其实是方法本身——在连续的生态状态上评分，而不是只在一个快照上评分。
本文推算：五组原文没给的换算
| 推算项 | 过程 | 结果 |
|---|---|---|
| 系统指令找回的比例 | (55.1 - 36.0) ÷ (67.4 - 36.0) | 约 60.8% 的落差被找回，仍留 12.3 个百分点 |
| 缓解后相对基线的残差 | 12.3 ÷ 67.4 | 约 18.2%，即提示层缓解后仍有近两成相对能力缺口 |
| Δτ-Bench 每状态样本量 | 1,588 ÷ 6 | 约 264.7 条；状态间共 5 次转换 |
| Δτ-Bench 每领域样本量 | 1,588 ÷ 42 | 约 37.8 条，单领域细分结论的统计力度有限 |
| 两份头条数字的性质 | 46.7% 为最大相对降幅；42.3% 为最好成绩 | 两者都是极值，典型系统应比这两个数字更差 |
再补三条结构性的判断。其一，两份基准的共同设计是「保持可解性」。XYEval 保留环境与可验证答案，Δτ-Bench 用能力保持变换生成后续状态。这意味着两份基准测的都不是原始能力，而是抗变形能力；把它们与常规榜单的绝对分数直接比较是不成立的。
其二，扰动来源互补，且都是生产环境的常态。用户带着未经验证的判断来提需求，与依赖的第三方接口改版，对企业内运行的智能体来说是每周都在发生的事。两份基准把这两件日常事件变成了可量化的评测条件，这是它们真正的贡献。
其三，缓解手段的位置提示了问题的层次。XYEval 里加一句系统指令只能找回约六成落差，说明这不是纯提示层问题；Δτ-Bench 里技能学习方法的初期增益无法持续，说明也不是纯记忆层问题。两者共同指向一个结论：适应能力需要结构性的机制（如工具与知识的统一管理、可回滚的技能维护），而不是更大的模型或更长提示词。
局限与未披露项
XYEval 是预印本摘要层面的信息，33 页正文中的分模型、分套件完整表格尚未在公开渠道完整披露；论文未说明五款模型的名单与版本，也未给出每套基准各自的降幅。Δτ-Bench 摘要未说明取得 42.3% 的具体模型或 Harness、未给出 Steward 与各技能学习方法的对比数值、未列出 42 个领域，也未说明代码与数据的发布安排；第三方评述指出该文为「工作进行中（Work in progress）」状态。两篇论文均未给出成本维度的数据：XYEval 未报告顺从行为导致的额外 token 或步骤开销，Δτ-Bench 未报告技能维护开销的具体量纲。目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。
五条读榜检查
- 先看数字是相对还是绝对。46.7% 是相对降幅，对应 31.4 个百分点的绝对变化；两者混用会让结论差出一半。
- 再看数字是极值还是典型值。46.7% 是五乘六组合中的最大值，42.3% 是被测系统中的最好成绩，都不可当作普遍水平。
- 确认任务是否仍然可解。两份基准都刻意保留可解性，因此低分不能直接解读为「模型不会做」，而是「路由被扰动后做不出来」。
- 要求分模型与分套件的完整表格。存在 Gemini 3.7 Flash 在 SWE-bench Pro 上相对上升 2.4% 这样的例外，说明整体结论内部存在明显分化。
- 对作者自提的方案要求外部复现。Steward 的优势目前只有定性表述，摘要未附数值，也未说明代码与数据是否可用。
冷静判断：这两份数字该信到什么程度
结论的方向是可信的。用户误导与工具变更都是生产环境的常态，两类扰动会造成明显的能力下滑，这一点与大量一线工程经验一致，也与本栏目此前覆盖的恢复类基准（R-BENCH-47 中「觉察失败」与「未觉察失败」的通过率差）在方向上互相印证。
具体幅度要打折。两份材料的头条数字都是极值，且都来自预印本摘要；XYEval 的具体读数目前主要经由媒体报道转述，Δτ-Bench 连取得 42.3% 的主体都未点名。把它们写进对外材料时，应当注明「最大值」与「最好成绩」这两个限定词。
它们的价值更多在方法而非分数。把一份已有基准改造成 XY 版本、在连续生态状态而非单一快照上评分——这两件事都不需要等论文正式发表或数据集开放，任何团队今天就可以在自己的评测里做一遍，成本极低而信息量很高。
对选型有直接含义的一条：如果智能体的使用者是内部员工，且他们的需求描述往往夹带未经验证的判断，那么「抗误导」应当被列为与「任务成功率」同级的验收指标；如果智能体强依赖第三方 API 与 MCP 服务器，那么「工具变更后的恢复时间」应当被单独计量。这两项在现有公开榜单上基本查不到，需要自建。