三份卷子，一个自变量
2026 年 11 月 3 日至 6 日，三份 arXiv 预印本先后公开。它们分属软件工程、工具调用可靠性与机器人操作三个不同领域，却把同一个变量放在了实验台中央：骨干模型不动，只改执行层。这与本站 11 月初横评（R-BENCH-56）里「改环境构造」的一组形成对照——那一组动的是题目与判定条件，这一组动的是智能体自己怎么把事办完。
| 研究 | arXiv 编号 | 改动的层 | 实验规模 | 主读数 |
|---|---|---|---|---|
| HarnessFlow | 2611.06254 | 整套执行程序（代码级） | 六项基准，每项最多 15 个候选，每种方法重复 5 次 | 宏平均 58.59% → 69.48% |
| Agent Harness Awareness | 2611.05391 | 动作派发前的输入状态 | 216 决策消融 + 27 决策实时复现 | 策略遗憾 4252ms → 131ms |
| AMP1 | 2611.09892 | 参考 harness 与记忆表示 | RoboLab-120 + 108 次真实试验 + RoboDojo | 零样本成功率 85.6% |
HarnessFlow 报的是六项基准的宏平均分数，AHA 报的是策略遗憾与完成率，AMP1 报的是任务成功率与失败率倍数。三个指标量纲不同，连「提高了多少」这个问题都需要先指定是哪一列。本文所有跨文比较只做结构对照，不做数值合成。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。三份材料均为预印本，尚未见第三方复现与同行评议结论。
HarnessFlow：让编码智能体改自己的办事流程
HarnessFlow 由华南理工大学、复旦大学、武汉大学、康奈尔大学、加州大学圣地亚哥分校、香港中文大学（深圳）与微软亚洲研究院的 8 位作者提出，18 页、8 图、7 表（来源：arXivDaily 2026.11.05 论文中文资料）。它把「读多少历史、何时调工具、结果不对怎么检查、何时停止」这一整套程序称作 harness，并允许搜索时改动完整代码，而非只改一句提示词。
| 实验设置 | 公开材料给出的口径 | 读法提示 |
|---|---|---|
| 执行骨干 | GPT-5.4-mini，工具访问与单任务限制一致 | 被冻结的是骨干，不是产品默认模型 |
| 任务域 | 工具办事、代码生成、网页交互共六项基准 | 各基准官方分数口径不同 |
| 搜索预算 | 每项基准最多 15 个候选流程 | 不是全研究只调用 15 次模型 |
| 搜索策略 | MCTS 式改进树：选父节点、编码智能体改写、执行评分、归档 | 失败与成功都入库供后续回看 |
| 组件库 | 记忆、观察压缩、流程控制、工具接口实现 | 是参考材料，不是限定排列的积木 |
| 评估 | 验证集优化、留出测试集出最终成绩，每种方法重复 5 次报均值与波动 | 宏平均不等于现实任务完成概率 |
论文给出的结果是六项测试宏平均 69.48%，对初始 harness 增加 10.89 个百分点，对另一种自动优化方法增加 3.95 个百分点（来源：arXivDaily 全文）。由此可反推初始 58.59%、对照方法约 65.53%；10.89 除以 58.59 约为 18.6% 的相对提升（原创换算）。
| 对比项 | 分数 | 与 HarnessFlow 差值 | 口径说明 |
|---|---|---|---|
| 初始 harness | 58.59% | -10.89pp | 六项基准宏平均 |
| 另一种自动优化方法 | 约 65.53% | -3.95pp | 由「高出 3.95pp」反推，论文未在摘要直给 |
| HarnessFlow | 69.48% | 基准 | 留出测试集，重复 5 次 |
论文把搜索出候选的费用与最终框架每任务执行成本分开统计。按每项最多 15 个候选、六项基准计算，候选评估上限约 90 次；每次候选仍要在多任务上多次执行。因此「推理时更省钱」与「把这套流程找出来是否划算」是两个问题，公开材料只回答了前半句（原创换算）。
另一处需要保留的是比较范围：文中提到的 Claude Code、Codex 等是被比较的框架实现，不代表换上这些产品各自默认模型后的产品排名（来源：arXivDaily 明确提示）。
Agent Harness Awareness：派发前递一张经验证的状态快照
Agent Harness Awareness 由 Manu Agrawal 与 Shrey Nagpal 提出，9 页、3 图。它把工具描述无法反映实时健康状况的缺口称作 operational blindness，并采用信任分离设计：宿主保留测量、执行、评估与最终派发权，只在关键动作前给模型一小份新鲜且经验证的状态快照（来源：arXiv:2611.05391 摘要页）。
| 实验 | 规模 | 对照 | 策略遗憾 | 完成率 / 成功率 |
|---|---|---|---|---|
| ToolRoute 受控消融 | 216 次决策，跨 GPT-5.6 Sol、Claude Sonnet 5、Gemini 3.7 Flash | 同形状中性对照 | 4252ms → 131ms | 单次派发完成率 69.4% → 95.8% |
| 端到端实时复现 | 27 次决策，本地 TCP/HTTP、OpenTelemetry span、Toxiproxy 注入故障 | 中性对照 | 8956ms → 0ms | 实时动作 9/9 对 5/9 |
把两组数字拆开看：4252 到 131 毫秒减少 4121 毫秒，降幅约 96.9%，与论文标题数字自洽；69.4% 到 95.8% 是 +26.4 个百分点、相对约 +38.0%；9/9 与 5/9 相差约 44.4 个百分点。216 次决策平均到三款模型约每款 72 次，但摘要没有给出按模型的分项，因此不能判断增益是否集中在某一款（原创换算）。
该文 arXiv 编号为 2611.05391，摘要页提交历史显示 2026-09-13，第三方收录页同样标 09-13，而 AnalystMarkets 与部分转述标注为 2026-11-05。编号、提交历史与第三方标注三者不一致，公开材料未作解释。本文并列保留，不据此判定发布日，也不单凭该编号把文章判定为「11 月新论文」。
论文自述的开放扩展包括运行时状态、硬件压力、经济性、重试感知恢复与异构选择，说明当前结论只覆盖「工具与网络」这一个实例；把它读成通用运行时治理方案会超出证据范围。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未说明的是快照的字段构成、注入带来的额外 token 开销，以及 0ms 遗憾是否在更大故障集上稳定成立。
AMP1：通用模型直控机械臂与失败率口径
《On Agentic Manipulation Policies》由 Chen Chen 等 13 位作者于 2026 年 11 月 6 日提交，项目页在 apple-aiml-research.github.io/ml-amp。它提出 agentic manipulation policy：让通用 AI 模型直接指挥机械臂，随任务展开调整动作；参考 harness AMP1 在单臂、双臂与移动操作上保持不变，且不使用演示或任务专项训练（来源：arXiv:2611.09892 摘要页与 Web Pulse 全文转述）。
| 方法 | RoboLab-120 零样本成功率 | 反推失败率 | 相对 AMP1 的失败率倍数 |
|---|---|---|---|
| AMP1 | 85.6% | 14.4% | 基准 |
| 领先 VLA 策略 | 49.2% | 50.8% | 约 3.53× |
| 领先 WAM 策略 | 42.9% | 57.1% | 约 3.97× |
成功率的差值分别是 +36.4 与 +42.7 个百分点，相对幅度约 +74.0% 与 +99.5%（原创换算）。真实试验方面，AMP1 在 12 项任务、3 台机器人实例上的 108 次试验成功 104 次，成功率约 96.3%；均摊后每项任务约 9 次、每台机器人约 36 次。加入跨回合携带的持久记忆表示后，RoboDojo 双臂任务失败率比零样本部署低 4.6 倍。
摘要同时写道「相对强 VLA 与 WAM 基线，失败率降低 20 倍与 15 倍」。但按上表三个头条成功率反推，失败率倍数只有约 3.5 与 4.0。二者不在同一口径：可能是 20x/15x 用了更强的对照组、不同的任务子集或不同的失败定义，公开摘要没有说明。本文不把两组倍数互相代替，也不据此推算真实试验里的失败率。
基本 harness 不提供抓取、推送或放置技能，智能体自行发展出寻找隐藏物体、把物体当工具使用、校准相机等策略；持久记忆让它可以从过往回合累积经验。这两点说明增益来自执行层的组织方式，而不是新增了机器人专用能力。
三条改造路径的结构对照
把三份研究放在一张表上，能看清「改执行层」并不是一种做法：
| 维度 | HarnessFlow | Agent Harness Awareness | AMP1 |
|---|---|---|---|
| 改动对象 | 完整工作程序代码 | 派发前的输入状态快照 | 参考 harness 与记忆表示 |
| 改动时机 | 离线搜索，部署前确定 | 在线，每次关键动作前 | 设计期固定，跨回合累积记忆 |
| 骨干模型 | GPT-5.4-mini 固定 | 三款模型横测，权重不变 | 通用模型，未换专用策略 |
| 证据来源 | 留出测试集分数 | OpenTelemetry span 与故障注入 | 基准成功率与真实试验 |
| 主要成本 | 候选搜索费用 | 快照注入的额外上下文 | 长程试验与记忆维护 |
| 未披露 | 搜索总 token 与美元成本 | 快照字段与注入开销 | 20x/15x 的对照组定义 |
与同期 HEELO（arXiv:2611.07461，本轮技术解构篇 R-TECH-61）放在一起是第四条路：把使用能力绑进资源本身做成可复用原语。四条路都声称不换模型就有增益，但改造位置从库单元、流程代码、输入状态一路到具身参考 harness，没有共同分母，不能相加。
流程顺序或停止规则反复出错，看流程搜索；工具当时已经限流、锁表或丢包而模型不知道，看遥测注入；专用策略泛化差且缺演示数据，看通用模型配参考 harness；工具拿得到却总填错参数，看原语化。先定位失败落在哪一段，再决定改哪一层。
六组原创换算与分母说明
以下六组数字均由本文按公开读数推算，原摘要未直接给出。每组标明分母，供读榜时逐项核对。
| 换算 | 算式 | 结果 | 分母与边界 |
|---|---|---|---|
| HarnessFlow 相对提升 | 10.89 ÷ 58.59 | 约 18.6% | 六项基准宏平均，非单项 |
| 候选评估上限 | 15 × 6 | 约 90 个候选 | 每项基准上限，非模型调用次数 |
| AHA 遗憾降幅 | （4252 - 131）÷ 4252 | 约 96.9% | 216 决策均值，非任务成功率 |
| AHA 完成率提升 | （95.8 - 69.4）÷ 69.4 | +26.4pp，相对约 +38.0% | 单次派发，非端到端任务 |
| AMP1 失败率反推 | 50.8 ÷ 14.4；57.1 ÷ 14.4 | 约 3.53× 与 3.97× | 与文中 20x / 15x 口径不一致 |
| 真实试验密度 | 104 ÷ 108；108 ÷ 12；108 ÷ 3 | 96.3%；每项约 9 次；每台约 36 次 | 均摊，实际分布未公开 |
其中最容易被误用的是第三行：96.9% 描述的是策略遗憾这一时间量的下降，把它写成「任务完成率提高 96.9%」就换了量纲。同理，AMP1 的 20x 与 15x 描述的是失败率，不能与 85.6% 的成功率直接相减。
读榜六问：把增益放回它自己的实验里
综合三份材料，读这类「不换模型也有增益」的榜单时，建议依次问六个问题：
- 被冻结的是什么：是骨干模型、工具访问还是单任务预算？HarnessFlow 固定了三者，AHA 只固定权重与任务语义。
- 指标是什么量纲：分数、遗憾毫秒、完成率、失败率倍数分属不同列，跨列相减没有意义。
- 分母是否相同：69.48% 是六项宏平均，85.6% 是 RoboLab-120，131ms 是 216 决策均值。
- 搜索或改造的成本记在哪：流程搜索要算候选评估，遥测注入要算额外上下文，具身试验要算真实机时。
- 有没有留出集与重复：HarnessFlow 明说留出测试集并重复 5 次；另两篇摘要未说明跨任务重复次数。
- 是否存在自报口径冲突：AMP1 的 20x/15x 与反推倍数、AHA 的三处日期，都属于需要并列保留而非自行择一的项。
| 读法 | 有依据 | 缺依据 |
|---|---|---|
| 「冻结骨干后改执行层能带来两位数量级的分数或百分点增益」 | 三份研究各自任务集内成立 | 跨任务域外推 |
| 「把三种做法叠加能得到更大提升」 | 机制上可推测互补 | 无任何联合实验或共同分母 |
| 「执行层比模型更重要」 | R-BENCH-28 已有同向证据 | 三份研究均未做换模型对照 |
| 「20x 失败率降低等于成功率从 5% 到 99%」 | 不成立 | 对照组定义未披露，且反推倍数不符 |
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。三份预印本尚未见第三方复现、完整消融表与跨任务域的迁移实验，本文所有换算只用于核对公开数字之间的自洽性。
可证伪边界与未披露项
- 预印本状态：三份均为 arXiv 预印本，未见同行评议结论与独立复现，读数宜按作者自报口径看待。
- 成本账不完整：HarnessFlow 分开统计了搜索与执行费用但摘要未给数值；AHA 未给快照的 token 开销；AMP1 未给真实机时与记忆维护成本。
- 对照定义缺口：AMP1 的 20x/15x 与三个头条成功率反推不一致；HarnessFlow 的「另一种自动优化方法」在摘要里未具名。
- 日期与版本：AHA 的 arXiv 编号、提交历史与第三方标注不一致；三篇均未见多版本差异说明。
- 任务域跨度大：软件工程、工具网络与机器人操作三类任务的失败成因不同，任何统一排名都缺少共同标尺。
- 厂商与研究立场：AMP1 项目页由研究团队维护，AHA 的控制组为自建基准，增益能否迁移到企业内网系统尚无证据。
一条可证伪的检验路径是：在同一批任务上同时施加三种改造，并各自记录增量与成本；若任一改造在别人任务集上增益归零，则「执行层普遍优于换模型」这一强主张就不成立。目前三份材料都没有做这项交叉实验。
可迁移的部分不依赖任何一篇论文：先把失败按「流程顺序、运行态、能力归属、参考框架」四类归档，再选对应改造点；每项改造前后都记录同一组指标与完整成本，避免只报提升不报账单。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未说明的是联合改造实验、第三方复现、完整消融表与 AMP1 强基线的具体定义。