扁平追加序列留下了什么
2026 年 11 月 3 日，Tianming Sha、Junnan Li、Siqi Zhao 三人向 arXiv 提交《Octopus: One Brain, Many Branches for Latent-KV Multi-Agent Reinforcement Learning》（arXiv:2611.06956），11 月 6 日修订为 v2，19 页、12 图、7 表，归类 cs.LG 与 cs.CL。论文开篇把矛头指向一个很少被单独拎出来的表示层假设：深度搜索与长程推理天然是分叉的轨迹——并行子查询、放弃死路、交叉核对兄弟发现——但现有 serving 引擎、harness 与 RL 训练器都把 episode 当成扁平、只能追加的序列（来源：arXiv 2611.06956v2 摘要页全文）。
论文列了三条由此而来的代价：把上下文窗口一味拉长，失败的岔路仍留在窗口里稀释注意力；原地编辑会破坏 KV 缓存与循环状态；把所有层的缓存直接拼接，则会覆盖混合架构里的循环工作记忆并触发劫持。这里的「劫持」指分支被兄弟分支的内容带偏，后文给出的量化读数是 57.9%→2.7%。
| 现有表示 | 论文指出的具体代价 | Octopus 的替代 | 公开材料是否给出量化 |
|---|---|---|---|
| 单一追加轨迹 | 失败岔路留在窗口内稀释注意力 | 轨迹以有向无环图组织，可回退到检查点 | 未单列注意力稀释指标 |
| 原地编辑上下文 | 破坏 KV 缓存与循环状态 | 分支作为共享页上的游标视图，不改写父前缀 | 89.6% KV 命中率 |
| 兄弟发现转写为文字摘要 | 需重新预填充，跨分支依赖被压平或丢弃 | 零拷贝挂载兄弟 KV 页 | 92.2% 信息保留 |
| 全层缓存拼接 | 覆盖循环工作记忆并触发劫持 | 只挂进全注意力层，循环层跳过挂载跨度 | 57.9% → 2.7% |
本站此前解构的四层上下文工程（R-TECH-60）处理的是进入窗口的 token 量与离开窗口的结论；Octopus 处理的是分支之间以什么物理形式共享状态。前者做减法，后者换表示。把两者都归进「省 token」会抹掉一个关键区别：挂载 KV 页省的是重新预填充，不是把信息压缩掉。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未说明的是单个 episode 允许的分支上限、图规模增大后的显存占用曲线，以及非混合注意力架构上是否需要同样处理。
五个原语：把分支做成游标视图
Octopus 是自洽设计的三件套：serving 运行时、记忆管理器与 RL 框架。执行时，episode 被表示成一张驻留在 GPU 上的有向无环图，节点是 radix cursor；论文报告这套结构带来 89.6% 的 KV 命中率（来源：arXiv 2611.06956v2 摘要页）。在此之上，智能体通过五个原语协调。
| 原语 | 动作 | 论文写明的约束 | 解决的是哪一段 |
|---|---|---|---|
| fork | 从父分支派生新支 | 共享父 KV 前缀，O(1) 开销；每支 32K 隔离预算 | 并行探索时的前缀重复 |
| rewind | 回退到既有检查点 | 恢复循环层检查点 | 死路分支与状态回滚 |
| read_thread | 读取兄弟分支结果 | 零拷贝挂载兄弟 KV 页 | 发现传递不再转写为文本 |
| wait | 等待其他分支 | 同步依赖 | 跨分支时序 |
| done | 结束并汇总 | 同步结果 | episode 终止 |
值得注意的是 fork 的 32K 隔离预算与摘要里同时出现的 143K GRPO 基线。按最小口径折算，143K 约等于 4.47 个 32K 分支预算（143 ÷ 32 ≈ 4.47，原创换算）。但这两者不是同一种资源记账：一个是单条长轨迹的上下文长度，一个是并行分支各自的隔离额度，共享父前缀后物理显存并不按分支数线性增长。把 4.47 读成「能开四个半分支」是错的。
fork 与 read_thread 作用在推理引擎的缓存层，调用方模型看不见 KV 页；它们不是提示词里的一条规则，也不是 MCP 工具列表里的一项。这也意味着这套机制的可迁移前提是能改 serving 运行时，与本站解构过的 HEELO 原语库（R-TECH-61）处在完全不同的接入位置：后者通过 MCP server 把动作暴露给外部智能体，前者要求智能体与运行时共用一套缓存管理。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是五原语的具体 API 形态、并发分支的调度策略，以及 wait 与 done 在超时或分支失败时的语义。
只挂全注意力层：92.2% 与 2.7% 各是谁的分母
论文把「兄弟分支怎么读」拆得很细：只把兄弟分支末端的 KV 页拼进全注意力层，并使用单调位置偏移；Gated DeltaNet、Mamba-2 这类线性循环层则直接跳过被挂载的跨度。理由是混合架构里循环状态承载的是本分支的工作记忆，把外来片段写进去会覆盖它（来源：arXiv 2611.06956v2 摘要页与 devfeed.tech 对论文的转述）。
| 读数 | 数值 | 分母 / 对照 | 该怎么读 |
|---|---|---|---|
| KV 命中率 | 89.6% | radius cursor 图上的缓存查找 | 未命中约 10.4%，属命中率而非准确率 |
| 信息保留 | 92.2% | 相对全文本答案信息 | 保留比例，不是任务得分 |
| 跨分支劫持 | 57.9% → 2.7% | 挂载前后的 off-task hijacking 发生率 | 相差 55.2 个百分点，相对约 21.4 倍 |
| 新增 KV 页 | 0 | 挂载动作本身 | 零拷贝，不等于总显存不增 |
| KL 散度下降 | 32 倍 | rollout 与训练之间的 KL | 训练稳定性指标，非成功率 |
四个百分比放在一张表里最容易犯的错，是把 92.2% 与 2.7% 相减或相加。前者量的是信息保留程度，后者量的是被带偏的发生率，两者既不是同一批样本，也不是同一个判据。57.9 ÷ 2.7 ≈ 21.44，与论文写的「降 21 倍」自洽（原创换算）；2.7 ÷ 57.9 ≈ 4.66%，即残留约为原发生率的二十一分之一。这条算式只在劫持率这一列内部成立。
arXiv v2 摘要写的是「保留 92.2% 的全文本答案信息」，devfeed.tech 的转述写成「保留 92.2% 的全文本互信息」。二者指向同一数字但术语不同，公开摘要未给出该指标的计算定义。本文按 arXiv 原文措辞记录，并把转述差异并列保留，不替论文补全定义。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未说明的是 89.6% 命中率的统计范围、92.2% 信息保留的度量方法，以及劫持判定是否有人复核。
DAG-GRPO：分支信用怎么分
运行时之外，论文还改了训练目标。打包的 DAG kernel 与 DAG-GRPO 目标做两件事：用损失掩码去掉共享前缀的重复计算，同时保持被挂载的 KV 边可微，让 reader 分支的梯度能回传到 producer 分支的 KV 投影上；分支信用则用「留一支出去」的边际奖励来分配（来源：arXiv 2611.06956v2 摘要页）。论文报告这套做法把 rollout 与训练之间的 KL 散度降了 32 倍。
这里的关键不是 KL 数字本身，而是它把共享前缀从「重复的样本」改成了「一张图上的公共边」。在传统做法里，多智能体各跑一条完整轨迹，公共前缀被重复前向、重复计入梯度；打包成 DAG 后，公共边只算一次，分支各自的贡献靠边际奖励区分。这也是论文强调「留一支出去」的原因：不反事实地抽掉某一支，就无法知道这一支是否真的带来了收益。
| 环节 | 传统多智能体 RL | Octopus 的处理 | 公开材料给出的读数 |
|---|---|---|---|
| 前缀 | 各分支复制一份 KV | 共享物理页，O(1) 游标视图 | 89.6% KV 命中率 |
| 通信 | 重预填充文字摘要 | 零拷贝挂载兄弟 KV 页 | 92.2% 信息保留 |
| 梯度 | 公共前缀重复计入 | 损失掩码去重，挂载边保持可微 | 未单列梯度规模缩减 |
| 信用 | 按整条轨迹给奖励 | 留一支出去的边际奖励 | 未给分支级奖励分布 |
| 稳定性 | rollout 与训练分布易偏 | 打包 DAG-GRPO | KL 散度降 32 倍 |
把 32 倍与 21 倍并列时也要小心：前者是训练过程中的分布偏差指标，后者是行为层面的劫持率变化，二者并非同一实验的上下游读数，不能相乘成一个「整体改善 672 倍」之类的合成值（原创口径辨析）。
49.6% 的三个基线与「250 倍更大」
训练配置是 Qwen3.5-4B 配二元奖励、稀疏 BM25 语料。论文说模型在训练中自组织出 commander-worker 层级与潜在 KV mesh——这是行为描述，不是预先写死的角色模板（来源：arXiv 2611.06956v2 摘要页）。结果部分给出一组可核对的对照。
| 系统 / 基线 | BrowseComp-Plus 准确率 | 与 49.6% 的差 | 口径说明 |
|---|---|---|---|
| 32K ReAct | 26.0% | 23.6 个百分点 | 短上下文单轨迹基线 |
| 143K GRPO | 32.1% | 17.5 个百分点 | 论文标注 +17.5 pts 所对的基线 |
| 9B context-editing RL | 42.5% | 7.1 个百分点 | 更大模型的上下文编辑路线 |
| Tongyi-DeepResearch | 44.5% | 5.1 个百分点 | 稠密检索智能体 |
| o3 | 49.3% | 0.3 个百分点 | 论文写「匹配」 |
| Octopus | 49.6% | — | Qwen3.5-4B 稀疏 BM25 |
| Claude 4 Opus | 36.8% | 12.8 个百分点 | 稠密检索智能体 |
| GPT-4.1 | 36.4% | 13.2 个百分点 | 稠密检索智能体 |
| Kimi-K2 | 35.4% | 14.2 个百分点 | 稠密检索智能体 |
| DeepSeek-R1 | 16.4% | 33.2 个百分点 | 稠密检索智能体 |
论文写「+17.5 pts」，对应的正是 143K GRPO 的 32.1%（49.6 − 32.1 = 17.5，自洽）；若改以 32K ReAct 的 26.0% 为基线，差值变成 23.6 个百分点（原创换算）。两条都对，但不能在同一句话里替换使用。另一个对照是 OpenResearcher 上的 51.2%，与 49.6% 相差 1.6 个百分点——这是两个不同任务集的成绩，连相减都不成立，本文把它列在这里只作为不可合成的反例。
摘要说 Octopus「优于最大达 250 倍规模的稠密检索智能体」。250 倍量的是模型规模，不是分数；实际成绩差在上表里从 0.3 到 33.2 个百分点不等，且各系统使用的检索配置不同。把「250×」读成「效果强 250 倍」是对这句话最常见的误读。同理，devfeed.tech 转述里出现的 3.3 倍训练吞吐与 2.8 倍峰值 KV 显存下降、以及「比文本摘要多智能体 RL 高 12.5 分」，在 arXiv v2 摘要正文中并未逐条列出，本文按第三方转述口径并列保留，不与官方摘要数字合并。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是每个系统的运行成本、BrowseComp-Plus 的题目构成与抽样次数，以及 49.6% 是否在多次重复上取均值。
六组原创换算与它们各自的分母
以下六组数字均由本文依据公开读数推算，论文摘要未直接给出。每组标明分母，避免把不同口径的量拼在一起。
| 换算 | 依据 | 结果 | 分母与边界 |
|---|---|---|---|
| 两条增益差值 | 49.6−32.1 与 49.6−26.0 | 17.5 与 23.6 个百分点 | 同一终点、两条不同基线 |
| 劫持残留比例 | 2.7 ÷ 57.9 | 约 4.66% | 仅劫持率这一列内部成立 |
| 劫持相对降幅 | 57.9 ÷ 2.7 | 约 21.44 倍 | 与论文「21 倍」自洽 |
| 上下文预算折算 | 143 ÷ 32 | 约 4.47 | 单轨迹长度与分支额度，不可读成分支数 |
| 命中率缺口 | 100 − 89.6 | 10.4% | 缓存查找口径，非任务失败率 |
| 篇幅密度 | 12 图、7 表 ÷ 19 页 | 每页约 0.63 图、0.37 表 | 篇幅结构，非实验密度 |
六组里只有前两组与第四组指向实际读数，其余是结构性折算。把 4.47 与 21.44 相乘、或把 10.4% 与 2.7% 相加，都缺少共同分母。这也是本文对「读一组新论文」的主要增量：先锁定每条数字属于哪张表，再谈合成。
可迁移边界与选型顺序
把这篇材料当作工程清单时，可迁移的是三条机制，不是那组分数：一是把分支做成共享前缀的游标视图而非完整复制；二是让跨分支传递绕过文本重预填充；三是训练时用边际奖励区分分支贡献。三条都要求能改推理运行时与训练器，对只调用托管 API 的团队并不直接可用。
| 失败表现 | 优先检查的层 | 可先做的小规模试验 | 不宜直接套用的结论 |
|---|---|---|---|
| 并行分支显存随数量线性上涨 | 缓存共享与前缀去重 | 统计公共前缀占比与重复前向次数 | 89.6% 命中率不可直接外推 |
| 分支读到兄弟结果后被带偏 | 信息挂载层与位置偏移 | 记录外来片段注入前后的任务偏离率 | 57.9%→2.7% 依赖特定混合架构 |
| 多智能体训练奖励难分派 | 信用分配 | 留一支出去的边际奖励 A/B | 32 倍 KL 下降是训练稳定性指标 |
| 只是上下文太长、成本偏高 | 上下文工程而非缓存图 | 文件外置、输出预算、独立验证 | 不要把两类改造叠加成一份收益 |
与同周相邻路线并列看更清楚：本站解构的 HEELO（R-TECH-61）把使用能力绑进资源本身，改动对象是库单元；HarnessFlow（arXiv:2611.06254，见 R-BENCH-58）用搜索改写整套执行程序，改动对象是流程代码；Octopus 改的是推理时的状态表示与训练时的梯度拓扑。三者都在执行层，但互不叠加，也没有共同的成绩单。
可证伪边界与未披露项
以下几处应保留怀疑，尤其是把 49.6% 当作选型依据时：
- 预印本自报：三人署名、19 页，未见第三方复现，也未见在其他稀疏检索语料上的重复实验。
- 缺成本明细：摘要给了 KV 命中率与信息保留，未给单任务美元成本、 GPU 小时与分支数增加后的显存曲线。
- 架构绑定：只挂全注意力层、循环层跳过的设计明确针对 Gated DeltaNet 与 Mamba-2 这类混合架构，纯全注意力模型上是否仍有同等收益未说明。
- 基线配置差异：对照系统使用稠密检索，Octopus 使用稀疏 BM25，检索配置不同使横向分数差不能单独归因于多智能体结构。
- 劫持判定未公开：57.9% 与 2.7% 的判据、是否人工复核、样本量与任务分布均未见说明。
- 转述口径冲突：第三方转述的 3.3 倍吞吐、2.8 倍显存、+12.5 分与官方 v2 摘要的条目不完全对应，需等全文表格或代码公开后再核对。
一条可证伪的检验路径是：保持 DAG 结构与分支数不变，只把 read_thread 从 KV 挂载换回等信息的文本摘要，若 49.6% 大体不变，则增益主要来自并行探索而非潜在空间通信；若明显回落，才说明挂载机制本身起作用。论文目前未给出这组消融，本文把它列为待验证项而非结论。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未说明的是完整消融表、多 seed 重复结果、分支上限、非混合架构适配与独立第三方复现。