多智能体系统有个没人拍板的老问题:活怎么分、功劳怎么算。现有两条路都留着缺口——训练时把编排结构焊死,个体能力与集体组织分开学,学完的组织不会随任务变;推理时的协调策略(轮流、消息总线、智能体图)全是手工设计,调参靠感觉。10 月 15 日提交 arXiv 的《Learning Self-Orchestration in Decentralized Agent Swarms》(编号 2610.22322)把这两件事拧到一起:让每个智能体自己「出价」,出价既决定这一轮谁上手,也决定集体收益怎么分成每个人的学习信用。

论文五位作者均属哈佛大学:Guowei Xu 与 Zhenting Qi(共同一作)、Amani Kiruga、Himabindu Lakkaraju、Yilun Du;主类别是 cs.MA,代码与训练模型已开源在 GitHub 的 Embodied-Minds-Lab/MPT。框架名叫 MPT,market-based post-training——市场化后训练。

一个回合里,出价干了三件事决定行动权每个智能体同时输出行动与出价,价高者上手平分随机,全零跳过决定信用分配v_t = r_t + b_t+1 乘 v_t+1行动者自留 1 减 b_t其余让渡给前序伙伴决定训练信号有争议回合做反事实重采样胜分支当偏好样本Bradley-Terry 目标训出价训练节奏:4 步行动训练 + 1 步出价训练交替,两类行为共用同一套参数;每个智能体只用自己上手的回合更新,配 REINFORCE 与 per-agent mean baseline血统:bucket brigade(Holland 1995;Baum 1999)——下游为上游付钱的古老机制,换到智能体集群身上;论文 arXiv 2610.22322,10 月 15 日提交,哈佛大学五位作者,代码与模型开源:Embodied-Minds-Lab/MPT
图|三卡是出价的三重身份。读图要点:出价越高上场机会越大,但要把更多收益让给前面的伙伴——这就是分工与信用被拧在一起的原因。

出价的三重身份

设定是回合制任务,N 个参数独立的智能体,每个智能体每一步同时输出行动和出价,价高者获得行动权,平分随机,全零则跳过。真正有意思的是出价被同时用来分配学习信用:第 t 回合的累积价值按 v_t = r_t + b_t+1 乘 v_t+1 向前传,行动者自留 1 减 b_t 的比例。翻译成人话:出价越高,上场机会越大,但要让渡更多收益给前面的伙伴——谁给下游创造了价值,谁就该从下游的收益里分账。这正是经典的 bucket brigade 机制(Holland 1995;Baum 1999)换了个身体。

行动策略用 REINFORCE 加 per-agent mean baseline 更新,每个智能体只在自己上手的回合学。出价行为另有练法:论文定义「有争议回合」——亚军出了非零价;从该回合恢复环境状态,给胜者重新采样至多三次出价直到低于亚军,让亚军也能行动;两条分支用有争议回合之后的环境奖励总和打分,高分当偏好样本、低分当拒绝样本,用 Bradley-Terry 目标训练出价。训练节奏是 4 步行动训练加 1 步出价训练交替,两类行为共用同一套参数。

学出价,也学行动留出集主结果(3 次运行均值)具身合成41.5 对 20.3机器人导航1.23 对 0.52深度研究21.0% 对 9.0%蓝色为 MPT,对照为算力匹配的单体后训练消融四档(铁镐任务)都初始15.4只学出价21.5只学行动27.2两类都学:41.5,为初始配置的 2.69 倍固定已训练行动策略,再比协调方式(32 seeds):round-robin 23.8、AgentNet 20.9、表现最好的 Graph-of-Agents 25.4,MPT 41.5,相对高 63.4%分工是学出来的:Logger 80%→45%、Miner 10%→40%、Smith 10%→15%;种群 3→12 时各子任务 pass@3 全涨,
图|左栏是三项任务的主结果,中栏消融说明两类学习缺一不可,右栏是与固定行动策略下其他协调方式的对比。读图要点:41.5 对 25.4 的差距来自出价可变,不是角色更多。

三个考场,一张成绩单

评测覆盖三类任务,每类都是三个角色一队。具身合成在 Minecraft MineStudio 里从空库存合成铁镐,3 个 Qwen3-VL-4B-Instruct 分饰 Logger、Miner、Smith,底层用冻结的 STEVE-1 控制器执行,每回合 120 个决策,12 类科技树事件分阶段奖励、上限 140。机器人导航是 VLN-CE R2R in Habitat,3 个 NaVILA-8B 分饰 Turner、Mover、Stopper,8 帧自我中心观测窗口,最多 64 个决策。深度研究用 3 个 gemma-4-E2B-it 分饰 Searcher、Opener、Finder,共享交互历史,二元终局奖励由 qwen3.5-flash 判分。基线是算力匹配的单体 REINFORCE——不是精心调过的编排系统。

留出集上(每实例 3 次运行取均值):具身合成 MPT 41.5 对单体 20.3,导航 1.23 对 0.52,深度研究 21.0% 对 9.0%。更说明问题的对比在固定已训练行动策略之后:轮流 23.8、AgentNet 20.9、表现最好的 Graph-of-Agents 25.4,MPT 41.5,相对高 63.4%——同样的脑子,差别全在「谁上场」是学的还是定的。消融四档更直白:都初始 15.4、只学出价 21.5、只学行动 27.2、两类都学 41.5,是初始配置的 2.69 倍。还有一档对照:把出价只用来选人、信用分配改成随机数,成绩约 31——学到的出价同时还是更好的分账信号。

分工是学出来的

铁镐任务上,训练第 120 决策步处的参与度变了:Logger 从约 80% 降到 45%,Miner 从 10% 升到 40%,Smith 从 10% 微升到 15%——没有人规定谁该多干,集群自己把权重挪了位置。往下还有两组读数:迁到新目标(火把、石砖)约 10 的 18 次方适应 FLOPs 就达到 35 和 38,单体只有 17 和 19;推理时把种群从 3 复制扩到 12,五个子任务 pass@3 全面提升(木镐约 78% 到 97%、石镐约 69% 到 94%、熔炉约 66% 到 91%);极端 dropout 概率 0.9 下,12 智能体群仍维持约 33 的回合奖励,3 智能体群只剩约 19——去中心化没有中央单点,冗余直接兑换成韧性。

放进台谱里看

站点 1781 讲过竞价式多智能体任务分配:那篇的出价在推理时用于派单——子智能体报成本、时延、置信度,调度器按综合得分派活;MPT 的出价在训练时用于分功劳。同一个价格信号,两种用法,隔着一条「推理时调度」与「训练时信用分配」的线,值得对照读。再往上游:1349 的 SAT 从 15 道题里学出可迁移的协作剧本,1970 的 ScaleMAS 论证把协调搬进共享消息库比拉群更抗规模化,1939 的 GitSwarm 把共享介质做成 git 仓库。共同母题是协调本身该被显式建模,MPT 的增量在于让协调随训练共同演化,且不需要中央协调者。

几盆该浇的冷水

三个任务都只有 3 个角色、基座不大(4B、8B 与 E2B 级),「去中心化」的代价——通信量、同步开销、信用估计的方差——论文没有单独计价;反事实重采样至多三次,争议更密的场景怎么办没有答案;bucket brigade 家族的老问题(冷启动、共谋空间)论文没有讨论;20% 上下的绝对成绩也提醒我们,这套机制目前赢在相对增幅,不在绝对水平。

给做多智能体训练团队一个便宜的先验:先固定行动策略,只训出价,看 21.5 到 41.5 的台阶是否在自己的任务上复现——复现了,再考虑把出价接进生产编排。