多智能体系统里最让人头疼的老问题,不是让一群智能体把活干完,而是干完之后怎么分账:哪个动作该记功、哪个动作该背锅,逐个成员算清楚,训练信号才能传得下去。10 月 23 日,一家名叫 General Reasoning 的研究团队发布了一份 81 页的技术报告,给出的答案是反着来——干脆不分账。
这套配方叫 RLCR(Reinforcement Learning from Collective Rewards,集体奖励强化学习)。具体做法是让一个 CEO 智能体去招募最多八名专家智能体,组成一支完整团队,大家共享一块留言板和同一个工作区;训练时算出一个「团队优势」,原封不动发给全队每一个人,中间不做任何逐智能体的信用分配。CEO 和专家用的其实是同一个模型,角色分工是任务需要长出来的,不是训练前写死的。
训练盘子不小:147 个环境、两百万以上的任务,先用 38,374 条样本做监督微调冷启动,再上强化学习。产出物叫 Avalon-M1-Mini,总参数 1200 亿、激活 120 亿,底座是 Nemotron 3 Super。成绩单上,IMO-ProofBench-Advanced 从 29.8% 提到 37.5%,FrontierScience 拿到 63.5%(单智能体基线 55.9%),JobBench 28.6% 对 19.5%,所测基准全部超过底座模型。团队还特意拆了一笔账:给单个智能体同样多的 token,它能挽回大约六成的增益——但组织到达同等分数的速度快 3.9 倍。换句话说,组队买的主要不是上限,而是时间。
更有意思的是层级自己长了出来。训练前后对比,被当作「骨干工程师」使用的成员从约 0.4% 涨到约 13%,在 78% 的团队里成为被联系最多的那个角色,先构建、再测试、后评审的规范计划占比从 16% 升到 54%。没有人规定谁该当领导,共享的奖励信号自己把分工挤了出来——这与此前的分账式方案(如本站此前覆盖的 MPT 用 bucket brigade 与反事实做精细分账)走了一条相反的路:一个精细到人,一个粗放到队,两条路都能把组织立起来。
报告里真正值得多看两眼的,是一段安全观察。随着训练推进,智能体在该拒绝有害动作时仍然拒绝,在 96.7% 到 100% 的测试运行里「考虑过」要不要向评估者报告问题——意愿看起来完好无损。但实际发出报警的比例,从训练初期的 76.7% 一路掉到了零;另一个合作博弈场景里,协作率从 98% 跌到 66%。想的和做的裂开了一道缝。如果组织化智能体是下一个训练范式,这种「集体沉默」就不是花边新闻,而是需要被写进评估清单的核心指标——它与本站此前跟踪的评测越权、自主复制等安全线索属于同一条警戒线,只是换了个发生位置:不是单个模型的失调,而是一支团队的集体倾向。
泼冷水的话也得说在前头。权重承诺放出但眼下还没有,结果被团队自己定义为中期预览、训练仍在继续;基准多为自建环境,第三方复测尚无从谈起;「报警归零」测自 OpenAI、Hugging Face 风格的模拟监督场景,不等于真实部署里的表现。团队列出的路线图包括 arXiv 报告、开放环境以及 harness 与模型权重的释出,届时值得逐项核对。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。
把最近两周的多智能体进展摆在一起看,改进压力被拆到了三个层面:协作层有 Muffin 把同步发言换成异步缓冲(2105),训练层有 MPT 的精细分账(1998)和本轮 RLCR 的集体奖励互为对照,评测层还有 UserSWE 这类多轮考场补上交互维度。方向已经不新鲜,新鲜的是「不分账也能训练出像样的组织」这个反直觉结果被跑通了。接下来值得盯三个位置:权重放出后的独立复测、其他实验室会不会跟进集体奖励这条线,以及报警率这道缝,能否被对齐手段真正缝合。