一句话：你给 agent 加新工具，旧本事可能先退化
arXiv 2609.04280 这篇 EVOHARNESSBENCH，提出了一个被主流评测长期忽略的问题：当 agent 的「harness」——也就是它可用的工具、可复用的技能、可调用的专家 agent 集合——不断演化时，已经会做的旧任务会不会反而变差？
论文作者来自 Salesforce Research 等机构（Zixuan Ke、Vaidehi Patil、Mohit Bansal、Shafiq Joty 等十二人），9 月初提交、9 月 10 日更新。他们造的基准把「会变」这件事，从任务流挪到了 harness 本身，从而暴露出一类叫「harness 诱发遗忘」的现象。
为什么是 harness，而不是任务流
既有的持续学习基准，通常把非平稳性放在「任务流」上：今天做这批题、明天换一批，但 agent 的工具箱保持不变。EVOHARNESSBENCH 反过来——任务流固定，变的是外部给的 harness。它用可验证基准确定性地构造出 17 条多阶段 harness 流，合计 802 个任务、520 个工具、42 项技能、62 个 agent，并沿工具、技能、agent 三个轴制造演化。
之所以这么设计，是因为现实里的 agent 平台恰恰是这样演化的：今天接一个新 MCP、明天挂一项新技能、后天并入一个专家 agent。评测如果只盯任务难度，就会漏掉「加能力反而坏事」这种工程现场最常见的问题。
三道持续的缺口
论文在两个互补设定下评估。其一是部署评估：harness 扩展时，此前已能完成的任务保留得怎样。其二是自演进适配评估：积累的经验在新能力引入后还有没有用。两者合起来，暴露出三道缺口。
缺口一，harness 扩展本身就会拖累已解任务——这就是「harness 诱发遗忘」，加新工具反而让旧任务准确率回落。缺口二，自演进适配带来的增益，跨阶段、跨能力轴、跨环境都不稳定，时灵时不灵。缺口三，保留与适配会朝相反方向拉扯：保住旧本事，未必提升对新能力的适配，反之亦然。
对工程意味着什么
这三道缺口共同把「harness 演化」立成了一个独立难题：我们要的 agent，既要跟得上不断进化的 harness，又要保住过去有效的那部分行为。这在今天的平台语境里非常具体——很多团队一边往 agent 上不停加工具，一边奇怪「为什么某条原来跑得好好的链路突然退化了」。
论文没有给出万能解，但它把问题量化出来，本身就是给工程团队的一记提醒：每次给 agent 加能力，最好配一套「回归测试」——确认旧任务没有被新 harness 拖垮。公开材料未披露更多主干模型上的复现范围，行业暂未披露更多，后续将持续跟进迭代动态。
它和同类研究的区别
和那些只比「最终准确率」的 agent 基准不同，EVOHARNESSBENCH 关心的是「演化过程中的稳定性」。它把持续学习文献里对任务流的关注，平移到了对 harness 的关注，因而更贴近生产环境的真实压力。对做 agent 平台的人，这篇值得当成一份「能力扩张时的验收清单」来读，而不只是一篇 benchmark 论文。