自我改进的智能体有条隐蔽的缝:论文里测的,是「策略模型和它训练时配对的那个技能库」的交付状态;线上跑的,是另一幅画面——技能被运营天天改,模型却几个星期才重训一次。arXiv 2610.20845(10 月 14 日提交,八位作者)把这道缝做成了可量化的对象:论文提出 CODA(共进化漂移审计)协议,模拟技能漂移之后重新考试,结论刺人——四种共进化方法、五个基准,最坏情况成功率比各自的峰值低 5 到 13 个百分点,相对无技能基线的增益被抹掉 52% 到 93%。
理论上说,脆弱不是偶然
论文先给了理论解释:这类共进化方法共用的「合作接受」规则,把策略的能力绑死在它共演化时用的那个技能库上——技能与策略在训练里互相成就,也互相锁定。于是技能一漂移,策略就脆,而且这种敏感性随着共进化训练推进还会增长:练得越久,锁得越死。这解释了为什么问题不是某个实现的偶然缺陷,而是这一类方法的共有结构——换一个代码库重写,裂缝还在。
CODA 怎么考
协议本身是部署导向的:既然线上技能库一直在动,考试就该在「动完之后」进行。CODA 模拟技能漂移,并引入两个新指标。一个叫一致性率:对技能做意义保持的编辑(改写措辞、不动语义),看策略还认不认得这些技能——考的是鲁棒性。另一个叫抵抗率:把技能故意写坏,看策略会不会跟着跑偏——考的是防污染。两个指标加上原有的最坏情况成功率,「技能库治理」就从运营话题变成了可验收的工程指标。
为什么这事现在重要
技能库正在被整个行业当成资产运营。站点 1877 拆过技能拷贝的影子供应链:219 万次采纳里,少数仓库是几乎全部拷贝的源头,源头修掉的安全问题很少传到下游。厂商侧,把「团队经验装进共享技能库」当卖点的做法这周又添一款(见本期 2010 的 Tetriz);RapidCanvas 在 1990 里宣传其技能库能让每个新方案拿到六成头程(厂商口径)。资产越是被频繁打理——新增、改写、下线——漂移暴露面就越大。CODA 给出的量级提醒得很直白:这种打理不是免费的,每一次编辑都在悄悄重考策略模型。
局限
模拟漂移不等于真实运维漂移:论文没有拿线上系统的真实变更流水做实验,「5 到 13 分」是协议内的读数,不是现场记录。它也只覆盖共进化这一类方法,对「人工静态维护技能库」的常规做法没有发言权。能给实践者的建议很具体:验收单上加一行——「技能库改动之后,回归跑不跑」。论文尚在审稿阶段,目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。