训练智能体有个不太体面的秘密：同一个批次里，往往一半以上的数据是哑巴。10 月 1 日提交 arXiv 的 RISED（编号 2610.00979，苹果与新加坡国立大学团队）讲的就是怎么把哑巴叫醒——用一套跨环境共享的评分量规，把「全对」和「全错」的组重新变成教材。
标量奖励的两重短
GRPO 这类组相对奖励的逻辑很直白：同一道题采样一组答案，有好有坏，方差才变成奖励。问题出在多环境联合训练里：不同环境学得快慢不一，同一个批次中，全成功和全失败的 rollout 组会大量共存——组内方差是零，奖励函数对着它们无话可说。论文实测，这类组合占掉了候选提示组的一半以上，等于每次更新都有大批数据白采。第二重短更隐蔽：标量奖励描述不了跨环境的关系——这个环境里采到的经验，对那个环境到底有没有用，一个数字说不出口。于是数据选择只能停留在环境级分配或者局部奖励信号上，看不见批次内部跨环境的勾连。
量规的三份工
RISED 的打法是让 LLM 裁判先给每条 rollout 贴标签：用的是一套预先定义、跨环境共享的量规词表，贴出来的行为画像既能横向比较，又不依赖具体任务的标量分。接下来这同一份标签打三份工。其一，选数据：按批次的整体行为构成挑提示组，同时避开和已选数据的重叠，把「选什么」从玄学变成可计算的配平。其二，当老师：正面量规（描述理想行为的那些词）作为特权上下文，喂给一个同策略的自蒸馏教师，提供 token 级的监督——全对的组虽然没方差，却有「对在哪」的细节可以蒸馏。其三，避坑：负面量规引导后续采样避开反复出现的失败模式，全错的组从此不是废纸，而是路标。
读数与它的分量
论文在 ALFWorld、WebShop、DBBench 三个环境上验的货：两个骨干下 RISED 都拿到最高均分，且每个单独环境都排进前两位。以 Qwen2.5-3B 为例，总体通过率 0.542，对照组 GRPO-64 是 0.484、GRPO-128 是 0.515——注意后者花了加倍的采样预算。论文还做了一步量规层面的行为分析，用标签分布解释模型到底变了哪些行为，而不只报一个总分。对做训练管线的人，这套「标签即基础设施」的思路比分数更值得抄：它把奖励从一道算术题变成了一份可审计的档案。
放进赛道里看
把 RISED 放回站内的训练叙事线，它能接的头比看上去多。最漂亮的一根接 1929 的 Labelbox：那边用量规给智能体打考绩、不达标返工，是量规的治理面；这边用量规选数据、当蒸馏教师，是量规的训练面——同一套语言，正在从评测工具变成训练基础设施。往深一层，1919 的 LoongSage 解决的是训练-推理一致性的工程账，1918 的 XferAgent 解决经验跨智能体转移，RISED 补的是更上游的一环：多环境联合训练时，哪些数据值得占显卡。它和 1840 的 MASS 也算同科不同属：MASS 让模型自己当裁判做自我改进，RISED 让量规当裁判做数据治理，共同指向「标量奖励不够用了」这个行业共识。
需要保留的怀疑
几个问号要挂在结论上。量规词表谁来说了算——跨环境共享意味着它必须足够抽象，可抽象过头就会失真，而词表本身的设计过程论文着墨有限。LLM 裁判的噪声会直接污染选数据与蒸馏两条链路，裁判错了，三份工全歪。实验基座是 Qwen2.5-3B 这个量级，放到前沿骨干上增益是否还在，论文没给答案。自蒸馏教师与额外采样都有成本，「省下的方差」和「多出的算力」之间那笔账，摘要层面算不清。三个环境也偏经典，长程、多工具的真实工作流里量规还好不好使，得等后人验。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。给正在攒训练管线的团队一条动作：下次复盘时把「白采的数据」单独拉个表——统计一下你的批次里有多少组是全对或全错。如果这个数字高得吓人，该补的不是采样量，是一个会说话的奖励信号。