10 月 13 日提交 arXiv 的这篇论文(编号 2610.17757)把智能体评测里一个大家默认没问题、细想却全是窟窿的前提翻了出来:用户嘴里说出来的需求,从来就不等于把任务干完所需要的全部需求。论文分析了 100 条来自 SWE-chat 的真实用户-智能体轨迹,发现56% 的初始指令遗漏了后续才浮出水面的必要要求,而 52% 有用的补充需求本来可以从项目自身推断出来。用户按自己对任务的理解陈述需求,但完成任务这件事本身会提出另一些要求——智能体如果只对「说出口的」负责,交付物就会稳定地缺一块。

「说的需求」不等于「要的需求」:100 条真实轨迹里 56% 的初始指令漏掉了后续必需的要求两类需求的落差(SWE-chat 100 条轨迹)用户说出的需求(stated)按用户自己对任务的理解陈述起点:自然语言指令任务真正的需求(true)由「把任务完成」这件事本身施加其中 56% 的必要要求在初始指令里缺席52% 有用的补充需求本可从项目自身推断论文的主张:指令是证据,不是目标智能体该把指令当作一条线索结合环境去推断真正的需求满足那些用户还没意识到的要求这种能力论文命名为「结果对齐」outcome alignmentTiGanEval 让这种能力可测量的三个设计属性用户确实缺需求不是演出来的不完整每个任务都真缺一块需求环境内可发现藏在代码与运行行为里约束了过度推断推断与后补分开计智能体自己挖到的≠ 看到交付后才补的
图|两类需求的落差与基准的三属性。读图要点:可发现性约束了「推断」,否则智能体可以把任何需求都猜成必要的。

缺口不是意外,是结构性的

论文把这个缺口拆成两类需求。用户说出的需求建立在人对任务的理解上,天然带盲区:不知道代码里有历史约定,没意识到运行环境有隐含依赖,或者干脆没想起来上周改过的配置。而任务真正的需求由「把它完成」这件事施加,独立于用户的记忆与表达。两者的差不是态度问题,是信息问题——智能体恰好有机会接触用户接触不全的那些信息(代码、运行行为、仓库历史),却习惯性地把它们忽略,只当指令的复读机。

论文给「补上这一块」的能力起了个名字:结果对齐(outcome alignment)。核心主张只有一句话——把指令当作证据,而不是目标;从指令加环境里推断真正的需求,并且满足那些用户还没意识到的要求。

基准怎么把「推断」和「马后炮」分开

麻烦在于,这种能力直接测会漏成筛子:智能体大可以猜一堆需求,撞上算它的,撞不上也没损失。TiGanEval 的三个设计属性就是来堵这个口子的。其一,每个任务里用户确实缺一块需求,不是演出来的不完整;其二,每条被藏起来的需求都保证能从代码与运行行为中发现——推断有依据,不许瞎猜;其三,智能体自己推断出的需求,与用户看到交付物后才补充的需求分开计分——干得漂亮是你自己挖出来的,看到结果再补的不算。

同一批任务,两种开法:给全需求 vs 只给人话——差距就是「结果对齐」的缺口完整规格 → 部分指令给全需求:模型照单全做只给初始指令:成功率大降掉 53 - 67 个百分点八个前沿模型(含 GPT-5.6-Sol)无一例外论文判定:结果对齐广泛缺失论文试过的三条补救路后果反馈 ×4 次提交看到返工代价再改,缺口不收窄计划模式脚手架补不了模型本身缺的能力论文的定位下一代模型该练的能力清单 +1口径提醒:掉分是成功率之差,不是能力归零任务为软件工程 + 研究类为什么这把尺子比「听话率」更贴近生产行业此前的评测多在量指令遵循:用户说什么就做什么。真实项目里用户经常说不全,智能体若只对「说出口的」负责,交付物就会稳定地缺一块——而这一块原本藏在代码与运行行为里。对企业买家的含义:验收标准要从「听不听话」换成「交付物是否扛得住真实使用」
图|掉分与补救路。注意 53-67 分是成功率之差;「后果反馈」指提交后看到问题再改的四轮循环。

八个前沿模型,没有一个及格

论文评了八个前沿模型(论文点名的包括 GPT-5.6-Sol),结论相当一致:从「给全需求」退到「只给人话」,成功率掉 53 到 67 个百分点。更值得琢磨的是两条阴性结果:让智能体提交后看到返工的后果、连改四轮,缺口不收窄;套一层计划模式脚手架,也补不上模型本身缺的能力。论文据此把结果对齐列入「下一代模型该练的能力」清单。

这个定位比数字本身更有信息量。过去两年企业挑智能体,验收标准基本是「听不听话」;这篇论文说,听话和办成事之间隔着一道工程缝,而这道缝今天连尺子都才刚有。

放进赛道里看

它与现有基准生态是互补关系。SWE-bench 一家子量的是「需求给全之后完成得多好」,TiGanEval 量的是「需求给不全时能不能自己补上」;前者考执行,后者考判断。对做编码智能体与科研智能体的团队,这篇论文的启发是双面的:推理时 scaffold 救不了模型的能力缺口,但训练时「把环境当证据源」完全可以成为一条数据配方。

需要保留的怀疑

三条边界必须立清楚。任务范围集中在软件工程与研究类,「需求可从代码发现」是人工构造的前提——换成需求本身就模糊的业务场景(比如「把这份报告写好」),基准的约束不再成立,过度推断的风险会显现。八个模型覆盖的是前沿档,中档模型是否同样掉分、掉了能不能补,论文没有回答。基准与指标刚发布,独立复现尚未发生,「53-67 分」这个区间要等第三方验证。

目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。但对正在给企业交付智能体的团队,有个自检问题今天就能问:你们的验收用例里,有多少是「用户一次性说全」的?如果全是,那份用例集可能一直在考智能体的听话程度。