11 月 11 日提交的 arXiv 2611.14925 把工具调用评测从单条指令搬到一段对话里,论文由 Milad Gholami、Brendan King 与 Jeffrey Flanigan 三人署名。基准叫 ToolTurns,收 2,620 道题、1,827 个工具、11,004 个 API 端点,分属 47 个类别。每道题都从一个刻意写得信息不全的请求开始,后面接两轮依赖前文才能答的追问,同时考澄清、选工具和记住之前说过什么。
配套放出的开源用户模拟器负责把被扣住的条件在对话里一点点交出来,并按已说的内容生成追问。作者给模拟器加了一条 checker 与 fixer 流水线,先检出不合格的模拟轮次再改写,配对轮次评估显示这能减少检出的对话缺陷,盲测里人工也更偏好修订后的轮次。这两处结论测的是提问一方的质量,与被测智能体的能力并不在同一层。
九款语言模型跑下来,表现最好的智能体能解决 69.6% 的单条请求,完整对话完成率只有 39.8%。论文写明,在这套协议下每个被测模型追问轮次的成功率都低于初始请求,没有例外。另一处更影响榜单读法的是,按对话质量评分表排出来的名次,与按任务完成排出来的可以差得很远,两套分数并不指向同一种能力。
把 69.6% 与 39.8% 相减得到 29.8 个百分点,容易读成追问让智能体掉了近三成,两个数的分母却并不一样。前者按单条请求计,后者要求整段三轮全部做对,差值里既混着追问带来的新难度,也混着连续三轮不出错的累积概率,摘要没有把两者拆开。同理,checker 与 fixer 改善的是提问者,盲测偏好修订轮次说的是对话更自然,都不能直接折算成工具调用水平。
摘要没列的东西要逐项说清。九款模型的具体型号与各家分数没有写出,2,620 道题的采集来源、47 个类别的划分依据未交代,追问里被扣住的上下文按什么规则释放没有说明。checker 判定缺陷的标准、盲测的评分者人数与样本量也未给出。这套基准把多轮对话里的工具使用摆到台面上,外部复现所需的题目明细与模拟器参数,眼下仍要看全文和代码。