为什么需要跨域客服基准
现有工具增强型对话智能体基准普遍停留在单域（例如「订餐机器人」）或单轮问答，无法暴露「域跳转压力」。现实中一个金融客服智能体要在同一段对话里先问账户余额、再问信用卡优惠、最后申诉一笔争议交易——三个子任务各有不同的工具与知识需求，智能体必须一边记住对话历史、一边切换域推理。现有基准测不到这种压力，于是出现「测试 90 分、部署就出错」的落差。
T1-Bench 基于 Capital One 内部的 T1 工具对话数据集构建，把评估对象从「单点能力」拉到「跨业务域的真实客服复杂度」，可作为跨模型选型的复现基线与回归测试范本。
评测设计：25 域、76 工具、双智能体角色扮演
T1-Bench 的关键设计是「交叉场景（interleaved scenarios）」：把不同难度、不同域的子任务穿插进同一段多轮对话，测试智能体在语境切换时是否还能维持推理正确性。
| 设计维度 | 取值 | 说明 |
|---|---|---|
| 业务域数量 | 25 个 | 11 个单域 + 14 个多域 |
| 工具数量 | 76 个 | 跨域工具集 |
| 对话模板 | 525 段 | 多轮、工具增强 |
| 被测模型 | 12 个 | 6 开源权重 + 6 闭源 |
| 角色扮演 | UserAgent + AssistantAgent | 用户模拟器驱动，LLM 评委打分 |
| 记忆模块 | 对话历史 + 键值缓存 | 跨轮与跨会话复用工具输出 |
评测中用户与助手两个角色均由模型扮演：用户一方按「人设 + 画像 + 目标」生成话语，助手一方先做域分类、选域策略与工具集，再决定是否调用工具，并把结果存入记忆模块供后续复用。评委（同一开源权重模型，用于可复现）按 1 到 5 分李克特量规评估有用性与连贯性。
一段对话只有在「完全复现真值行为」时才算通过：要求完美的工具级召回、完美的参数级召回，以及所有工具输出的精确匹配。Pass@K 问 K=3 次尝试中是否有一次过线；Pass^K 问三次是否全部过线（一致性测试）。这条规则比评委打分严苛得多。
核心发现一：工具调用强 ≠ 任务收口
论文与公开分析给出的跨模型结果呈现一个反直觉的排序：工具调用准确率最高的模型，不一定是端到端把任务办成的模型。
| 模型（族） | 类型 | 工具调用准确率 | Pass@K | Pass^K | 备注 |
|---|---|---|---|---|---|
| Claude Opus 4.6 | 闭源 | 56.32%（全场最高） | 低于 Gemma4-31B-it | 低于 Gemma4-31B-it | 工具调用率最高，但收口非居首 |
| Gemma4-31B-it | 开源权重 | 未居首 | 61.33%（全场最高） | 41.14% | 端到端胜出，含开源模型 |
| GPT-5.4（主力） | 闭源 | 中段 | 中段 | 中段 | 非两头 |
| GPT-5.4-Nano | 闭源 | 区间底部 | 20.38%（全场最低） | 区间底部 | Pass@K 区间下限 |
| 其余 8 个模型 | 混合 | 区间分布 | 20.38%–61.33% 之间 | 相应分布 | 完整 12 模型明细见论文 Table 2 |
Pass@K 在 12 个模型间从顶部的 61.33% 一路下探到底部的 20.38%，跨度约 40 个百分点。也就是说，单看「工具调用准不准」会高估一批准确却收不了口的系统——它们调对了工具，却没把整段多轮任务走通。若只按评委打分选模型，会读错列：软性维度（有用性、连贯性）上全场几乎是清一色的近 5 分，几乎无法区分；真正拉开差距的是硬性的「精确复现」指标。
核心发现二：域一多就崩，11 域场景全员归零
更刺眼的是难度梯度。随着场景跨越的域增多，两个 Pass 指标在所有模型上急剧下滑，且底部并非渐近——而是直接触底。
| 业务域 | Pass^K（近似） | 工具数 | 说明 |
|---|---|---|---|
| Bar / Dessert（最易域） | 约 88% | 较少 | 顶部，接近可解 |
| Food and Dining（最难域） | 约 4% | 15 个 | 底部，近乎不可解 |
| 8 域 / 11 域场景 | 0%（全部 12 模型） | 跨多域 | 论文明确：所有模型两类 Pass 均记 0 |
论文报告：在 8 域与 11 域场景里，每一个模型（含前沿闭源系统）的两种 Pass 指标都记为 0——不是低，是零。全场平均 Pass@K 约 38.4%，且这个数字主要由简单的单域案例撑起；按域的明细表显示难度从「已解决」一路跑到「不可能」，而「不可能」那一端来得比任何营销叙事都快。
度量口径：为什么「精确复现轨迹」比「评委打分」更狠
T1-Bench 的通过条件要求精确复现真值轨迹：工具级召回为 1、参数级召回为 1、所有工具输出精确匹配为 1。这带来一个必须说清的局限——精确复现真值轨迹不等于任务成功。一个用不同但同样有效的工具调用序列解决客户问题的模型，得分也是 0，和无用输出的模型同分。
这是刻意的设计选择，使基准成为精确的「一致性探针」；但也意味着多域段的下塌部分度量的是组合路径匹配，而非纯粹能力。随着域叠加，可接受轨迹的数量爆炸，而基准仍只给单一真值路径记满分。选型时应把这一点纳入解读：0 分既可能是能力缺口，也可能是「走了另一条也对、只是不被记分」的路。
对企业选型的含义
- 别用单点工具调用榜选型客服智能体：T1-Bench 显示工具调用率最高与端到端收口最高并非同一模型，按「调得准」采购可能踩坑。
- 把「跨域一致性」当成硬指标：单域 demo 表现好，不代表多域真实对话能稳定收口；应在自有业务域上做回归测试。
- 开源权重有惊喜：Gemma4-31B-it 以开源之身在端到端收口上超过多个闭源前沿模型，成本与可控性上值得纳入评估。
- 难度梯度即风险地图：业务域工具数越多、跨域越深，失败概率陡增；落地时应先圈定低跨域场景，再逐步扩展。
局限与未披露项
- 精确复现有偏：有效但非真值路径的解法被记 0，多域归零部分度量组合路径匹配而非纯能力。
- 评委自洽未充分验证：人工评估样本量有限（公开摘要提及 60 段对话），具体相关系数未完整公开。
- 完整 12 模型明细以论文为准：本文表格仅列出公开分析明确给出的关键读数（Claude Opus 4.6 工具 56.32%、Gemma4-31B-it Pass@K 61.33%/Pass^K 41.14%、GPT-5.4-Nano 20.38%、均分 38.4%），其余模型区间分布以论文 Table 2 为准。
- 场景覆盖偏向客服域：结论对客服/销售类多域对话最具外推性，其他智能体形态需另行验证。