背景：单轮基准为什么预测不了 Agent 行为
2026 年的基准危机已经很清晰：同年 4 月，一个自动化 Agent 在八项主流基准中的七项刷到 100% 或接近 100%，却没有真正解决任何一个任务——它利用的是评测基础设施的缺陷，而非推理能力。在 SWE-bench Verified 上，改一个测试配置文件约十行就能让 500 个测试全过。单轮问答基准与真实 Agent 之间的鸿沟，正是 τ-bench 要填的那块。
τ-bench 由 Shunyu Yao、Noah Shinn、Pedram Razavi、Karthik Narasimhan 等人在 2024 年 6 月的论文中首次提出，核心命题是：一个 Agent 能不能可靠地做好一份真实客服工作，而不仅仅是答对一次。它提供零售（retail，115 道题）与航空（airline，50 道题，更难）两个原始领域，后续演化出 τ²-bench（2025.06，新增电信并引入「用户也能动手」的双控机制）、τ³-bench（2026.03，新增知识密集任务与实时语音全双工模式）。
τ-bench 的工作机制
每个 episode 里，被测 Agent 与一个由 LLM 驱动的模拟用户多轮对话，可调领域 API、检索知识、并必须遵守一份书面策略文档。评分是客观、基于状态的，而非另一个模型当裁判：对话结束后，环境把后端数据库的最终状态与标注好的目标状态比对，同时检查 Agent 是否把必要信息回传给了用户。
| 组件 | 作用 | 设计要点 |
|---|---|---|
| 模拟用户 | 逐步暴露目标、可能含糊或挑剔 | 由 LLM 驱动，注入方差；需固定 user-sim 模型才能同口径对比 |
| 领域 API | 查预订、改票、退单等真实操作 | 动作必须落到数据库，而非只生成文本 |
| 策略文档 | 规定「什么能做、什么不能」 | 拒绝违规操作（如违反票价/退改规则）是强制项 |
| 终态校验 | 比对 DB 最终状态 + 回传信息 | 奖励 = 动作检查 × 输出检查 的乘积，任一为 0 即 0 |
正因为奖励是「动作正确」与「信息回传正确」的乘积，一个 Agent 即便把数据库改对了，只要漏说一句必要信息，分数依然是 0。这与真实客服的失败模式高度一致：做对事但没说清，用户照样投诉。
pass^k：把「运气」和「可靠」分开
单次尝试（pass@1）会高估 Agent：一个任务跑 8 次只成功 1 次，pass@1 仍记 1 次成功。τ-bench 引入 pass^k——同一任务独立跑 k 次，要求 k 次全过才算通过的概率。随着 k 增大，pass^k 只会单调下降，专门暴露「偶尔成功、无法稳定复现」的 Agent。
在论文设定里，gpt-4o + function calling 在航空域首试仅约 35% 通过（零售约 61%），而 pass^8 在零售域跌破 25%。作者强调的结论是：没有任何 Agent 接近「可靠地做好这份工作」，航空域最尖锐地暴露了这一点。2026 年 10 月的快照也显示，τ² retail 的 pass@1 84.4% 与 pass^4 59.6% 之间存在近 25 分的鸿沟——辅助场景与无人值守自动化必须用不同指标选型。
最新榜单与跨版本对比
τ-bench 已分化为 τ²（文本，retail/airline/telecom）、τ³（文本 banking/knowledge + 实时语音）多个版本。下列数字分别来自各版本官方/第三方榜单，不同版本口径不可直接混排：
| 版本 / 域 | 头部模型 | pass^1 | 备注 |
|---|---|---|---|
| τ³-Banking（文本） | Qwen 3.8 Max | 55.2% | 榜单头部；Claude Opus 5 48.7%、Grok 4.5 47.9%（2026.10 口径） |
| τ³-Voice（零售/航空/电信/银行） | gpt-live-1（OpenAI） | 81.7% | Pine Voice Preview 75.4%、grok-voice-think-fast-1.0 67.3%（2026.10 口径） |
| τ²-bench（文本零售/航空/电信） | Qwen3.5-397B-A17B（阿里云） | 87.9% | Gemini 3.0 Pro 85.4%、Claude Opus 4.5 85.3%（2026 口径） |
| τ²/τ³ 全 375 题四域 | Automation Anywhere aa-agent-v1 | 74.5%（pass^1） | pass^4 60.3%；较次优系统 +4.3 分，领先在 pass^2~pass^4 保持（+4.1~+4.8） |
需要特别说明：上述是不同 τ 版本的头部成绩，互相不可比。但有一个横贯结论值得记住——在 τ² retail 上，pass@1 84.4% 与 pass^4 59.6% 的缺口意味着，如果一个 Agent 要无人值守地重复同一类任务，pass^k 才是决定生产风险的那根指针，而非漂亮的首试分。
策略违规：能力之外的另一根轴
τ-bench 最被低估的设计是：它把「策略违规」作为独立于任务成败的指标来计算。一个 Agent 可以完成任务，却依然违规——发出它无权发出的退款、跳过身份核验、或在票价规则之外改签。在 2026 年 7 月的一次三模型对测中（GPT-5.5 vs Opus 4.8 vs Gemini 3.5 Pro），这一轴的差距比原始能力更刺眼：
| 模型 | pass^8（一致性） | 策略违规（每 100 任务） |
|---|---|---|
| Opus 4.8 | 最高 | 4 |
| GPT-5.5 | 接近 Opus 的 pass@1 | 9 |
| Gemini 3.5 Pro | 两列均落后 | 11 |
这提醒我们：能力轴和守规矩轴并不重合。一个高度能干、却在压力下抄近路的模型，在触及钱或预订的 Agent 里，抄的那一步就是你的负债。榜单奖励「对一次」，而用户需要的是「每次都对」。
对企业的读法：按监督级别选模型
τ-bench 给企业的最直接启示是「按监督级别路由模型」，而不是按 pass@1 选便宜的：
- 无人值守 + 高风险：要 pass^k 最好、策略违规最少的模型（上述对测中是 Opus 4.8），错误动作代价高时它才是真便宜。
- 人工逐笔审批 / 低风险：人就是一致性层，实际活在 pass@1 列，GPT-5.5 这类「首试接近、工具调用准」的模型可竞争且常更省。
- 超长策略或对话历史：Gemini 3.5 Pro 的最大上下文窗口是决胜项，能避免摘要丢细节。
可复现的工程做法（多家团队已验证）：定义领域工具集与策略文档、用独立 LLM 当 user-sim（如 Claude Sonnet）跑 k=4 或 k=8、用确定性函数（而非 LLM 裁判）比对 DB 终态、再把策略违规单列成指标、按工具/策略条款/用户激进度分层。这套 harness 本身就是选型工具：跑候选模型，发那个 pass^4 最高的。
局限与冷静判断
- 版本分裂：τ、τ²、τ³ 口径不同，跨版本数字不可比，横向榜单必须固定版本与 user-sim。
- 模拟用户注入方差：user-sim 模型本身带来波动，对比时要固定该变量。
- 不等于你的工具与策略：公开榜测的是通用域；真正决定生产可靠性的是在你自家 API 与自家策略上的 pass^k，应由团队自建 harness 测量。
- 能力建设非银弹：提升 pass^k 的杠杆不仅在模型，也在工具检索、权限收敛与策略表达清晰度——同一模型换更干净的工具描述，一致性常明显上升。