Terminal-Bench（终端智能体基准）

据斯坦福大学与 Laude Institute 的公开说明，Terminal-Bench 评测 Agent 能否操作真实终端完成软件工程与系统类任务：编写与调试代码、配置环境、从失败中恢复，全程不依赖图形界面。任务覆盖软件工程、机器学习、安全、数据处理、科学计算与系统管理等多个方向。

标准交互形式是：给 Agent 一段文字指令，以及一个专为该任务构建的容器，其中包含相关文件、软件与工具。Agent 可以勘察环境、执行命令、编辑文件、安装软件包，并根据执行反馈调整方案。

判定方式与 OSWorld 类似而目标不同：任务完成后由自动化测试检查容器的最终状态是否符合指令要求，任何能产出正确结果的路径都被接受，不限定实现方式。由于同一「Agent-模型」组合可能一次成功一次失败，基准会反复运行任务并给出置信区间，反映运行之间的波动。

工程侧，基准运行在开源评测框架 Harbor 之上，可通过 Harbor Hub 以类似 harbor run -d terminal-bench/[email protected] 的方式执行。榜单提交要求使用固定的任务环境、超时与资源配置，并公开执行轨迹以便维护者核验。

Agent 能力提升很快，静态基准会被刷满而失去区分度。Terminal-Bench 的应对是把它做成持续演进的滚动任务集。

版本脉络清晰可查：2.0 为 89 项任务；2.1（2026 年 5 月）修订 28 项，问题归为三类——外部依赖在基准构建后发生变化（9 项）、资源预算过紧导致连参考解都无法稳定完成（8 项）、指令与测试不一致（其余），并引入持续验证机制；3.0（2026 年 7 月）启用了新的滚动任务集（原称 Frontier-Bench），初始 74 项；4.0（2026 年 8 月）为维护性发布，剔除 8 项饱和或被公开解答的任务、修订 20 项，净得 66 项，并引入语义化版本、重新校准任务的 CPU / 内存 / 时间资源，把 Agent 超时统一放宽至 8 小时以减少超时造成的噪声。官方还提到后续版本将着力改进防篡改的验证器。

一个重要的使用提醒：不同版本之间的分数不可互换，比较必须在相同版本、相同配置下进行。

据公开榜单，Terminal-Bench 4.0 的领先结果为 GPT-6 Astra（max 档）搭配 Codex Agent 的 58.2% 解析率，以及 Fable 5.1（max 档）搭配 Claude Code 的 57.9%，Opus 5（max 档）搭配 Claude Code 为 51.8%，榜单同时列出 token 消耗与推算成本，便于做性价比权衡。

而在更早的 2.1 榜单上，Codex CLI 搭配 GPT-5.5 报告 83.4%，Claude Code 搭配 Claude 5 Fable 报告 83.1%——这组数字看起来远高于 4.0，但两者任务集不同、版本不同，不能直接比较，恰好说明跨版本比分是常见误读。

另一个值得注意的观察来自行业分析：在要求完整完成任务的严格口径下，17 个模型的平均通过率仅为 6.4%，大量失败是因为 Agent 在任务中途耗尽时间。换句话说，终端任务的瓶颈仍是长时程一致性，而非单步推理能力。

SWE-bench 聚焦在既有代码仓库中修复 GitHub issue，任务边界相对清晰；Terminal-Bench 的范围更宽，包含配置服务、编译软件、训练模型、处理数据、修复安全问题与复现科研结果等终端类工作流，更接近「接管一台机器的运维与开发」。

局限需如实看待：任务由人工策划，偏向可自动判定的规范化目标；评测运行在容器中，与真实生产环境的权限、网络与历史包袱存在差距；因为模型与 Harness 被作为一个整体评分，不同厂商编排方式带来的差异可能被归因到模型本身。因此它适合用来评估整套 Agent 方案的终端执行力，而不宜单独当作模型能力的排名依据。

终端类基准正在从一次性静态题目转为持续滚动维护的活基准，这会成为 Agent 评测的常态：饱和即剔除、失效即修复、并配以防篡改验证器。随着长时程一致性成为主要瓶颈，评测重点预计会从能否完成转向能否在数小时、数百步后依然保持目标一致并可自证结果，成本与时间效率也将与准确率并列成为核心指标。