SkillForgeBench（技能规格锚定的智能体可靠性基准）
| 分类 | 📊 评测基准 |
| 阅读时间 | ⏱️ 13 分钟 |
| 更新时间 | 📅 2026-10-26 |
| 条目编号 | ENC-BENCH-23-skillforgebench |
关键要点 ✦
- 针对评测范式的基本权衡：专家标注基准流程深度够但领域覆盖窄，众包基准场景广但执行严谨性不足；SkillForgeBench 用领域均衡的技能包贯穿资源准备、技能驱动任务合成与整体评测设计三个协同阶段，试图同时兼顾两端。
- 规模与构成：842 个沙箱化任务，覆盖五个主要专业领域；任务由技能规格作为流程锚点合成，配备自然化的任务指令与封闭沙箱场景。
- 评测设计把技能内嵌需求翻译为细粒度的完成度与过程两类评分细则，实现需求级的严格打分，而非只看最终产物。
- 榜单要点：八款主流智能体呈陡峭能力分层，Opus 4.8 以 40.9% 严格完成率领跑；要求所有细则同时满足后，被单项通过率（70.0% 至 85.7%）掩盖的能力瓶颈集中显现（严格口径 12.6% 至 40.9%）。
- 技能外部引导对高端模型增益更大：Opus 4.8 提升 19.2 个百分点，Haiku 4.5 仅提升 5.8 个百分点，技能生态红利并非均匀分布。
- 过程细则的满足率远低于完成度细则（Haiku 4.5 不足 3%），证明只检查最终产物的评测会系统性高估真实可靠性。
设计动机与三阶段流水线
论文的出发点是既有评测范式的两难：专家手工标注的任务能保证流程深度，但受限于专家带宽，领域多样性上不去；众包方式能铺开场景，执行严谨性却难以保障。SkillForgeBench 的解法是把智能体技能（见本站 ENC-ECOSYSTEM-14）用作统一执行蓝图：技能既标注了领域均衡的工件来源，又内嵌了流程约束。
流水线分三个协同阶段。资源准备阶段以领域均衡的技能为指引检索工件，建立广泛的工作流覆盖；技能驱动任务合成阶段把技能作为流程锚点，划分工件角色、合成自然语言任务指令，并打包成可深度流程执行的沙箱场景；整体评测设计阶段把技能内嵌的需求翻译为细粒度的完成度细则与过程细则，支撑需求级严格打分。
评分体系：完成度与过程细则
与只判「最终交付物对不对」的传统口径不同，SkillForgeBench 同时检查两条线：完成度细则衡量任务要求是否被满足，过程细则衡量执行方式是否符合规格要求（顺序、约束、合规动作等）。两类细则共同构成严格完成率的判定基础——全部满足才算通过。
这一设计直接回应了一个现实问题：许多智能体在宽松评测下表现良好，是因为评分只盯结果；而在企业场景里，「怎么做的」往往与「做没做成」同等重要。论文的数据给出了量化证据：过程细则的满足率显著低于完成度细则，只查结果的评运会给出偏乐观的可靠性图景。
主要发现
八款主流智能体的评测呈现陡峭的能力分层：Opus 4.8 以 40.9% 的严格完成率位居受测名单前列，其余模型梯队依次下滑。单项细则通过率普遍落在 70.0% 至 85.7% 区间，但要求所有细则同时满足后，严格口径骤降至 12.6% 至 40.9%——能力瓶颈在宽松评分下被系统性掩盖。
技能引导的增益与模型层级正相关：在外部技能指导下，Opus 4.8 提升 19.2 个百分点，Haiku 4.5 只提升 5.8 个百分点。这意味着技能生态带来的红利并非均匀分布，基础能力越强的模型越能利用结构化规格。过程细则方面，Haiku 4.5 的满足率不足 3%，进一步印证完成度导向评测的高估效应。
与相邻基准的关系
在本站已收录的评测条目中，AppWorld（ENC-BENCH-21）评估智能体与模拟软件生态的交互（应用、API 与状态操作），MLE-bench（ENC-BENCH-17）评估 Kaggle 式机器学习工程能力，两者都不以「按书面规格严格执行流程」为核心维度。SkillForgeBench 恰好补上这一格，并且与 Agent Skills 生态直接衔接——技能文档既是任务来源也是评分依据，形成生态与评测的闭环。
对使用者而言，三条基准回答的问题不同：选通用办公自动化能力看 AppWorld 一类，选机器学习工程能力看 MLE-bench 一类，评估「给一份流程规格能否严格照办」则可以参考 SkillForgeBench 的口径。基准数字随模型与版本更新会持续变化，引用时应注明论文版本与受测配置。
🎯 应用场景
✅ 最佳实践
- 引用榜单时注明受测配置与论文版本，严格口径与单项通过率不可混用。
- 企业评测同时采集完成度与过程两类指标，只看结果会高估可靠性。
- 为高端模型优先配套结构化技能规格，其边际收益显著大于低层模型。
- 把过程细则缺失率作为风险信号：过低说明智能体执行纪律不足，需在系统层补约束。
🔮 未来展望
评测重心正从「能否完成任务」转向「是否按规格可靠地完成」，过程性合规评分预计会成为企业采购的常规指标。技能生态与评测基准的耦合会继续加深：技能文档质量直接影响任务合成与评分，反向也会推动技能编写规范与验证工具的发展。