Harness²(递归智能体外壳优化框架)
| 分类 | 🧰 框架工具 |
| 阅读时间 | ⏱️ 17 分钟 |
| 更新时间 | 📅 2026-11-02 |
| 条目编号 | ENC-FRAMEWORK-24-harness2 |
关键要点 ✦
- 优化对象是外壳而非权重:据 arXiv:2610.14224(2026-10-09 提交)与 google-research/harness2 仓库(Apache-2.0,仓库创建于 2026-10-06、版本 0.1.0,README 声明非官方支持的 Google 产品),可编辑组件共八个——系统提示词、护栏、记忆、技能四类负责构造上下文,工具指导与脚本定义工具接口,子智能体负责编排委派,插件控制工具循环中间件。
- 双层递归机制:任务级递归用对比式 Propose-Probe-Compose 在同一任务上试错打磨外壳——提出修改、用候选外壳重跑任务、组合有效的修改;外壳级递归把被采纳的修改与有证据支撑的经验沉淀进持续改进库(含 EXPERIENCE.md),指导下一次优化。每个新任务将执行器重置回基础外壳。
- 无需标准答案:开放世界任务在设计期未见过、测试期是新的,没有可靠的 ground-truth 验证器;Harness² 靠行为对比(改外壳后任务表现是否变好)引导编辑,论文称这使其能改进没有人写过参考答案的任务。
- 论文结果(作者自报、多为单次运行口径):跨三个职业向基准与四个模型-外壳配置,单步优化即可让 GLM-5 与 Gemini 3.5 Flash 超越各自基础外壳——WorkBuddy-Bench 至多提升 11.5 分、JobBench 提升 4.5 分、LAB 法律基准提升 11.8 个百分点,且收益随任务级递归预算增加而继续上升。
- 社区热度与使用边界:开源约两周星标约 1.9 万(2026-10-25 经 GitHub API 核实的第三方口径);媒体同时提醒其默认放开执行器的网络访问、关键数字未经独立复现,与 Agent Lightning(强化学习改模型)、Hermit(训练外挂外壳适配器)构成三条不同的非侵入改进路线。
为什么不改模型,改外壳
智能体在真实任务里失败时,传统解法是微调模型。但这条路有三重障碍:成本高(算力与标注都贵);有灾难性遗忘风险(教会新任务可能忘了旧能力);对闭源 API 模型根本走不通(拿不到权重)。据 arXiv:2610.14224,Google 与西北大学的研究者把优化对象换成模型外部的执行外壳(harness)——本站智能体运行外壳条目(ENC-ARCH-15)介绍过这一概念:包围模型、使其能作为智能体行动的全部基础设施。Harness² 将其具象为八个可编辑组件:系统提示词、护栏、记忆、技能(构造上下文),工具指导与脚本(定义工具接口),子智能体(编排委派),插件(工具循环中间件)。
这一思路的背景是外壳工程(harness engineering)在 2026 年成为独立实践领域:业界逐渐认识到,同一模型在不同外壳下的表现差异可以超过换用更强模型带来的差异,外壳成为与模型并列的优化对象。
双层递归:任务内试错,任务间沉淀
Harness² 的完整一步包含五个阶段:执行器用当前外壳跑任务;外壳编辑器提出通用不变式修改与领域特定修改;候选探测把改过的外壳在同一任务上重跑;外壳组合器把有效的修改合并成最终外壳;经验反思器总结本次步骤并更新改进外壳。所谓双层递归是:任务级递归针对当前任务打磨外壳(可并行或串行扩展预算);外壳级递归把每次任务的收获——被采纳的外壳文件与有证据支撑的经验——沉淀进持久的改进库(含 EXPERIENCE.md),让下一个任务从更好的起点开始。每个新任务都会把执行器重置回基础外壳,避免把一次任务的权宜修改固化成全局缺陷。
方法上的关键取舍是不依赖 ground-truth 验证器:开放任务没有参考答案,Harness² 用对比信号替代——同一任务上,改过的外壳跑得好就保留,跑不好就丢弃。论文称这使其能处理设计期未见过、测试期才出现的开放世界任务。
结果、热度与边界
论文报告:跨三个职业向基准(WorkBuddy-Bench、JobBench、LAB 法律基准)与四个模型-外壳配置,单步优化就让 GLM-5 与 Gemini 3.5 Flash 稳定超越各自基础外壳,增益至多 11.5 分、4.5 分与 11.8 个百分点,且随递归预算增加继续上升。这些数字均为作者自报口径、多为单次运行,尚未见独立复现,引用时应注明。社区反响热烈:开源约两周星标约 1.9 万(2026-10-25 经 GitHub API 核实的第三方口径)。
使用边界同样要如实列出:仓库 README 声明其非官方支持的 Google 产品;媒体实测提示其默认放开执行器的网络访问,生产环境需要自行收紧;优化只作用于外壳,模型能力的上限不变;对依赖确定性输出的场景,行为对比信号可能不稳定。项目页面与仓库文档是跟进迭代的权威来源。
非侵入改进路线的谱系
把 Harness² 放进更大的图谱看,2026 年出现了三条不改模型权重的智能体改进路线:其一,编辑外壳本身(Harness²,自动改写提示词与配置);其二,训练外挂组件(如 Infini-AI-Lab 的 Hermit,训练一个外壳适配器而冻结模型与外壳);其三,用强化学习改进模型与智能体行为的接口(如微软 Agent Lightning,ENC-FRAMEWORK-19,把智能体执行轨迹转化为 RL 训练信号,会改动模型权重)。三者的取舍维度是:改动什么、需要什么数据、能带来多大且多持久的提升。
与上下文工程(ENC-CONCEPT-27)的关系则是人与自动的分工:上下文工程是工程师手工设计上下文构造策略的实践,Harness² 把这一过程自动化并加上递归闭环。可以预期两者会融合——人工制定不可变式约束,自动搜索在约束内完成。
🎯 应用场景
✅ 最佳实践
- 先审计外壳再上自动化:明确哪些组件允许自动改写,护栏与权限类组件保持人工控制。
- 收紧执行器默认网络访问,在隔离环境里跑探测任务。
- 为改进库建立版本管理,保留外壳变更的 diff 以便回滚与审计。
- 引用论文数字时注明作者自报与单次运行口径,决策前先做小规模独立验证。
- 与上下文工程实践结合:人工设定不可变约束,自动搜索在约束内进行。
🔮 未来展望
外壳自动优化很可能成为智能体工具链的常规环节:随着外壳工程实践的普及,「手写一套外壳用到老」会像手工调参一样被淘汰。方向上,任务级与外壳级递归的结合、与强化学习路线(如 Agent Lightning)的混合、以及把护栏与权限管理纳入可自动优化但受约束的范围,都是可预期的演进。需要关注的开放问题是稳定性与安全性:自动改写外壳的智能体如何保证不把错误的「改进」固化为系统性偏差,这将是该方向走向生产环境的关口。