技术解构 2026-09-25 26 分钟阅读 进阶

Repo-to-Skill 技术解构:模型与 Harness 之外的第三层「操作知识」

从 BAAI DisCo 与 AREX-Skill Library 看智能体的知识资产化 — 1000 个仓库蒸馏 5000+ 已验证技能,固定骨干下 MLE-bench 相对提升 134.3%

摘要

2026 年 9 月 2 日,BAAI(北京智源人工智能研究院)牵头的团队在 arXiv 提交论文 Repo-To-Skill,提出一个正在被广泛忽视的判断:智能体的性能瓶颈不止于模型骨干与 Harness 工程,还有一层「操作知识」——知道方法与把方法跑通之间的差距。论文提出的 DisCo 框架以离线蒸馏加在线检索的双模式,把 1000 个广泛使用的 ML 仓库压缩成 5000 余条已验证、可执行的技能;在 GPT-5.5 骨干、研究 Harness 与执行预算全部固定的对照下,装载技能后 MLE-bench 任意奖牌率从 31.11% 升至 72.89%。本文拆解其架构、数据读法与工程生态,并讨论这项工作对国内技能资产化趋势的印证。

为什么需要第三层:操作知识的定义

论文开篇的架构判断很干脆:一个能端到端做机器学习研究的智能体,由模型骨干(backbone)加 Harness(规划、执行、记忆、验证的周边工程)组成——这个双层框架已经被业界反复验证,但它仍然缺一块。作者把缺的这块命名为操作知识(operational knowledge):区分「知道一个方法」与「让这个方法真正跑起来」的 know-how。

关键在于,这些知识并非不存在。它们就写在 GitHub 仓库与论文里——环境变量怎么配、CUDA 依赖装哪个版本、数据从哪里下载、报错后怎么恢复。问题是它们的形态:为人类读者而写、体量太大、无法在任务执行时整段载入上下文。于是每个智能体都在任务进行中重新发现这些知识——用昂贵的试错,一遍又一遍。

论文的解法是把这类知识离线蒸馏成紧凑、已验证、可跨任务复用的技能,而不是在每次运行中重新摸索。这个方向并非孤例:Claude 的 Skills 机制、各家编码智能体的规则文件,本质都在做同一件事——只是多为人工整理。Repo-to-Skill 的差异点在于把这件事做成了自动化流水线,并给出了库级规模的量化验证。

🧩 架构坐标:三层各自解决什么

把论文的框架放进工程语境:骨干层决定推理质量,Harness 层决定执行可靠性(工具调用、状态管理、校验恢复),知识层决定领域 know-how 的供给方式。前两层是本站多篇文章的主题(见文末相关研究),Repo-to-Skill 的贡献在于论证:在骨干与 Harness 都不动的前提下,只替换知识层的供给方式,就足以让同一套系统在成熟基准上的表现接近翻倍。

DisCo 双模式:任务无关蒸馏与任务导向蒸馏

DisCo(Distillation of Context)是一个既创建技能、又在研究任务中消费技能的智能体。它的蒸馏沿两条互补路径展开:

任务无关蒸馏:面向整个开源生态

对领域内广泛使用的仓库做系统性蒸馏,产出可跨任务复用的技能库。这条路径的产物即 AREX-Skill Library:从 1000 个广泛使用的 ML 仓库中蒸馏出 5000 余条已验证技能,组织为 20 个领域(area)与 178 个能力族(capability family)。据媒体披露的时间线,该库 8 月 3 日以 170 余个仓库起步,8 月 27 日扩展到 1000 仓库并重写了路由器——两个月内完成库级扩容。

任务导向蒸馏:面向具体任务

当某个研究任务需要的知识不在通用库里,DisCo 可以为该任务定向生成技能。两种模式共享同一套「蒸馏即验证」的原则:技能不是摘要文本,而是要在干净沙箱中实际跑通后才算数。

蒸馏流水线分四个阶段:界定能力(scope capabilities)、锚定证据(ground evidence)、构建技能图(construct the skill graph)、验证与精炼(verify and refine)。媒体引述的成本口径约为每个仓库 40 美元——这个数字来自论文团队的公开分享,属厂商自报,但即便按数倍计,「把两年 GitHub 沉淀变成可执行技能」的单位成本也远低于让智能体在每次任务中重新试错。

技能契约与路由:SKILL.md 与渐进式披露

每条技能围绕一个 SKILL.md 组织,可选搭配 references/ 与 scripts/ 目录,内容覆盖四件事:这项能力何时适用(适用条件)、要跑什么(命令模板)、怎么验证跑通了(验证方式)、失败后怎么恢复(恢复路径)。这不是自由文本,而是一个在意图层与执行层之间的确定性接口。

运行时的关键设计是渐进式披露(progressive disclosure):路由器把请求逐级收窄到「领域 → 能力族 → 仓库 → 工作流」,智能体只加载命中的那条分支。5000 余条技能因此不会撑爆上下文——这解决了「知识库越大越没用」的经典悖论,与工具检索领域的思路一致。

量化结果与正确读法

论文的核心实验设计是其说服力的来源:GPT-5.5 骨干、研究 Harness、下游执行预算三者全部固定,仅切换「是否装载蒸馏技能」这一个变量。对照基线为同一 Codex 智能体。四个基准的结果(数据来自论文与团队公开的对照表,均为团队自报):

基准 任务构成 基线(无技能) 装载 AREX-Skill 相对增益
MLE-bench 75 场 Kaggle 竞赛,任意奖牌率 31.11% 72.89% +134.3%
PaperBench 20 篇论文端到端复现 29.45 39.59 +34.4%
FrontierCS 188 道 Agent Track 算法任务 70.63 77.14 +9.2%
PassNet 200 个编译器 pass 样本,AS 分 1.343 1.531 +14.0%

读这组数据有三个要点。其一,134.3% 是相对增益——从 31.11% 的基线翻倍到 72.89%,绝对提升约 41.8 个百分点;「相对翻倍」与「从零到神」是两种叙事,前者才是事实。其二,增益梯度与任务的流程性强弱正相关:MLE-bench 这类重环境配置、重工程流程的基准增益最大,FrontierCS 这类纯算法合成任务增益最小。这组梯度本身就是论文的隐性结论——当前自主工程任务的主要瓶颈在程序性执行,而非算法推理。其三,四项对照数字均由团队自报,独立复现尚待社区验证。

📈 增益从哪里来

论文的解释是:技能供给的是可复用的流程、检查点与恢复路径,让智能体跳过昂贵的无引导试错,把有限执行预算花在真正的实验与验证上——任务越难、流程越长,这笔「预算再分配」的收益越高。这与站内此前对 Harness 工程的分析互为镜像:Harness 治理的是「执行怎么不坏」,技能库治理的是「执行该怎么做」。

工程生态:CLI、导入路径与许可

这项工作没有停留在论文层面。DisCo CLI 以 npm 包发布(v0.2.1,要求 Node.js 22.19+),仓库采用 Apache 2.0 许可;技能可导入 Codex、Claude Code、Pi 等编码智能体使用——也就是说,第三方智能体可以直接消费这个技能库,把它当作外挂的领域知识层。需要注意的一点是许可分层:仓库本体是 Apache 2.0,但每条技能继承自其来源仓库,许可各自独立,商用前需逐条核查。

对国内团队而言,这套「技能契约 + 渐进式披露路由 + 自动验证」的组合是可直接借鉴的工程模板——它不依赖特定模型或框架,且 IDC 近期对企业级通用 Agent 的评估报告也把「Skill 资产化」列为实现 ROI 闭环的关键路径之一(见文末相关研究),两条线索在 9 月同向汇聚。

局限与批评

至于 AREX-Skill Library 的商业化路径、以及任务导向蒸馏在非 ML 领域的实测效果,目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。

对智能体工程团队的启示

其一,把知识当资产预算,而不是当提示词边角料。多数团队的迭代预算花在换模型、调 Harness 上;这篇论文给出的对照说明,同样一份工程投入砸在知识层,性价比可能更高——尤其在流程密集型场景。其二,先固化流程,再谈自动化。技能的本质是把「跑通过一次的流程」变成可复用资产;一个连内部流程文档都没有的团队,谈不上技能蒸馏。其三,渐进式披露是知识库规模化的入场券。任何打算给智能体挂载百条以上知识单元的团队,都应先设计路由与分层加载,否则上下文经济学会先于能力成为瓶颈。

核心发现

参考来源

  1. arXiv 2609.02749 — Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills(2026-09-02 提交,摘要含四基准相对增益与库规模口径;2026.09.25 查证)
  2. DAIR.AI Academy 论文解读页 — Repo-To-Skill 论文要点(确认 BAAI 牵头团队、双模式蒸馏与固定变量对照设计)
  3. AIModeling(AILog)— BAAI's DisCo turns 1,000 GitHub repos into 5,000 verified skills(含 GitHub README 对照表:31.11%→72.89% 等绝对值、发布时间线、npm CLI 版本与许可说明)
  4. AI Weekly — BAAI's DisCo Distills 1,000 GitHub Repos Into 5,000 Reusable ML Skills(含约 $40/仓库的蒸馏成本口径,转引自 Hugging Face)
  5. Clauday — Repo-To-Skill 登顶 Hugging Face 日榜(454 赞)与 AREX 生态关联背景