RAG 流水线的调参,是个「牵一发连着上百个选项」的脏活
做 RAG 的人都有体感:分块策略、嵌入模型、重排器、生成参数……每个选项单看都有道理,组合起来却是互相纠缠的多目标优化——准确率、延迟、成本往往不可兼得。ETH Zurich 团队在 arXiv 2610.08452(10 月 6 日提交,已被 REALM@EMNLP 2026 与 NeurIPS 2026 的 ML for Systems 研讨会接收)里提出的 Agentic AutoRAG,就是让智能体来干这个调参的活。
此前的优化器,从贪心搜索到贝叶斯优化,有个共同盲区:每次试验只被压成一个总分,搜归搜,但不建模「这个配置为什么好、为什么差」——哪怕检索回来的 chunk 里明明写着失败是出在检索还是生成。
两个角色:先归因,再沿着 Pareto 前沿走
Agentic AutoRAG 的架构因此很直白:一个 Diagnoser(诊断器)负责把每道答错的问题归因到「检索失败」还是「生成失败」;一个 Proposer(提议器) grounded 在一份模型排名与价格的知识库上,权衡准确率和成本,选出下一个该试的配置。每次试验都跑在一份冻结的考试集上,目标不是刷某个单点分数,而是把准确率-成本的 Pareto 前沿描出来——你有多少预算,就在前沿上挑哪个点。
这个设计的巧妙之处在于把「领域知识」显式喂进了搜索:排名与价格知识库让提议器不用从零试错,而归因信号让搜索方向有了物理意义——如果一批失败全在检索侧,下一轮就该动分块和重排,而不是瞎换生成模型。
结果(论文自报):在三个多跳 QA 基准上,LLM-judge 准确率高于所有对比基线,而且前 10 次试验就追平或超过统计类基线跑满 30 次的成绩;在真实医疗语料上开成本感知模式,中位考试准确率 77%,高于头部基线的 71.5%,而每查询成本只有它的约 58%;如果只要追平 71.5%,成本压到约 22%。
它不解决什么,以及适合谁
把边界说清楚:AutoRAG 优化的是「给定语料和任务分布下的流水线配置」,换语料、换任务分布,前沿要重新描;考试集是冻结的,意味着它假设评测集能代表真实查询——分布漂移的场景它并不自动适配;judge 评分本身也是 LLM,误差会传导。另外它是一篇研讨会论文,证据强度有别于大规模复现研究。
但对正在被 RAG 调参折磨的团队,这篇给的思路是通用的:别再只看均分,把失败归因做成搜索的指南针;把成本当一等公民画进帕累托前沿,而不是事后汇报。想在自己项目里复刻这套循环,最小改动有三样:一份冻结的考试集(保证每次试验可比)、一条按「检索失败/生成失败」打标的错题日志(让归因可统计)、一张把每次试验的准确率和成本都记下来的台账(让 Pareto 前沿有数据可画)。三样都不贵,但能把「凭感觉调参」变成「按前沿选点」。代码已开源(GitHub:Agentic-Systems-Lab/Agentic-AutoRAG),值得动手跑一遍。这也可以和 1825 那篇 Uber 红线审查智能体的 RAG 三代演进对照着看:一个讲生产里 RAG 怎么长期演化,一个讲上线前怎么系统调优,是同一条河的两段。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。