调 RAG 管线,像在暗箱里烧钱
检索增强生成(RAG)是给大模型接外部知识的主流做法,但搭一条 RAG 管线本身是个昂贵的多目标超参优化问题:从切块方式、嵌入模型,到重排和生成,环环相扣。现有的优化器,从贪心搜索到贝叶斯优化,大多把每次试验压成一个总分就去找更优配置,却不去建模「这次为什么好或不好」——尽管被检索回来的文本块本身,就已经提供了失败发生在检索阶段还是生成阶段的线索。Agentic AutoRAG(arXiv 2610.08452,10 月 6 日提交,被 EMNLP 2026 REALM 与 NeurIPS 2026 ML for Systems 工作坊接收)正是从这条线索入手。
它把优化器做成了一个大模型智能体,做带「检索 vs 生成」失败归因的多目标超参优化。每跑完一次试验,一个诊断器会把每一道失败的题归因到检索或生成;一个提案器则基于一份涵盖模型排名与定价的知识库,选出下一组配置,并在准确率和成本之间权衡,描出一条帕累托前沿。在三条多跳问答基准上,它的 LLM 评审准确率超过了所有对比基线;更关键的是,在前 10 次试验里,它就追平或超过了统计基线跑满 30 次试验的评审准确率。
成本账:省四成还能更准
在真实世界的医疗语料上,它的成本感知模式拿到了 77% 的中位评审准确率,高于表现最好的基线的 71.5%,而成本只有那个基线每次查询的大约 58%;更极致时,它用约 22% 的成本就追平了 71.5%。这意味着 RAG 调参不必再靠无脑堆试验次数,而是让智能体边试边想清楚「败在哪」,把预算花在刀刃上。
对工程团队来说,这篇点破的是一件常被忽略的事:RAG 的失败常常可分阶段定位,而大多数优化器却把阶段信息扔掉了。Agentic AutoRAG 把归因和选配置连起来,等于给调参这件事装上了一套「复盘机制」。它未必终结调参的麻烦,但至少把「为什么这次不行」从玄学变成了可以被智能体利用的信号。