调 RAG 管线,像在暗箱里烧钱

检索增强生成(RAG)是给大模型接外部知识的主流做法,但搭一条 RAG 管线本身是个昂贵的多目标超参优化问题:从切块方式、嵌入模型,到重排和生成,环环相扣。现有的优化器,从贪心搜索到贝叶斯优化,大多把每次试验压成一个总分就去找更优配置,却不去建模「这次为什么好或不好」——尽管被检索回来的文本块本身,就已经提供了失败发生在检索阶段还是生成阶段的线索。Agentic AutoRAG(arXiv 2610.08452,10 月 6 日提交,被 EMNLP 2026 REALM 与 NeurIPS 2026 ML for Systems 工作坊接收)正是从这条线索入手。

调参不再只看总分,还看败在哪旧优化器贪心 / 贝叶斯只盯聚合分失败出在检索还是生成模型自己知道也不利用Agentic AutoRAG诊断器归因检索/生成提案器按价选下一组描出帕累托前沿三条多跳 QA 基准;前 10 次试验追平基线 30 次精度来源:arXiv 2610.08452(10/6,EMNLP/NeurIPS 工作坊接收)
图|Agentic AutoRAG 让智能体在每次试验后把失败归因到检索或生成,再按准确率与成本权衡选下一组配置,而不是只盯一个总分。

它把优化器做成了一个大模型智能体,做带「检索 vs 生成」失败归因的多目标超参优化。每跑完一次试验,一个诊断器会把每一道失败的题归因到检索或生成;一个提案器则基于一份涵盖模型排名与定价的知识库,选出下一组配置,并在准确率和成本之间权衡,描出一条帕累托前沿。在三条多跳问答基准上,它的 LLM 评审准确率超过了所有对比基线;更关键的是,在前 10 次试验里,它就追平或超过了统计基线跑满 30 次试验的评审准确率。

成本账:省四成还能更准

在真实世界的医疗语料上,它的成本感知模式拿到了 77% 的中位评审准确率,高于表现最好的基线的 71.5%,而成本只有那个基线每次查询的大约 58%;更极致时,它用约 22% 的成本就追平了 71.5%。这意味着 RAG 调参不必再靠无脑堆试验次数,而是让智能体边试边想清楚「败在哪」,把预算花在刀刃上。

成本账:省四成还能更准医疗语料 成本感知模式77% 精度 > 表现最好基线 71.5%约 58% 成本达到 71.5%约 22% 成本追平 71.5%调参不再靠堆试验次数,预算花在刀刃上
图|Agentic AutoRAG 在医疗语料上用约 58% 的成本拿到 77% 的精度,甚至用约 22% 的成本就追平对照基线,把 RAG 调参的预算效率明显拉高。

对工程团队来说,这篇点破的是一件常被忽略的事:RAG 的失败常常可分阶段定位,而大多数优化器却把阶段信息扔掉了。Agentic AutoRAG 把归因和选配置连起来,等于给调参这件事装上了一套「复盘机制」。它未必终结调参的麻烦,但至少把「为什么这次不行」从玄学变成了可以被智能体利用的信号。