当大模型开始分配算力预算
大模型正越来越多地被用于递归自我改进：自己生成并实现新的研究想法，进而提升自身能力。算力是有限的，于是出现一个绕不开的问题——在还没有任何结果之前，应该把算力押在哪些想法上？对人类研究者，这是靠多年成败打磨出来的「品味」；对今天的 LLM 评委，它已经在替我们分配真实的算力预算，可它的品味却从未被直接度量过。NeurIPS 2026 一篇题为《Do LLMs Have Research Taste?》的论文提出 BóLèBench，正是冲着这个盲区去的。
反转思路：用后见之明评判先见之明
BóLèBench 的巧思在于一个反转：用后见之明去评判先见之明。研究者先让不同的智能体在固定的机器学习研究任务上、在同等算力预算下尝试改进同一个专家基线，于是对每个任务就得到许多次带分数的尝试。接着，评委模型读一段删去了结果的轨迹摘要，预测哪一次会得分更高；而已经真实执行出来的结果，则作为标准答案。这样做的好处是失败也留在视野里，不需要人工标注，也不会像论文发表记录那样只展示成功、奖励背诵。整个基准支持五类科研决策、四个信息量层级的评判，并按多个标准给每个评委打分。
一个朴素启发式击败所有前沿评委
结果相当刺眼。当前的大模型评委表现糟糕：一个「选更大胆尝试」的简单启发式，击败了所有被测的前沿评委；在「黑马对」——即更大胆的那次尝试其实输掉的情况——上，没有任何评委能稳定战胜随机。更微妙的是一致性：跨越四个模型家族，评委们会以大约 135 倍于独立错误率的幅度，漏判同一批黑马对；一个糟糕的评委在候选里挑人，甚至不如随机乱选。研究者还做了一个对照：要求评委给出理由，准确率并没有因此提升。换句话说，让模型「解释一下」并不能掩盖它本就看不准。
「模型名偏见」与黑马困境
论文还揭示了一种名为模型名偏见的效应：当评委知道某次尝试是由哪个模型写下时，排名会被拉向名气更大的前沿模型，与质量无关。这说明评委并非在评估想法本身，而是在被品牌信号带偏。BóLèBench 发布了 3,863 个盲测对，来自四个语料：其中 1,842 对来自 271 次智能体尝试、覆盖 10 个机器学习研究任务，另有 1,701 对来自 378 次尝试、覆盖 35 个源自 2026 年 arXiv 论文的任务。在 16 名评委的榜单上，最新的前沿模型以 71.0% 居首，而 9 名评委的多数票为 67.3%。
这对 AI 自我改进意味着什么
BóLèBench 的价值，不只是又多了一个排行榜。它戳破了一个正在流行的假设：既然大模型能写代码、能想点子，它们也能当好分配算力的裁判。事实是，在决定「该押注哪个研究想法」这件事上，今天的评委连一个不阅卷的朴素规则都赢不了。对正把模型嵌进科研闭环、让它们自己挑方向、自己分配算力的做法，这是一记必要的清醒提醒——在把判断权交给模型之前，先得有把尺子量一量它到底看不看得准。BóLèBench 就是这把尺子，而它量出的结果，暂时并不乐观。