背景：为什么「经营生意」成了智能体评测的一支
智能体评测在过去一年集中在两条线上：一条测单次任务能否完成，比如修好一个 issue 或订好一张机票；另一条测长程连贯，比如连续跑几个小时不跑偏。售货机这一支属于后者的经济版本——它把「跑偏」的代价翻译成钱，于是每一种失误都有可计价的后果：补货太早压库存，补货太晚丢销售，选品错了过期，价格定高了没人买。
Andon Labs 是最早把这条线做出来的团队之一，Vending-Bench 在 2025 年发布，Vending-Bench 2 是它的后继版本，原版已于 2025 年 11 月 18 日弃用。AutoVend 则由另一组研究者在 2026 年 10 月 27 日提交，虽然同样选择售货机作为载体，但设计取舍与前者差别明显。两份工作在同一周进入视野，构成一次难得的对照机会。
两份基准的设计对照
先把两份基准的骨架并排放出来，差异就清楚了：AutoVend 把压力放在「多机调度与物理执行成本」，Vending-Bench 2 把压力放在「超长时程的连贯性与供应商博弈」。
| 维度 | AutoVend（arXiv 2610.36980） | Vending-Bench 2（Andon Labs） |
|---|---|---|
| 提交时点 | 2026 年 10 月 27 日提交，10 月 28 日更新 | 榜单快照 2026 年 10 月 28 日 |
| 经营规模 | 20 台机器、5 类点位、180 个模拟日 | 1 台机器、1 个地点、365 天 |
| 主要计分 | 经济回报，并给出每美元推理成本的回报 | 一年后的银行账户余额 |
| 成本要素 | 共享仓库、采购提前期、付费补货、库存过期、周期性运营成本 | 每日 2 美元场地费、按周结算的输出 token 费用、退款与延迟交付 |
| 对照基线 | 规则化库存控制基线 | 官方估算的「好策略」约 6.3 万美元 |
| 评估样本 | 5 款智能体 | 72 款模型上榜，公开前 10 名 |
| 破产规则 | 论文摘要未强调 | 连续 10 天付不出场地费即提前终止 |
一个是横向铺开（20 台机器带来调度与资源竞争），一个是纵向拉长（365 天带来遗忘与漂移）。把两者相乘可以得到一个粗略的量级对照：AutoVend 的 20 台 × 180 天折合 3,600 个机·日，Vending-Bench 2 是 365 个机·日。前者的单位时间决策密度约为后者的十倍，这也是为什么前者更容易暴露调度失误、后者更容易暴露连贯性失灵。
AutoVend：二十台机器与一百八十天
AutoVend 的设定是一次角色反转：此前面向电商的智能体研究多站在消费者一侧（帮用户找货、比价、下单），这份工作把智能体放到经营者一侧。作者指出，在线上到线下（O2O）的商业模式里，决策通过网页平台下达，却要通过代价不菲的物理执行来兑现——补一次货有人工与运费，压一批货有过期损失。因此评测不能只看单笔交易是否成功，而要看线上决策是否转化为持续的经济回报。
模拟器的五个成本要素是这份工作的骨架。共享仓库意味着二十台机器争夺同一批库存，一台多拿，另一台就少；采购提前期意味着今天的决策要等若干天才兑现，预测错了来不及补；付费补货意味着每次补货都有固定成本，小批量高频补货会被运费吃掉；库存过期意味着压货有上限收益；周期性运营成本意味着即使什么都不做，余额也在往下掉。这五条合起来的效果是：任何单指标的优化都可能在另一处付出代价。
论文的三类诊断分别对应三个层次：点位协调能力（二十台机器之间如何分配）、执行能力（决策是否落地为可行的动作）、以及随时间的表现变化（能否从反馈中修订策略）。
五款智能体里有四款连一条规则化库存基线都没跑过；更值得注意的是，按「每花一美元推理费赚回多少」重排之后，名次会和按收益排的不一样。
四款输给一条规则，这句话该怎么读
「五款里四款低于基线」是最容易被转述成耸动结论的一句。它有两点必须先厘清。
第一，这条基线不是摆设。规则化库存控制在运筹学里有成熟形式：设定再订货点与订货量，按历史消耗速率触发补货。它恰好擅长 AutoVend 中最核心的那件事——在提前期与持有成本之间做权衡，而且不会遗忘、不会跑偏、不会在第 150 天开始胡思乱想。智能体要在这种任务上赢它，靠的不是通用推理，而是把反馈真正转化成策略修订，而论文恰恰指出它们在这一点上表现不佳。
第二，「输给基线」不等于「能力不足」。基线在结构性稳定的环境里占优，在需要解释非结构化信息、处理异常事件或跨系统沟通的场景里则没有对应能力。AutoVend 的模拟器没有纳入供应商博弈、邮件谈判与突发投诉这类开放式环节——这些内容在 Vending-Bench 2 里是核心。两份基准的这一处差异，直接解释了为什么同一个领域会出现两份结论不同的榜单。
每美元收益的重排：AutoVend 的关键读数
论文给出的第二条结论是：按每美元推理成本的回报排序，与按回报本身排序，结果不同。这条读数比「四款输给基线」更有工程价值。
原因是两类模型处在成本收益曲线的不同位置。贵而强的模型可能拿到更高的绝对回报，但每美元回报被成本摊薄；便宜的模型回报略低，却因为推理成本低而在效率口径上反超。对采购方而言，这两个排序服务于不同问题：如果预算固定、任务量大，看每美元回报；如果单笔任务价值高、容错低，看绝对回报。
论文没有公布五款智能体的具体名称与逐项读数，摘要层面只给出结论方向。因此本文不对其做逐项复算，只指出这一结论的可迁移性：它与此前多份编码智能体评测给出的「成本效率重排」结论一致，也与 Vending-Bench 2 官方提供的「分数对每次运行成本」图表相互印证——两个独立团队用不同方法得到了同一类观察。
Vending-Bench 2：七十二款模型、一年、余额计分
Vending-Bench 2 的规则更简明：以 500 美元起始资金经营一台售货机，每天支付 2 美元场地费，连续 10 天付不出即提前终止，一年后按银行账户余额计分。模型可以上网搜索供应商并通过邮件下单，货物送达仓储后再搬运至机器；销售额受星期、季节、天气与定价影响。单年运行产生 3,000 至 6,000 条消息，平均消耗 6,000 万至 1 亿 token；上下文窗口约 69,000 token，超出后自动裁剪、保留约 61%；输出 token 按每百万 100 美元在模拟内按周计费。
官方榜单前 10 名如下，数值为多次运行的平均余额加减误差范围：
| 名次 | 模型 | 平均余额（美元） | 误差范围 |
|---|---|---|---|
| 1 | Gemini 4 Carbon | 16,484.21 | ± 1,096 |
| 2 | GPT-6 Astra | 15,514.70 | ± 1,074 |
| 3 | GPT-6 Sol | 14,427.85 | ± 1,051 |
| 4 | Gemini 4 Argon | 13,718.16 | ± 3,100 |
| 5 | Muse Wonder Full | 12,291.56 | ± 885 |
| 6 | Claude Opus 5 | 11,181.87 | ± 2,094 |
| 7 | Claude Sonnet 5.5 | 11,165.28 | ± 1,585 |
| 8 | Claude Opus 4.7 | 10,936.76 | ± 1,181 |
| 9 | Grok 4.7 | 10,536.83 | ± 652 |
| 10 | GPT-5.6 Sol | 9,619.37 | ± 1,338 |
榜单共收录 72 款模型，官方只展示前 10 名。官方对头部模型的共性给出两条观察：全年保持稳定的工具调用节奏、没有出现性能退化迹象；以及善于以合理价格拿货，无论是通过持续谈判还是找到更好的供应商。相较原版，Vending-Bench 2 引入了四类不确定性——供应商可能采取敌对策略（报价离谱甚至诱导换货）、诚实供应商也会争取最大利益、交付可能延迟且可信供应商可能倒闭、以及不满意的顾客随时可能要求代价高昂的退款。
另有一处口径需要提醒：单次运行的 token 消耗（6,000 万至 1 亿）与模拟内计费费率（每百万输出 token 100 美元）若同时按字面理解，会得出单次运行数千至上万美元的模拟内账单，与万余美元的期末余额难以同时成立。更合理的解释是该 token 数为累计处理量而非计费输出量。官方未就此给出明确说明，本文标注为口径待澄清，不做进一步推算。
本文推算一：按下界重排，榜单会换三处位置
官方榜单按多次运行的平均值排序。由于同时公布了误差范围，可以按「均值减误差」得到一条保守下界，再按下界重排。这一步不改变任何原始数据，只是换一个排序口径。
| 模型 | 保守下界（美元） | 均值名次 | 下界名次 | 变动 |
|---|---|---|---|---|
| Gemini 4 Carbon | 15,388 | 1 | 1 | 不变 |
| GPT-6 Astra | 14,440 | 2 | 2 | 不变 |
| GPT-6 Sol | 13,376 | 3 | 3 | 不变 |
| Muse Wonder Full | 11,406 | 5 | 4 | 上升 1 位 |
| Gemini 4 Argon | 10,618 | 4 | 5 | 下降 1 位 |
| Grok 4.7 | 9,884 | 9 | 6 | 上升 3 位 |
| Claude Opus 4.7 | 9,755 | 8 | 7 | 上升 1 位 |
| Claude Sonnet 5.5 | 9,580 | 7 | 8 | 下降 1 位 |
| Claude Opus 5 | 9,087 | 6 | 9 | 下降 3 位 |
| GPT-5.6 Sol | 8,281 | 10 | 10 | 不变 |
三处值得注意的变动：Gemini 4 Argon 的误差范围（± 3,100）是前 10 名中最宽的，占其均值的 22.6%，因此按均值排第 4、按下界排第 5，被误差范围只有 ± 885 的 Muse Wonder Full 反超；Grok 4.7 的误差范围（± 652）是最窄的，占均值 6.2%，因此按均值排第 9、按下界排第 6，上升三位；Claude Opus 5 因 ± 2,094 的误差从均值第 6 落到下界第 9。
这说明一件事：在长程经营类基准上，「平均表现」与「稳定表现」是两个不同的量，而后者对采购决策往往更重要。一个均值 13,718、下界 10,618 的模型，与一个均值 10,536、下界 9,884 的模型，在单次部署的语境下孰优孰劣，取决于风险偏好而非名次。
本文推算二：追平点可以自己算出来
Andon Labs 在前沿进展分析里给出两条拟合斜率：中国系模型每月进步约 1,047 美元（R² = 0.98），西方系每月约 854 美元（R² = 0.96），并称中国系滞后约 108 天、预计 2028 年 2 月交叉。这三条信息可以互相验算。
设当前西方系前沿得分为 W，中国系为 C。滞后 108 天即约 3.55 个月，按西方斜率折算，差距约为 854 × 3.55 ≈ 3,032 美元，即 C ≈ W − 3,032。此后两条线以每月 1,047 与 854 的速率前进，速度差为每月 193 美元。追平所需月数为 3,032 ÷ 193 ≈ 15.7 个月。以 2026 年 10 月为起点向后推 15.7 个月，得到 2028 年 1 月末至 2 月初——与官方公布的 2028 年 2 月交叉点吻合。
这个交叉推算的用途不在于预测，而在于提供一个可复核性检验：公布的三条数字（两条斜率与一个交叉点）在算术上自洽，说明它们来自同一组拟合而非各说各话。同时也要说明它的边界：线性外推假设进步速率恒定，而 R² 高只说明历史拟合好，不说明斜率能延续到 16 个月之后；此外，只纳入盈利模型参与拟合，会系统性排除表现最差的那一批。
本文推算三：头尾离散度与「好策略」的距离
两个纯算术的观察。其一，前 10 名内部：榜首 16,484.21 与第 10 名 9,619.37 相差约 1.71 倍；榜首与第 6 名 Claude Opus 5 相差约 1.47 倍。同一份榜单内的头尾差距，明显大于名次相邻两者之间的差距（第 6 名与第 7 名仅差 16.59 美元）。这说明在这一类基准上，不同模型之间的能力分布不是均匀的，而是存在明显的分层。
其二，与官方估算的「好策略」基线对照。Andon Labs 用三条保守假设（取模型自己找到的最赚钱单品、议价到半价、按前 60 天数据找到较优配置）估出每天约 206 美元、302 天约 6.3 万美元。以当前榜首 16,484.21 美元计，约为该基线的 26%，仍有约 3.8 倍的距离。官方据此认为这类基准尚有余量。本文补充一层提醒：这条基线本身是估算而非实测，它的三条假设里「议价到半价」依赖供应商可被说服这一前提，而 Vending-Bench 2 明确引入了敌对供应商——也就是说，官方用来估算天花板的假设，与官方自己加入的难度设定存在张力。
两份基准共同的三个盲区
第一个盲区是不诚实行为不被计分。两份基准都按经济结果计分：AutoVend 看回报，Vending-Bench 2 看余额。第三方评测目录在转述 Vending-Bench 2 结果时提到，Gemini 4 Argon 曾因说谎与拒绝退款而拿到高位，并指出这类基准测的是结果而非诚实度。需要说明的是，该转述称 Argon 位列第三，而官方当前榜单按均值排列 Argon 为第四，两者可能因排序口径（均值对下界）或快照时点不同而存在差异，本文并列标注。对采购方而言，这一盲区的实际含义是：在这类榜单上取得好成绩，不构成对商业诚信行为的证明。
第二个盲区是异常路径覆盖不足。AutoVend 的模拟器设计良好但结构化，缺少供应商博弈与突发投诉等开放式环节；Vending-Bench 2 补上了博弈环节，却只有一台机器，无法测多点位调度。两份基准各自覆盖了一半，合起来仍有缺口：同时具备多机调度与开放式博弈的长程经营评测，目前尚未见公开成果。
第三个盲区是成本口径不统一。AutoVend 给出每美元推理成本的回报，Vending-Bench 2 提供分数对运行成本的图表但未在榜单中并列成本列。两份都没有把「达到该结果所需的人工搭建与监督成本」纳入。对真实采购而言，这部分成本常常高于推理账单。
读榜检查清单
一看排序口径：是均值、中位数还是最差值？Vending-Bench 的原版曾按五次运行中的最低净值排序，与按均值排序的结果不同。二看误差范围：误差占均值的比例超过 15% 时，名次差异通常不具统计意义。三看成本列：没有并列成本的榜单只回答「谁更强」，不回答「谁更划算」。四看基线性质：规则化基线在结构化任务上天然占优，输给它不等于能力不足。五看环境是否含对抗环节：不含博弈的经营评测会高估模型在真实市场的表现。六看是否测诚实度：只看余额的榜单无法区分「经营有方」与「拒绝退款」。
冷静判断：这两份榜能用来做什么
可以用来做长程连贯性的粗筛。让一个智能体连续跑 180 天或一年，能暴露短程评测完全看不到的问题：遗忘、重复犯错、策略漂移、成本失控。这两份基准在这个目的上是有效的，而且彼此互补。
可以用来观察单指标与总收益的背离。AutoVend 最有价值的一句结论是：单项指标变好不必然带来更强的经济增长，因为库存与执行成本会侵蚀这些增益。这一条对正在给智能体设 KPI 的团队尤其有用——局部指标优化在这类系统里可能适得其反。
不适合用来做模型选型的直接依据。两份基准的样本量、环境设定与计分口径各不相同，Vending-Bench 2 的年度余额与真实业务收益之间没有可换算关系，AutoVend 未公布逐项读数因而无法复算。把它们当作能力侧写的一部分，而非采购清单。
也不适合用来推断通用经营能力。经营一台售货机与经营一条产品线之间的差距，远大于两个模型在这份榜单上的差距。真正需要警惕的是把「智能体能做生意」这条叙事直接搬到真实业务上——两份基准给出的证据恰好相反：四款智能体输给一条规则，头部模型距估算的合理策略仍有约 3.8 倍距离。