把「会不会做生意」变成一道可以结算的题
10 月 27 日提交的 arXiv 论文 2610.36980 换了个评测场景：不让智能体答题，让它开店。八位作者搭了个叫 AutoVend 的基准，一个智能体通过网页经营界面管理 20 台自动贩卖机，分布在五种点位类型上，连续跑 180 个模拟日。
选贩卖机的理由在摘要里写得很清楚。线上线下融合的生意有个特点：决策在网上发出，代价却由线下执行来兑现。一次补货决定看着只是点一下，后面跟着采购前置期、运费、库存过期和按日发生的运营成本。这类场景里，评测没法停在一笔交易成不成，得问网上那些决定有没有变成持续的收益。
模拟器里装的是钱，不是分数
所以这个模拟器是数据驱动的，把几样会持续扣钱的东西都塞了进去：共享仓库意味着 20 台机器抢同一批货；采购有前置期，今天下单不是明天到；补货要付费；库存会过期；运营成本按日发生。这几样加起来，一个决策的后果不会在当天结算，而是会在之后几十天里慢慢兑现。
对照组也选得很克制：不是另一个更强的模型，而是一条基于规则的库存控制基线。规则基线不复杂，该补就补、按阈值走，它没有推理能力，但也不会犯长程协调上的错。用这么个对手当线，其实是在问一个很实在的问题——智能体现在能不能替掉一条写了几十行的库存策略。
四款没跑赢，而且排名会被重排
答案有点难看：五款被测的智能体里，有四款没跑赢这条规则基线。
更值得琢磨的是第二组结果。按每美元推理成本计算回报时，模型之间的排序与只看回报时不一样。也就是说，一个回报更高的模型，把推理开销算进去之后可能并不划算——贵的模型多赚的那点钱，被自己的成本吃掉了。这一条对正在按调用量计费的场景是直接相关的，本站此前记过的按层收费、按效果定价这些模式，都建立在这个分离是否成立之上。
论文的三条运营诊断也指向同一个方向。其一，单项指标的改善不一定换来更强的经济增长，因为库存与执行成本会把这些收益侵蚀掉。其二，轨迹分析显示智能体在把动作落到可行范围、管理库存承诺、把反馈转成有效的策略修订这三件事上都有困难。其三，点位之间的协调也是短板——20 台机器共用一个仓库，各自为政就会互相抢货。
这份证据能撑什么，撑不住什么
先说能撑的：它证明在长程经营任务里，「会不会省钱」和「会不会赚钱」得一起测，而且规则基线仍然是一条不该被跳过的对照线。很多智能体评测里根本没有规则基线，直接拿模型比模型，赢的那个可能只是赢过了另一个同样不会算账的对手。
再说撑不住的。公开摘要没有给出逐款模型的名字、各自的回报数值，以及成本口径是怎么算的——推理价格按什么时点、什么量级取，直接决定「每美元回报」这个指标。180 个模拟日的参数标定也未见说明，模拟器与真实运营的贴合度无法从摘要判断。这些细节目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。
还有一层：贩卖机是规则封闭、状态完全可见、没有人类中途插话的环境。真实经营里的需求突变、供应商掉链子、以及有人临时改主意，都不在这套模拟器里。所以 AutoVend 更合适的定位是一把尺子——它量的是长程决策与单位经济能不能同时过关，而不是「智能体已经能开店了」。