一道把「不买」算正确的考题
11 月 5 日，Visa 发布 Agentic Commerce Benchmark，把 22 个 AI 模型放进 15 道购物任务里考试，模型来自 12 家实验室，每道题给三次机会。官方通稿与雅虎财经、The Next Web 等报道在关键数字上一致：整体通过率 57.2%，也就是 42.8% 的运行没过；表现最好的模型过 82.2%，排在末尾的只有 28.9%。Visa 没有点名参测模型，Fortune 记者 Jeff John Roberts 转述的排名里，谷歌与 Meta 的智能体约 82%、Claude 约 76%、OpenAI 约 64%，这是媒体口径，不是官方榜单，引用时得留个心眼。
题目设计比分数有意思。顾客不会一上来把条件说全，模型得靠对话把隐藏需求问出来；如果市面上没有符合条件的东西，正确答案是「不买」；为了防止蒙对，还要求模型把足以支撑决策的信息挖够，光选对商品不算过。官方给的电视场景里，顾客只提了亲戚推荐的品牌和某个第三方供应商的会员资格，预算、HDR10+ 支持、游戏特性这些全得自己问出来。这套设计把「会推荐」和「会判断」拆成了两件事，前者是检索活，后者是决策活。
54% 这个数字，才是整份报告的重心
最该被圈出来的是另一个结果：约 54% 的失败运行，最后仍然完成了一次购买。要么是推荐了不符合顾客已说出需求的商品，要么是在条件还没问全的时候就下了单。也就是说，失败没有停在对话框里，它变成了一张订单、一次履约，以及后续可能发生的退货与争议。对商家来说，这不是「模型答得不准」这种可以慢慢优化的质量问题，而是「谁授权了这笔交易」的责任问题。
一致性的数据同样扎眼。每个模型每道题跑三次，三次全过的比例只有 34.2%；同一道题换一次尝试就翻车的情况相当普遍。挖隐藏需求最多的五个模型平均通过 70.2%，最少的五个只有 44.4%；单次成本最高的五个通过 67.1%，最便宜的五个 50.2%——贵确实有帮助，但远谈不上保证。企业在算服务等级的时候，与其盯着 57.2% 这个平均分，不如先看 34.2%：同一个请求重复提交，结果可能不一样，这件事对支付场景几乎是硬伤。
关联解读：Visa 自己也在换位置
把这家公司近两个月的动作排一排，能看出一条转向。9 月与蚂蚁国际、万事达推「了解你的代理」框架，做的是智能体身份与行为监控；10 月拉着 BILL 与 Billtrust 做试点，让注册过的支付智能体端到端付掉一张供应商发票；这一次却先不谈怎么付，而是问该不该付。前面几条都在铺「能付」的轨道，这一条在轨道入口加了道判断题。站内 2064、682、669 分别记过前两步，本篇是第三步，不是同一事件的续报。
它和本轮 MCPHallu 那篇还构成一组跨场景印证：一个在工具调用里遇到根本达不成的目标，一个在购物对话里遇到根本不该下的单，两者都在测同一件事——条件不成立时，智能体肯不肯停手。一边是学术论文，一边是支付机构的商业基准，落到同一个缺口上，这比任何一家的单独结论都更说明问题。Visa 九月的 Trust Index 也给了一组背景：72% 的美国消费者用过 AI 助手，但只有 23% 信任 AI 替自己付款。技术门槛和商业信任，眼下显然不在一个进度条上。
冷水：它是一份自家出的考卷
边界得划清。基准由 Visa 设计、Visa 发布、Visa 解释，参测模型不点名，任务与评分细则的公开程度有限；本期只覆盖需求理解、商品选择与买不买决策，结账、支付、下单都写明属于后续扩展范围，所以「通过」并不等于能安全付钱。Visa 本身在推智能体身份与信任相关产品，发布这样一份基准有天然的商业动机，结论宜当作行业参考，不宜当作验收标准。
能公开复测是加分项——官方说公众可以在 Payments Frontier 站点自己试，也把题目交给了模型提供方征求意见，还计划增加场景与品类。但复测能验证的是「题目能不能重跑」，验证不了「题目能不能代表真实购物」。真要用于上线决策，还得把自家品类、退换货规则和授权链路接进去重做一遍。目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。