让一个语言模型「经营一家店」,是检验智能体长链路与协作能力的天然试验场。但此前的这类基准几乎清一色是英文、西方零售语境、单智能体。10 月 16 日提交的论文 KiranaBench(编号 2610.22980)把场景换到了印度社区杂货店,而且从一开始就是多智能体。

四角色分工的杂货店模拟

KiranaBench 把一家店拆成四个岗位,每个岗位由一个独立的 LLM 智能体扮演:经理负责整体决策与排班,收银管钱与结账,帮工处理理货与上架,记账管账本与库存。顾客和供应商的对话可能用英语、印地语或 Hinglish(印英混杂)进行,商品需求则按印度官方的全国家庭消费支出调查来校准,尽量贴近真实小店的波动。这种「多人协作 + 多语言 + 长周期」的结构,恰好是真实小微企业运转的样貌。

四角色分工的杂货店模拟经理整体决策排班收银结账管钱帮工理货上架记账账本库存四个 LLM 智能体,英 / 印地 / Hinglish 三语协作需求按印度家庭消费调查校准
图|四角色杂货店。读图要点:经理、收银、帮工、记账四个 LLM 智能体,三语协作、需求按真实调查校准。

模型远不及固定规则店长

论文挑了四个开放权重模型来跑。结果相当直白:全部明显落后于一个固定规则的店长基线——表现最好的模型,赚到的利润也只有基线的八分之一;有两款模型甚至低于「完全没人管」的店。换句话说,在真实的杂货店经营里,拍脑袋写的规则脚本,目前比会聊天的模型更靠谱。更扎心的是语言维度:用印地语和 Hinglish 跟供应商沟通时,模型表现比用英语时更差,说明多语言能力直接拖累了经营结果。

模型远不及固定规则店长固定规则店长(基线)100%表现最好的模型约 1/8 利润两款模型低于无人管理印地语 / Hinglish 沟通时表现更差结论:长周期多协作场景,规则脚本仍更稳
图|模型 vs 规则店长。读图要点:最好模型仅赚基线八分之一利润,两款低于无人管理。

它真正测的是什么

KiranaBench 的价值不在于「模型不行」这个结论本身,而在于它把智能体的弱项从抽象批评变成了可复现的读数:长周期里多个角色能不能对齐目标、跨语言沟通会不会丢信息、没有人类兜底时经营会不会失控。它给开发者的启发也很具体——在小微企业、非英语、协作密集的场景里,单靠一个强模型远远不够,角色划分、共享状态与异常处理才是真正的瓶颈。论文也把这套设定做成可扩展的测试床,方便后续训练更适合「长周期、多协作、多语言」的智能体。

为什么此前的基准都偏英文单智能体

论文点出的一个背景值得留意:此前「智能体经营生意」类基准几乎都是英文、西方零售语境、单智能体,且由智能体直接观察店铺。KiranaBench 反过来,把场景换成非英语、多角色、长周期,正好把那些被单智能体设定掩盖的协作与语言短板暴露出来。对做全球化产品的团队,这是个提醒:在一个市场调好的智能体,换套语言、换种业务节奏,表现可能直接塌一截;评测不能只看英语单智能体那一套,否则上线后才发现「能聊」不等于「能经营」。

目前官方及行业暂未披露更多细节,包括各模型在更长经营周期下的表现口径,后续将持续跟进迭代动态。对做多智能体系统的人,这篇把「能不能开店」从一个比喻,变成了可以量、可以比、可以复现的基准。