让一个语言模型「经营一家店」,是检验智能体长链路与协作能力的天然试验场。但此前的这类基准几乎清一色是英文、西方零售语境、单智能体。10 月 16 日提交的论文 KiranaBench(编号 2610.22980)把场景换到了印度社区杂货店,而且从一开始就是多智能体。
四角色分工的杂货店模拟
KiranaBench 把一家店拆成四个岗位,每个岗位由一个独立的 LLM 智能体扮演:经理负责整体决策与排班,收银管钱与结账,帮工处理理货与上架,记账管账本与库存。顾客和供应商的对话可能用英语、印地语或 Hinglish(印英混杂)进行,商品需求则按印度官方的全国家庭消费支出调查来校准,尽量贴近真实小店的波动。这种「多人协作 + 多语言 + 长周期」的结构,恰好是真实小微企业运转的样貌。
模型远不及固定规则店长
论文挑了四个开放权重模型来跑。结果相当直白:全部明显落后于一个固定规则的店长基线——表现最好的模型,赚到的利润也只有基线的八分之一;有两款模型甚至低于「完全没人管」的店。换句话说,在真实的杂货店经营里,拍脑袋写的规则脚本,目前比会聊天的模型更靠谱。更扎心的是语言维度:用印地语和 Hinglish 跟供应商沟通时,模型表现比用英语时更差,说明多语言能力直接拖累了经营结果。
它真正测的是什么
KiranaBench 的价值不在于「模型不行」这个结论本身,而在于它把智能体的弱项从抽象批评变成了可复现的读数:长周期里多个角色能不能对齐目标、跨语言沟通会不会丢信息、没有人类兜底时经营会不会失控。它给开发者的启发也很具体——在小微企业、非英语、协作密集的场景里,单靠一个强模型远远不够,角色划分、共享状态与异常处理才是真正的瓶颈。论文也把这套设定做成可扩展的测试床,方便后续训练更适合「长周期、多协作、多语言」的智能体。
为什么此前的基准都偏英文单智能体
论文点出的一个背景值得留意:此前「智能体经营生意」类基准几乎都是英文、西方零售语境、单智能体,且由智能体直接观察店铺。KiranaBench 反过来,把场景换成非英语、多角色、长周期,正好把那些被单智能体设定掩盖的协作与语言短板暴露出来。对做全球化产品的团队,这是个提醒:在一个市场调好的智能体,换套语言、换种业务节奏,表现可能直接塌一截;评测不能只看英语单智能体那一套,否则上线后才发现「能聊」不等于「能经营」。
目前官方及行业暂未披露更多细节,包括各模型在更长经营周期下的表现口径,后续将持续跟进迭代动态。对做多智能体系统的人,这篇把「能不能开店」从一个比喻,变成了可以量、可以比、可以复现的基准。