11 月 10 日,谷歌 DeepMind 在官方博客发布多模态知识智能体基准 MKA,由 Rohan Doshi 与 Ben Caine 署名,Artificial Analysis 参与合作。基准含 200 道任务,覆盖 10 个垂直行业、83 个职业,每项对应资深从业者 3 到 8 小时的多步骤项目。官方给出的出发点是,多数知识工作基准只用文本就能解出,专业工作里关键信息却常压在图纸、示意图与表格里。

200 道题,验收的是一份交付物10 个垂直行业83 个职业每项 3-8 小时约 70 条检查事实准确性 75%专家写的约 70 条是非判断视觉设计 25%渲染页面并核验公式同一套 Stirrup相同工具、沙箱与轮次预算来源:Google DeepMind 官方博客,2026-11-10
图|评分对象从一段回答换成报告、表格与标注图纸。

每道题交付一段真实提示、一捆多模态输入文件,以及专家写的约 70 条是非判断项评分表。评分按事实准确性 75%、视觉设计 25% 加权,交出来的是报告、电子表格、幻灯片或标注过的图纸。所有模型跑在同一套开源框架 Stirrup 里,工具、沙箱与轮次预算一致;打分交给一个基于非谷歌模型的自动评审器,打开文件核对公式与评分表。谷歌称专家复核与评审器判断一致的比例为 96%,该数字出自谷歌自家材料。

官方博客给出几组相对读数。被测模型平均每个任务用 30 到 130 轮;Gemini 4 Carbon 质量排第 2,平均完成成本约为榜首模型的六分之一。博客把成本与分数画在同一张图上,却没有列出具体分数、每任务成本的美元数值,也没有点名榜首模型。200 道评分题由 Artificial Analysis 私有运行与保管,另有 10 道公开样例放在 Hugging Face。

把成本与质量画在同一张图,数值留白200 题私有Artificial Analysis 运行并保管10 题公开Hugging Face 可查看任务格式非谷歌模型评审专家复核一致率 96%未列出具体分数、每任务成本、榜首名称来源:Google DeepMind 官方博客,2026-11-10
图|六分之一这个成本比值,无法从公开材料复核。

把评分单位从答案换成交付物,是这条基准与站内 1903 号 FrontierCode 1.1 的接续。那次同样由 Artificial Analysis 用 Stirrup 挽具,问维护者愿不愿意合并代码改动;这次换成跨 10 个行业的文件型成品,评分表改成约 70 条是非判断。区别在于这次把视觉版式单独划出 25% 权重,并把成本并排写进同一张图。

可核对的部分仍有缺口。200 道评分题不公开,外部只能用 10 道样例复现任务形态,无法在完整题集上独立重跑;专家与评审器 96% 的一致率来自发布方,复核样本量与分歧项分布没有列出;评审器基于哪一款非谷歌模型、每轮工具调用怎样计费,博客也未说明。