评测饱和之下，分数越来越难信
大模型基准测试的分数逐年攀升，但行业对分数的信任却在下降。基准趋于饱和、数据污染风险上升、对推理过程评价不足，让高分越来越难对应真本事。在科学研究这类严肃场景里，如果评测本身不够可信，模型能力就难以被准确判断，AI 生成的科研结论也难以获得行业采信。正是在这个背景下，360 与北京大学等机构发布了科学推理评测基准 ScienceArena，试图用一套可追溯、可复现的方法，重新校准对大模型科学推理能力的判断。
13 项奥赛真题，按步给分
ScienceArena 的评测对象不是压缩成选择题或短答案的简化题，而是 2023—2026 年公开的 13 项物理、化学、生物奥赛真题，包括 IPhO、IChO、IBO，以及 APhO、EuPhO、USAPhO、CPhO、USNCO、CChO 等区域或国家级赛事。每道题都有官方答案、详细解法、评分细则与配图。构建流程先把官方 PDF 解析为公式、曲线、分子图、装置图与评分表，再写成结构化 JSON，最后由奥赛奖牌获得者核查完整性、图文对应、分值总和与科学正确性。相比只看最终答案的传统评测，这种按步给分更贴近真实阅卷。
金牌选手当阅卷仲裁
开放式长答案无法依赖字符串匹配，所以 ScienceArena 先用人类专家标注来校准 LLM 裁判。评分模型接收题目、官方答案、解法、逐项 rubric、满分与候选回答，输出总分、各子项得分、证据与扣分原因。作者在 IPhO 2025 与 IChO 2025 的历史模型回答上，由金牌级专家给出参考分，结果显示两名较强裁判对每一个模型—考试组合的总分都与专家相差不超过 1 分。这个步骤不能消除所有开放评分偏差，却为大规模评测提供了可复核的基础。
实测：头部模型跨过奖牌线，短板也清晰
主评测覆盖 14 个近期模型。在加权汇总中，Gemini 3.1 Pro 以 88.7 的得分居首，Gemini 3.5 Flash 与 Gemini 3 Flash 分列其后。按人类奖牌阈值对照，Gemini 3.1 Pro 在 IPhO 2025 拿到 29.45/30，略高于该届人类冠军的 29.2；在 IChO 2025 拿到 48.95/60，超过金牌线 36.6，但仍低于冠军 57.1。这说明前沿模型已经能完成大量高难科学推导，但失败往往集中在最需要结构绑定与全局一致性的地方：化学的立体化学、物理的全局不变量、生物跨图表与多条陈述的一致性。
开源与平台：把评测变成可复用的工具
ScienceArena 的论文已被 EMNLP 2026 主会议接收（收录于 ACL Anthology，编号 2026.emnlp-main.2658，对应 arXiv 2608.30517），项目已在 GitHub 开源，配套数据集与在线评测平台也已对外开放。研究者和开发者可以直接获取数据、使用平台开展评测，并复现与检验相关结果。从行业应用看，可信评测不只关系模型能力如何被衡量，也影响模型选型、技术迭代与应用部署——通过更细致、可复现的评测，开发者能发现模型短板，企业也能更准确判断模型适用的任务范围与潜在风险。