为什么需要一张「TCS 考卷」

理论计算机科学(TCS)不是刷题能解决的学科。一个 TCS 研究者的日常工作大致分四块:证明定理、写求解器跑算例、构造满足特定性质的数学对象,以及对着几百年没人解决的公开猜想死磕。但此前的 AI 评测基准往往只覆盖其中一块——TCS-Bench 与 FormalTCS 只做定理形式化证明,FrontierCS 只做程序任务,没有人把四块拼在一起考过。11 月 5 日,图灵奖得主、清华大学交叉信息研究院院长姚期智团队,联合月之暗面(Kimi)创始人杨植麟等人,在 arXiv 发布 TCSExam,试图回答一个更狠的问题:大模型能不能像一个真正的 TCS 研究者那样,完整地走完一个研究周期。

基准怎么搭、怎么判分
面板 A:124 顶点无三角形图的最大边数(极值图论下界)2025 · Goedgebeur et al.6292026 · Kimi K3 构造630→ 多推 1 条边,突破此前已知下界面板 B:量子纠错码 [[25,7,d]] 的最小距离(检测距离)Grassl 参考表5GPT-6 Astra 产出6→ 从 5 提升到 6,25 物理量子比特保护 7 逻辑量子比特两项结果均由 Lean 内核或可执行检查器核验;论文措辞为「据我们所知改进了此前最佳结果」。
TCSExam 构造赛道产出的两项可验证数学改进(均由 Lean 内核核验)

TCSExam-Full 包含 100 道专家审核过的任务,分四条赛道:20 道定理证明要求输出 Lean4 证明;30 道求解器工程要求实现算法并在隐藏算例上判分;20 道构造题要求产出带有可验证性质的对象或下界;30 道公开猜想接受完整 Lean 证明或证伪。关键在判分方式:提交由 Lean 内核(带公理检查)或可执行任务检查器核验,不需要任何人工裁量——一道证明要么过内核,要么不过,没有审稿人滤镜。为了方便日常使用,团队还做了 TCSExam-Lite,从四条赛道各取 5 道共 20 题,把尝试次数砍掉 80%,而 Full 与 Lite 在共享的 8 个智能体上的排名高度一致(Spearman ρ=0.93),说明 Lite 是一个紧凑且有区分度的基准。代码以 Apache-2.0、题目以 CC BY 4.0 开放,整个流程可复现。

排行榜与一点反差

在 TCSExam 榜单上,GPT-6 Astra 以 71.9 领跑 Full 综合指数,Opus 5.5 以 72.3 领跑 Lite。如果把视线拉到裸命题定理证明这一单项,GPT-6 Astra 拿到约 70%,月之暗面 Kimi K3.1 Pro 以 38.3% 居第二,其余模型最高不超过 11.7%——梯队落差非常明显。综合指数按四赛道 30/30/30/10 加权,构造题分数可以超过 1,因此指数以「分」计,可能超过 100。论文还报告,在构造赛道 GPT-6 Astra 平均得分 104.9,已经超过人类公开参考基线。

真正的新东西:两个可验证的数学结果

比分数更有意思的,是模型在构造赛道里撞出的两个新结果。其一,Kimi K3 构造出一个 124 个顶点、630 条边的图,不含三角形也不含四边环,比 Goedgebeur 等人 2025 年给出的 629 条边下界多了一条——这是极值图论里一个下界的具体推进。其二,GPT-6 Astra 产出一个 [[25,7,6]] 量子纠错码:同样是 25 个物理量子比特保护 7 个逻辑量子比特,最小距离(检测距离)从 Grassl 参考表的 5 提升到了 6。论文措辞很克制,只说「据我们所知,这些构造改进了此前已知的最佳结果」。项目站点也把这些结果标记为可能改进,并报告了来自公开猜想尝试的独立验证特例与下界。

为什么这件事值得记一笔

关于「AI 能不能做真研究」的争论,从来不缺观点,缺的是可核查的证据。TCSExam 把判分交给 Lean 内核:证明过不过内核说了算,没有审稿人滤镜。求解器任务建立在 PACE、DIMACS、ROADEF/EURO 等真实研究社区的基准之上,代码开放,整个流程可复现。当「研究到底做出了多少」变成一道道可逐任务验证的事实,下一个问题就是:这些模型还能在分数之外,堆出多少个真正的定理。论文作者里既有姚期智这样的理论计算机科学泰斗,也有杨植麟代表的产业界力量,这种组合本身也说明,基准正在从刷榜转向验证研究产能。

信息来源