为什么需要一张「TCS 考卷」
理论计算机科学(TCS)不是刷题能解决的学科。一个 TCS 研究者的日常工作大致分四块:证明定理、写求解器跑算例、构造满足特定性质的数学对象,以及对着几百年没人解决的公开猜想死磕。但此前的 AI 评测基准往往只覆盖其中一块——TCS-Bench 与 FormalTCS 只做定理形式化证明,FrontierCS 只做程序任务,没有人把四块拼在一起考过。11 月 5 日,图灵奖得主、清华大学交叉信息研究院院长姚期智团队,联合月之暗面(Kimi)创始人杨植麟等人,在 arXiv 发布 TCSExam,试图回答一个更狠的问题:大模型能不能像一个真正的 TCS 研究者那样,完整地走完一个研究周期。
基准怎么搭、怎么判分
TCSExam 构造赛道产出的两项可验证数学改进(均由 Lean 内核核验)
TCSExam-Full 包含 100 道专家审核过的任务,分四条赛道:20 道定理证明要求输出 Lean4 证明;30 道求解器工程要求实现算法并在隐藏算例上判分;20 道构造题要求产出带有可验证性质的对象或下界;30 道公开猜想接受完整 Lean 证明或证伪。关键在判分方式:提交由 Lean 内核(带公理检查)或可执行任务检查器核验,不需要任何人工裁量——一道证明要么过内核,要么不过,没有审稿人滤镜。为了方便日常使用,团队还做了 TCSExam-Lite,从四条赛道各取 5 道共 20 题,把尝试次数砍掉 80%,而 Full 与 Lite 在共享的 8 个智能体上的排名高度一致(Spearman ρ=0.93),说明 Lite 是一个紧凑且有区分度的基准。代码以 Apache-2.0、题目以 CC BY 4.0 开放,整个流程可复现。
排行榜与一点反差
在 TCSExam 榜单上,GPT-6 Astra 以 71.9 领跑 Full 综合指数,Opus 5.5 以 72.3 领跑 Lite。如果把视线拉到裸命题定理证明这一单项,GPT-6 Astra 拿到约 70%,月之暗面 Kimi K3.1 Pro 以 38.3% 居第二,其余模型最高不超过 11.7%——梯队落差非常明显。综合指数按四赛道 30/30/30/10 加权,构造题分数可以超过 1,因此指数以「分」计,可能超过 100。论文还报告,在构造赛道 GPT-6 Astra 平均得分 104.9,已经超过人类公开参考基线。
真正的新东西:两个可验证的数学结果
比分数更有意思的,是模型在构造赛道里撞出的两个新结果。其一,Kimi K3 构造出一个 124 个顶点、630 条边的图,不含三角形也不含四边环,比 Goedgebeur 等人 2025 年给出的 629 条边下界多了一条——这是极值图论里一个下界的具体推进。其二,GPT-6 Astra 产出一个 [[25,7,6]] 量子纠错码:同样是 25 个物理量子比特保护 7 个逻辑量子比特,最小距离(检测距离)从 Grassl 参考表的 5 提升到了 6。论文措辞很克制,只说「据我们所知,这些构造改进了此前已知的最佳结果」。项目站点也把这些结果标记为可能改进,并报告了来自公开猜想尝试的独立验证特例与下界。
为什么这件事值得记一笔
关于「AI 能不能做真研究」的争论,从来不缺观点,缺的是可核查的证据。TCSExam 把判分交给 Lean 内核:证明过不过内核说了算,没有审稿人滤镜。求解器任务建立在 PACE、DIMACS、ROADEF/EURO 等真实研究社区的基准之上,代码开放,整个流程可复现。当「研究到底做出了多少」变成一道道可逐任务验证的事实,下一个问题就是:这些模型还能在分数之外,堆出多少个真正的定理。论文作者里既有姚期智这样的理论计算机科学泰斗,也有杨植麟代表的产业界力量,这种组合本身也说明,基准正在从刷榜转向验证研究产能。
信息来源
- arXiv:2611.07962(L1):TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research(2026-11-05,姚期智、杨植麟等,确认 100 题四赛道、Lean 判分、GPT-6 Astra 71.9 / Opus 5.5 72.3、630 边图与 [[25,7,6]] 距离 6)
- AIModeling(L2):TCSExam: LLMs Take a 100-Task TCS Exam, Graded by Lean(2026-11-06,独立转述四条赛道结构、两项构造结果与项目站点措辞)
- 网易·智能纪元AGI(L2):清华姚期智和杨植麟联手,大模型开始改写人类数学记录(2026-11-09,交叉核对裸命题定理证明单项 GPT-6 Astra 70% / Kimi K3.1 Pro 38.3% / 其余 ≤11.7%)