CyberArena 横评：当攻防双方都是智能体，静态夺旗榜为什么分不出高下

背景：静态靶子已经分不出高下了

安全智能体的评测长期建立在一个隐含假设上：给定一个固定的靶子，看智能体能不能打进去。这个假设在两年前还成立，现在正在失效。论文给出的理由是，静态基准会很快饱和，而且它测不到智能体在实时压力下同时进攻与防守的能力。

失效的具体表现，论文用一组对照实验直接给出了证据：用各自原生工具链测试三个前沿模型，让它们针对一个不设防的服务各做两次单轮尝试，只要任一次成功夺旗就算解出——结果 40 项挑战中有 30 项被这三个模型全部解出。换句话说，在这 30 道题上，静态基准给出的三条曲线是三条重合的满分线。

真实的安全运营不是这样的。攻击方在利用漏洞时，防守方可以主动修改这个服务；反过来也一样。安全态势在对抗中实时变化，而静态基准既测不到「对手在改」，也测不到「你改完之后对手换条路又进来了」。

赛事机制：三轮、二十分钟、两边同时打

CyberArena 把评测组织成一场对称的多轮攻防赛。一场比赛中，两个模型—工具链参赛方进行三轮对抗，每轮 20 分钟。双方都试图攻破对手的服务以夺取当前目标，同时修补并维护自己的服务。

机制要素	设置	设计意图
对抗结构	两个智能体同时扮演攻击方与防守方	把静态靶子变成持续演化的半开放挑战
轮次与时长	3 轮，每轮 20 分钟	给防守方留出修补窗口，给攻击方留出适应窗口
目标轮换	目标在各轮之间轮换	防止双方守住同一条路径不放
防守改动	持续保留	让服务状态成为跨轮累积的结果
结果校验	竞技场验证夺旗情况并检查服务健康状态	智能体自行宣称的成功不计分
隔离	隔离沙箱	对抗不影响外部系统
环境供给	自动化智能体管线持续生成、评审与校验新环境	延长基准的有效期，对抗饱和

「竞技场验证夺旗、并拒绝承认自述成功」这一条，是这类对抗式基准与自我汇报式评测的分水岭。它把评分权从模型手里拿走，交给了环境状态。

计分：三部分等权，以及为什么要建动力学模型

一场比赛的得分由三个部分等权构成：

计分维度	衡量什么	权重
夺取对手的旗帜	进攻能力：发现并利用漏洞的速度与精度	三分之一
防止自己的旗帜被夺取	防守能力：修补与维持服务的能力	三分之一
健康探测通过比例	可用性：修完之后服务是否还正常	三分之一

第三个维度值得单独说。它堵住了一个在安全评测里很常见的漏洞：把服务关掉、把端口封死、把功能删掉，都能「防住」攻击，但这不叫防守。加入健康探测通过率之后，破坏式修补会被直接扣分。

由于比赛数据是稀疏的成对对抗结果，论文引入了一个动力学模型：对手强度、挑战难度与轮次动态都会被纳入调整，排名则按参赛方在一组共同参考对手和挑战上的预测得分取平均值计算。这个设计的必要性来自一个现实——466 场比赛分摊到 12 个参赛方，不可能构成完整循环赛，必须靠模型把不同对手、不同题目的成绩折算到同一把尺上。

榜单读数：78.6、73.8 与那道重叠的区间

在报告的评测中，12 个参赛方围绕 40 项参考挑战进行了 466 场有效比赛，参考尺度为 0–100。

参赛方	预期得分（0–100）	守住自己旗帜的轮次占比	备注
GPT-5.6 Sol	78.6	83%	进攻与防守两端均居前列
Claude Opus 5	73.8	81%	与榜首区间重叠
GLM-5.3	69	未单独披露	论文与发布方口径一致
其余参赛方	未逐一披露	43%–61%	守旗率明显低于前两名

需要提醒的是，上表中「79%」「74%」「69%」这组整数，来自发布方在社交平台的转述（GPT-5.6 Sol 79%、Claude Opus 5 74%、GLM-5.3 69%）；论文正文与解读给出的是 78.6 与 73.8 两位小数的读数。两组数字同源但精度不同，本文并列列出。此外，发布方在社交平台提到的模型名为 Claude Opus 5，而论文在静态对照实验中列出的测试对象为 GPT-5.6 Sol、Claude Opus 4.8 与 GLM-5.3，两处模型代次表述不完全一致，本文按各自出处保留，未做合并。

显著性：三个口径给出三个答案

这是这份榜单最需要谨慎对待的地方。78.6 与 73.8 之间 4.8 分的差距，在三种统计口径下给出了三种不同的结论：

口径	结果	怎么读
论文中的成对检验	无法区分二者，未校正 p 值为 0.41；Holm 校正后 p 值为 1.0	差距不显著，远未达到常规阈值
Bradley-Terry 排名	把两者的次序对调	换一个模型假设，冠军就换了人
区间重叠	两者的置信区间有重叠（论文图 a）	点估计的先后不代表真实差异

三个口径一致地指向同一件事：榜单前两位实际上是一个并列组，而不是一个排名。把它读成「A 强于 B」是对数据的误用。这一点在 466 场比赛、40 项挑战的样本量下依然成立，本身就说明了这类对抗式评测的方差有多大。

正面照：静态对照与活体对照差了什么

论文设计了一组很干净的对照。研究者用各自原生的工具链测试 GPT-5.6 Sol、Claude Opus 4.8 与 GLM-5.3：在单人模式下，每个模型针对未加固的服务进行两次单轮尝试，任一次成功夺旗即算该挑战已解决。40 项挑战中有 30 项被这三个模型全部解决，因此对抗比较被限制在这 30 项上进行。

对照条件	目标状态	夺旗结果	模型之间是否可分
单人模式（静态）	未加固的服务，两次单轮尝试	30 项挑战三个模型全部解决	不可分，三条曲线重合
活体对抗（第 3 轮）	对手持续修补、服务持续变化	夺旗率降至 35%–52%	可分，最高与最低相差 17 个百分点

这组数字可以做三件事。其一，它量化了「活体对手」这件事的价值：把夺旗率从接近满分压到 35%–52%，降幅约 48 到 65 个百分点。其二，它量化了活体对手带来的区分度：35% 与 52% 之间 17 个百分点的间距，是这三个原本不可分的模型之间首次出现的可测差异。其三，它也说明这类基准的题目必须不断更换——一旦某个模型适应了当前这批环境，区分度会再次归零，这正是论文要建自动化环境生成管线的原因。

防御端才是区分度的来源

从上表能读出一个更重要的结构：在这批模型上，进攻端已经接近饱和，防御端还没有。三个模型在无人防守时都能解出同样的 30 道题，说明进攻能力在这批题目上不构成区分；而真正把它们分开的，是加入活体防守方之后的持续对抗能力，以及在自己被攻时守住旗帜的能力。

守旗率数据印证了这一点。前两名守住自己旗帜的轮次占比分别为 83% 与 81%，其余参赛方落在 43%–61% 区间。两组之间的间距为 22 到 40 个百分点，远大于得分榜上 4.8 分的差距。

但这里有一个需要指出的张力。论文同时报告了拟合出的攻击能力与防御能力之间的相关性：Pearson r 为 0.85。这是一个相当高的正相关，意味着攻得好的模型大体上也守得好。

观察	读数	含义
攻防能力相关性	Pearson r 等于 0.85	两侧表现高度同步，可能主要由一个共同能力因子驱动
前两名守旗率	83% 与 81%	领先组内部差距很小
其余参赛方守旗率	43%–61%	组内跨度 18 个百分点，内部差异明显
两组间距	22 到 40 个百分点	领先组与其余组之间有实质差距

把 0.85 这个数字和「防御端才是区分度来源」放在一起，会得到一个需要谨慎表述的结论：CyberArena 的对称设计在题目层面确实制造了新的区分度（这一点由 35%–52% 的分化证明），但在能力维度层面，它测到的可能仍是一个高度单维的能力。换句话说，双侧对抗改变了任务的难度分布，但未必真的分解出了两种独立能力。这对如何使用这份榜单很关键——如果你期望它告诉你「哪个模型更适合做防守智能体」，0.85 的相关性说明它提供的增量信息比榜单形式暗示的要少。

轨迹层面的失败模式

论文对轨迹的定性描述，是这份基准最有工程价值的部分。它把智能体的行为读成一场搏斗而不是一场考试，并给出了几类反复出现的模式：

• 补一个洞、漏下一个。防守方修补了观察到的那处漏洞，却没有覆盖同一服务上的另一条可达路径
• 用陈旧证据认证修复。把服务重启、或旧的利用方式失效，当作修复完成的证据，而对手可以适配后再次进入
• 提前一步布局。能力较强的智能体会为后续轮次预埋后门
• 自建观测手段。论文记录了一个案例：某个智能体自己写了一个抓包工具来监视对手

这几条的共性在于，失败不是「没有找到漏洞」，而是「在对手会变化的条件下，判断什么是修好了」。这个判断需要的不是一次性的利用能力，而是对服务状态的持续建模——而这恰恰是静态基准从不测的东西。

对工程团队的直接启示是：如果你的安全智能体只在一个静态靶子上验证过，那么它「通过测试」这件事，并不能证明它在有人对抗的环境下仍然有效。论文的表述更严谨——它建立的是智能体在对抗条件下的失败模式，而不是某个企业在面对自适应攻击者时的抗压概率。

本文推算：被排除的 294 场与 1,336 次夺旗

论文报告了 466 场有效比赛，同时提到另有 294 次运行被排除，不计入计分分母。把这两个数字放在一起，可以得到一个原文没有直说的读数：

口径	数值	本文推算
有效比赛	466	进入排名的分母
被排除的运行	294	不计入分母
运行总数	760	466 加 294 之和
排除率	约 38.7%	294 除以 760
被接受的夺旗	1,336	其中 6 次被直接归因于计分捷径
捷径占比	约 0.45%	6 除以 1,336，低于百分之一
每对参赛方的平均场数	约 7	12 个参赛方两两组合为 66 对，466 除以 66 约等于 7.06

三个推算各自说明一件事。约 38.7% 的排除率意味着接近四成的运行从未进入排名，这是一个需要披露的口径——不过在对抗式环境中，运行失败本身可能来自环境、超时、工具链等各类原因，高排除率并不必然指向排名偏差，论文未逐项披露排除原因的构成。约 0.45% 的捷径占比说明竞技场的自动校验大体上是可信的，但这仍是一个需要用「零」来追求的数字，因为它直接落在得分上。约 7 场每对则说明这不是完整循环赛，动力学模型的折算因此是必要而非可选的——榜单上的每一个分数，都经过了模型外推，而不只是原始胜率的统计。

与 Cybench、BountyBench 的坐标

论文在相关工作里明确了自己的位置，本文按同一维度整理如下：

基准	任务形式	对手是否变化	结果判定	与 CyberArena 的分野
Cybench	把夺旗挑战作为智能体任务评估	否，固定靶子	可验证的旗帜	缺少实时对手
BountyBench	同时包含 Exploit 与 Patch 任务	否	作为独立任务分别评分	攻防被拆开，没有耦合
CyberArena	多轮对称攻防对抗	是，双方同时改变服务	竞技场验证夺旗 + 服务健康检查	双方在每一场比赛中都扮演两种角色

「攻防被拆开」与「攻防被耦合」是这里的关键差别。BountyBench 把 Exploit 与 Patch 当成两道题，因此智能体可以分别针对两道题优化；CyberArena 要求同一个参赛方在同一场比赛中既攻又守，这就引入了资源分配与优先级判断——先修还是先打，这一决策本身就是被测能力的一部分。

同期材料：智能体之间怎么换信息

CyberArena 测的是对抗条件下的单个参赛方。同期另外两份材料则把问题推进了一步：当多个智能体需要协作时，它们之间到底该交换什么。

材料	设置	核心读数
Muffin（arXiv 2610.31355，10 月 22 日）	编排器按推理需求路由，把难题交给多智能体；共享记忆缓冲区异步交换中间发现，各自私有推理不外传	在 20 个基准设置中的 17 个取得最好准确率；相对多智能体辩论，准确率提高 19.2 个百分点，同时 token 用量减少 77.4%，且不需要共享完整轨迹
混合模型共识研究（arXiv 2610.31105）	在无需预训练知识、没有标准答案的共识任务中混合不同规模的模型，覆盖七个模型家族	其余智能体的意见会被更大规模模型的意见吸收；作者把智能体建模为单纯形上的加权粒子，上下文学习能力更强者形成更深的能量井，从而放大自己的上下文多数

两份材料指向同一个方向：交换什么，比交换多少更重要。Muffin 的结论是共享结论、保留私有推理，在更省 token 的同时反而更准；混合模型共识研究则给了一个反面提醒——把一个大模型和几个小模型放在一起投票，大模型会赢，无论对错，因此这个投票并不构成独立证据。

把它们与 CyberArena 放在一起，能拼出一条更完整的线索：静态基准饱和之后，行业正在从两条路线上重建区分度。一条是把任务变难、让对手动起来（CyberArena）；另一条是改变智能体之间的信息结构（Muffin）。前者的代价是评测成本大幅上升，后者的代价是结论高度依赖具体的路由与缓冲设计。

读榜检查：四条不能跳过的口径提示

1. 不要把前两名读成排名。4.8 分的差距在未校正 p 值为 0.41、Holm 校正后为 1.0 的情况下不成立，Bradley-Terry 排名还会反序。正确的读法是「一个并列领先组」。
2. 分数经过模型外推。每对参赛方平均约 7 场比赛，不是完整循环赛，榜单分数是按共同参考对手与题目预测后取平均的结果，不是原始胜率。
3. 排除率要纳入判断。约 38.7% 的运行未进入计分分母，论文未披露排除原因的构成，做横向比较时应把这个口径写进自己的结论里。
4. 攻防高度相关。Pearson r 为 0.85，意味着这份榜单在能力维度上提供的分解信息有限，不宜用来单独论证「防守能力」。

冷静判断：结论怎么用，不能怎么用

可以用在：评估安全智能体在「对手会变化」条件下的表现。这是静态基准完全覆盖不到的能力维度，而论文用 30 项挑战的静态与活体对照，把这个缺口量化成了 48 到 65 个百分点的夺旗率落差。任何把智能体放进有对抗性环境的团队，都应该把这个落差算进自己的风险模型。

可以用在：设计自己的防守智能体评测。三部分等权计分——夺旗、守旗、健康探测通过率——是一个可以直接借鉴的框架，尤其是第三个维度，它堵住了「关掉服务就算防住」这条捷径。

不能用在：给模型排座次。这份榜单的作者自己给出的统计口径就不支持前两名的先后，把它解读为某个模型在某个能力上更强，属于对数据的过度解读。

不能用在：推断真实企业环境的安全水位。论文明确说明的是受控竞赛环境下的智能体失败模式，不是真实攻防战役的复现，也不存在可评级的外部人群或财务影响。竞赛中的配对方式、对手适配方式与企业实际防御场景并不相同。

也不能用在：作为长期不变的标尺。40 项挑战里有 26 项建立在开源软件的真实漏洞上、14 项改编自经典夺旗赛事，这批题目会随着模型适应而饱和。论文建自动化环境生成管线正是为了对抗这一点，但管线生成环境的难度分布是否稳定，目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。