基准怎么搭的：一次狩猎的成本结构
这套基准（论文编号 arXiv 2604.19533）给每个模型三样东西：一份威胁简报、一个装着真实 Windows 攻击遥测的 SQL 数据库、以及 50 次查询的预算。每一步（turn，即任意一次智能体动作）模型可以做三件事之一：跑一条查询并看到最多 10 行结果、提交它认为是恶意事件的时间戳、或者调用 give_up 宣告结束。
计分指标叫 Coverage Score，定义是：攻击链上每一个步骤中，有多少比例至少被一个正确提交的恶意事件时间戳所支撑。换句话说，它测的不是「有没有抓到坏人」，而是「攻击链的每一环你都拿出证据了吗」。这个定义很关键——它天然惩罚半途而废，而半途而废正是这套数据要揭示的问题。
需要注意，回合数与查询预算不是一回事。一个回合可以是跑查询，也可以是提交时间戳或调用 give_up，因此回合总数可以超过 50 次查询预算。读表时把「回合」理解成「动作步数」更准确。
这套基准由 Simbian 构建，而 Simbian 同时销售一款 AI SOC 智能体产品。原文自己也写明了这一点：「这是我们的基准，我们也在销售修复方案，所以请自行到 Cyber Defense Benchmark 页面核对轨迹。」本文所有数字均引自该厂商公开页面，并会在涉及产品效果的段落再次标注。厂商公布的自身产品对照数据（前沿大模型单独 46% 覆盖、其 Harness 达到 95%）虽有「经一家全球 MSSP 独立验证」的表述，但未披露审计方名称与验证方法，本文只作引用、不作采信。
头条读数：32 个模型与 45.1%
10 月版共覆盖 32 个模型、1,418 次运行。核心结论有三条，全部指向同一个方向：
| 读数 | 数值 | 含义 |
|---|---|---|
| 参与模型数 | 32 个 | 10 月版共 1,418 次狩猎运行 |
| 居首模型平均覆盖率 | Opus 5，45.1% | 连领跑者也只覆盖了不到一半的攻击步骤 |
| 过半战术数（居首模型） | 13 项中 7 项 | Opus 5 有 6 项战术覆盖率不足 50% |
| 全部战术过半的模型 | 0 个 | 没有任何模型在 13 项战术上全部越过 50% |
| 最弱战术 | 数据外泄（Exfiltration） | 对多数模型而言覆盖率最低，长狩猎模型同样漏 |
把这四条合起来看，画面是这样的：模型不是不会查，而是查到一半就认为自己查完了。原文给了一个具体案例——一次浅层运行把一个恶意域名查询判成真阳性，依据是域名声誉差、DNS 黑洞命中次数多；但它始终没有回答终端属于谁、背后是哪个用户、哪个进程发起的请求。同一次事件的深度运行则发现，被标记的 IP 是一台内部 DNS 解析器，服务大量下游客户端，因此这条查询根本无法定位到具体失陷主机，最终结论定为证据不足。
同一次事件，一次运行给出真阳性、另一次给出证据不足。把证据反过来看，同样的习惯也会把一次真实入侵判定为无害。
七组发布对：升级竟然会退步
这份数据最有价值的部分是一组天然对照：同一个厂商的前后两代模型，在同一套攻击场景、同一套规则下各跑一遍。这已经接近可控实验的上限——当然也只是接近，因为新一代模型变化的不只是「什么时候停」。
| 新一代模型 | 回合数 | 覆盖率 | 上一代模型 | 回合数 | 覆盖率 | 覆盖率变化 |
|---|---|---|---|---|---|---|
| Sonnet 5 | 45 | 19.9% | Sonnet 4.6 | 59 | 36.9% | 减 17.0 个百分点 |
| Opus 4.8 | 34 | 32.7% | Opus 4.6 | 52 | 44.5% | 减 11.8 个百分点 |
| Haiku 5.5 | 7 | 9.3% | Haiku 4.5 | 35 | 17.6% | 减 8.3 个百分点 |
| GPT-6 Luna | 31 | 21.6% | GPT 5.6 Luna | 15 | 15.7% | 加 5.9 个百分点 |
| GLM 5.3 | 54 | 33.9% | GLM 5.2 | 57 | 35.0% | 减 1.1 个百分点 |
| Grok 4.7 | 52 | 37.6% | Grok 4.6 | 53 | 41.3% | 减 3.7 个百分点 |
| GPT 5.6 Sol | 47 | 41.0% | GPT 5.5 | 46 | 37.4% | 加 3.6 个百分点 |
原文的重点放在前三行：Sonnet 5、Opus 4.8、Haiku 5.5 三组出现了回合数与覆盖率同时下降，其中 Haiku 5.5 从 35 回合掉到 7 回合是最刺眼的一个。原文还补充了一个细节：Opus 的对照对象是 4.6，中间隔了两代，而大部分跌幅发生在 4.7 这一代。
但把全表重算一遍会发现一个更宽的现象：七组里有五组覆盖率是下降的，而不只是原文强调的三组。GLM 5.3 与 Grok 4.7 的回合数几乎没变（分别减 3 回合与减 1 回合），覆盖率却各跌了 1.1 与 3.7 个百分点。也就是说，「换模型之后查得更少」是一个比「换模型之后跑得更短」更普遍的问题。这个观察在原文中未被明确点出，是本文重算的增量结论之一。
原创核算：每回合覆盖效率
覆盖率除以回合数，得到一个派生指标：每一回合平均换来多少覆盖率。这个指标原文没有给，但它能把「跑得短」和「跑得没用」区分开。
| 模型 | 每回合覆盖率 | 对照上一代 | 效率变化方向 |
|---|---|---|---|
| Sonnet 5 | 0.442 | Sonnet 4.6 为 0.625 | 下降 |
| Opus 4.8 | 0.962 | Opus 4.6 为 0.856 | 上升 |
| Haiku 5.5 | 1.329 | Haiku 4.5 为 0.503 | 上升 |
| GPT-6 Luna | 0.697 | GPT 5.6 Luna 为 1.047 | 下降 |
| GLM 5.3 | 0.628 | GLM 5.2 为 0.614 | 基本持平 |
| Grok 4.7 | 0.723 | Grok 4.6 为 0.779 | 下降 |
| GPT 5.6 Sol | 0.872 | GPT 5.5 为 0.813 | 上升 |
这张表推翻了一个直觉。Opus 4.8 与 Haiku 5.5 的每回合效率其实是上升的——Opus 4.8 每一回合换来的覆盖率比 Opus 4.6 更高，Haiku 5.5 甚至达到 1.329，是七组里最高的一档。它们的总覆盖率下降，不是因为回合被浪费掉了，而是因为回合根本没跑满就停了。
这个区分对工程实践直接有用。如果效率下降而覆盖率也下降，那说明模型在瞎查，需要改查询策略；如果效率上升而覆盖率下降，那说明模型查得挺准但收工太早，需要的不是更好的提示词，而是外部停止规则。本文据此判断：把「回合数变少」在监控面板上当成提速来看，是这类部署里最容易犯的解读错误。
需要说明，这个派生指标由本文用公开的两列数据相除得到，量纲为「覆盖率百分点每回合」，不同模型之间可作方向性比较，但由于各模型面对的场景集合与随机性未披露，不宜用于精确排名。
跑得更久不等于查得更全
反过来也成立：单纯让智能体多跑几步，并不能修复早停。原文给出的反例是 Nemotron 3 Super——它跑出了 10 月版里最长的狩猎之一，覆盖率却接近垫底。原文的解释是：额外的回合只有在被用于对某个具体假设做验证时，才会转化为调查深度。
还有一组数据支持这个判断：跨全部 32 个模型看，坚持继续查询的智能体通常能找到更多攻击环节，前提是那些额外的查询确实在检验某些东西。Kimi K3 则是一个反例中的反例：它的回合数比 Kimi 2.7 Code 更少，覆盖率却更高，说明回合数本身说明不了太多问题。
把这三组事实放在一起，结论是清楚的：回合数是手段不是目标，覆盖率才是目标，而连接两者的是「有没有在验证假设」。一个缺乏假设驱动的长狩猎，只是把噪声放大了一遍。
战术覆盖：数据外泄这道坎
MITRE ATT&CK 战术维度的结果是这份数据里最值得安全团队警惕的一段。13 项战术中，居首的 Opus 5 只在 7 项上越过 50% 覆盖线；数据外泄（Exfiltration）对多数模型而言是最弱的一项，而且那些跑得最长的模型同样会漏掉它。
原文的点评切中要害：数据外泄是数据离开企业的那一步。一个靠自身「差不多了」的感觉来决定收工的智能体，没有理由主动去查那里——除非外泄被写进了一张它必须逐项勾销的清单里。
更现实的问题是漏报不触发告警。一次误报会有人来复核，一次漏报不会有人被叫醒。原文引用了 CISA 2024 年 2 月关于 Volt Typhoon 的公告作为佐证：攻击者在部分受害 IT 环境中维持访问与立足点长达至少五年。一个静默的漏报，完全可能躺上同样长的时间。
一条独立旁证：提示词推一把值多少分
如果说厂商自己的基准难免有立场，那么下面这组数字来自 Anthropic 自家的系统卡，反而构成一条方向一致的外部证据。
| 来源 | 设置 | 结果 | 差值 |
|---|---|---|---|
| Anthropic 2026 Claude Haiku 5.5 系统卡 | ExploitBench 常规运行 | 能力分 38% | 加 11 个百分点 |
| Anthropic 2026 Claude Haiku 5.5 系统卡 | 加入 Harness：模型提前于预算自愿停止时注入「继续尝试」提示 | 能力分 49% |
这条数据的价值在于它把「早停」从一个观察变成了可干预变量：同一模型、同一基准，只加一条在恰当时候推一把的提示，能力分就从 38% 到 49%。它同时说明，本文上一节提到的 Haiku 5.5 从 35 回合掉到 7 回合这件事，在厂商自己的评测里也是一个已知且可缓解的现象。
需要标注的是，这两次 ExploitBench 运行由 Anthropic 自己报告，且 ExploitBench 与 Cyber Defense Benchmark 是两套不同的基准，分数不可互相折算，只能作方向性佐证。
另外两条外部佐证
SIABench。这是康考迪亚大学与加拿大国防研究与发展部在 2026 年发布的安全事件分析基准。它测出的现象与本文主题相反相成：较新的模型「很少放弃」。其中 GPT-5 在 0.44% 的问题上放弃作答，却有 14.94% 答错——大约每七个问题里有一个是自信地答错的。也就是说，不放弃不代表查得对，早停与硬撑是两种不同的失效模式。
ICLR 2026 的一篇论文。Barkan、Black 与 Sourbut 的研究发现，若干前沿模型在智能体任务推进过程中会变得越来越过度自信。这条为「模型自己决定收工」的机制提供了一个解释：调查过程中没有任何信号告诉它「最后一个恶意事件已经找到」，于是模型自身的怀疑程度成了仅有的刹车，而这个刹车会随着任务推进而松动。
解法：把停止规则移出模型
原文给出的处方是覆盖率驱动的停止规则：一个置于大模型之外的完成判据，只有当「每一个可能改变结论的假设都已被检验、每一个相关 MITRE ATT&CK 战术都已被检查」时，才允许结束调查。
这个处方本身并不新颖，落地的关键在于怎么让判据可核查。原文提到其在自身产品中围绕模型做了五个部件来强制执行该规则，并称在 2026 年 4 月的 Harness 运行中，单独使用前沿大模型达到 46% 覆盖、其 Harness 在同一批场景下达到 95%，且经一家全球 MSSP 独立验证。这一条前文已标注为厂商自述，审计方与方法均未披露，本文不将其作为可比结论使用。
对准备自建的团队来说，更有操作性的是三条：其一，把战术清单做成必须逐项勾销的检查表，而不是让模型自由发挥；其二，把「已验证假设」与「已排除假设」分别记录，作为停止判据的输入；其三，对闭合为无害的案件做定期回猎，因为误报有人复核、漏报没有。
四条读榜检查
- 先看利益关联，再看数字。基准与修复方案来自同一家厂商。这并不意味着数字无效，但意味着应当优先采信那些对本厂产品不利的读数——本文重算出的「五组覆盖率下降」正是这一类。
- 回合数不是效率指标。Haiku 5.5 从 35 回合降到 7 回合在多数仪表盘上会被读成提速，实际覆盖率从 17.6% 掉到 9.3%。应当以覆盖率为主指标、回合数为诊断指标。
- 发布对不是严格对照实验。同一厂商前后两代模型除了停止倾向，还有能力、安全对齐、工具使用习惯等大量差异，且 Opus 的对照还隔了两代。七组数据只能说明相关性，不能归因到单一变量。
- 基准场景与真实 SOC 存在分布差。基准给出结构化 SQL 数据库与固定预算，真实环境里是碎片化的 SIEM、EDR、身份与邮件日志，且没有 50 次查询的硬边界。覆盖率高低与真实告警处置质量之间的映射关系尚未有公开的对齐研究。
综合判断
抛开厂商立场，这组数据揭示的问题本身是真实的、且在其它来源上得到了方向一致的印证：让大模型自己决定何时收工，它会系统性地提前收工，而且新一代模型未必改善、有时更差。Anthropic 系统卡里那条 38% 到 49% 的对照，以及 ICLR 关于任务推进中过度自信的发现，共同构成了一个可信的机制解释。
但把它当成选型依据则操之过急。基准自设、样本为单次运行、厂商销售对照产品、跨代对比不控变量，这四层折扣叠加之后，合理的用法是把它当作一面镜子照自己的部署：把停止规则从模型里拿出来、把战术清单变成强制勾销项、并对闭合为无害的案件做回猎。至于具体模型排名，本文不建议据此做采购决策。目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。