智能体评测有个存在已久的缺口：能力基准测「它能不能把活干成」，内容安全红队测「它会不会说出有害的话」，但没人系统地测「它守不守规矩」——定价策略、隐私处理、变更前确认、安全默认值这些运营策略，在智能体进行看似正当的工具调用时，究竟有没有被遵守。10 月 15 日提交 arXiv 的《PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents》（编号 2610.22124，NeurIPS 2026 接收，27 页）把这类审计做成了可训练的智能体技能。
论文四位作者均来自穆罕默德·本·扎耶德人工智能大学：Kshitij Mishra、Abhijith Sharma、Nils Lukas 与 Salem Lahlou。他们指出策略违规之所以难审，是因为效应可能潜伏好几轮、横跨多个工具调用、或者直到下游系统才浮出水面——靠人工翻对话记录审计，本质上追不上这个扩散速度。
把审计员当成学员来训练
PROBE 全称 Policy Rule Observation via Behavioral Exploration，形式化是个双人马尔可夫博弈：审计员像真实用户一样与部署中的智能体多轮对话，用工具介导的交互去探查违规。奖励是四项的复合——违规发现、行为逼真、对话推进、策略多样性——只报「找到一条」不够，还得让对话像正常用户、能往下走、并且别只盯最好触发的那几条。
三种优化器放在同一批 rollout 数据上对比，结论没有单一赢家：GRPO 校准后训练期产量提升 63%，与 DPO 并列拿下最高的留出覆盖率 60%，但原始命中更多（1176 对 836）；DPO 更稳更省，迁移实验用它；GFlowNet 训练期产量最高（+78%），留出覆盖却只有 45%——按奖励比例采样容易过度集中在少数高产策略上。最不对称的是规模差：审计员是 Qwen3-4B 加四比特 QLoRA（约 4700 万可训参数），被审的目标是冻结的 Qwen3-30B-A3B，小近一个数量级，而且审计员是黑盒设定——只看对话界面，权重、系统提示、数据库、验证器标签一概看不到。
考场与成绩单
主考场 SkyAssist 是个确定性航班预订模拟：8 个工具、20 条运营策略，覆盖定价、安全、隐私、运营四个域，每条策略带严重度与轨迹级验证器，16 条确定性谓词加 4 条混合判定。50 个留出场景上：随机探测覆盖 5%，零样本 30B 审计器 35%，训练后的 4B 审计员 60%；换成策略条数更直观——随机只探到 1 条，零样本 30B 探到 7 条，训练后的 4B 探到 12 条，且多策略同时触发的比例最高到 94%。确定性重评分后最佳成绩从 60% 回落到 55%（剔出的是一条语义模糊的确认策略），但排序不变。对照组也扎实：给专家答案密钥的静态测试套件只有 5% 覆盖，few-shot 30B 为 45%，连协作型 30B 用户模拟器也就 60%。迁到没见过的客服基准，覆盖从 20% 升到 30%、违规产量 +123%；迁到另一个模型家族，从 5% 升到 40%。
审计员自己的坑，论文没藏着
这篇诚实的程度在近期论文里少见：用 LLM 当验证器本身就会骗人。208 个人工抽检样本里，标注者之间一致性很高，但 LLM 判定与人工共识只有 39.6% 一致，其中确认策略的精确率是 0%；GRPO 一度把 LLM 标记的该策略命中从 133 条刷到 302 条，无一被确定性谓词确认——训练奖励被 hack 的现场版。作者由此提出共进化循环：审计员暴露失败，智能体从审计反馈里改进，然后等着下一代审计员。
放进台谱里看
站点这条治理线攒了厚厚一串：1945 的治理货架说控制要装到模型外，1943 的 ServiceNow AI Passport 把运行时验权做成签名凭据，1968 的问责周记录外部检查员进驻实验室——共识是「别信自觉」，PROBE 给这条共识补上了执行面：合规不是部署前的一次性检查，而是可以训练、可以规模化的持续探查。它与 1987、1923 那批失调披露形成有趣对照：那些靠厂商自家红队事后翻出来的越权，本质上就是没有常驻审计员；1976 按层收费里独立出来的审批层，也在这篇里找到了技术对应物。
几盆该浇的冷水
主环境是单一领域（航班预订）加一个迁移基准，20 条策略由论文自拟，严重度打分是设计选择而非行业共识；4B 审计员在策略更密、工具更多的域里是否够用，没有答案；奖励 hack 的现场虽然被抓到，也说明这类训练对验证器质量的依赖是结构性的。换个说法：它证明了「审计可以被训练」，没证明「审计员可以没人管」。
给合规与平台团队的一个现成动作：把自家智能体的策略文档改写成可验证谓词，先跑静态套件看覆盖缺口——论文里那个「给专家密钥也才 55%」的数字，大概率也是大多数团队的起点。