把隐私法规翻译成智能体的考卷,这件事过去一直卡在中间层:原则谁都懂,题目没人出。10 月 13 日提交 arXiv 的 AgentCIScope(编号 2610.19158)把这件事做成了流水线——来自芝加哥大学、微软研究院与伊利诺伊大学厄巴纳-香槟分校的团队,拿「情境完整性」理论当地基,铺出 936 道可执行任务、12 种智能体配置、56160 条轨迹。结论有点扎手:任务完成能力和隐私合规,基本是两件事;某些配置下单次运行的敏感信息泄露率高达 94.4%,而同一批框架里谨慎的只漏 32.5%。

一部隐私法,怎么变成智能体的考题隐私法与政策GDPR / HIPAA 等7 部法规打底CI 契约212 个契约实例143 公开 + 69 合成可执行任务936 个任务横跨 11 个应用裁判判卷GPT-5.4与人工 92% 一致受评的 12 种智能体配置(4 框架 × 8 骨干)Claude Code · OpenClaw · OpenAI Agents SDK · Google ADK骨干含 Claude Opus 5 / GPT-6 Astra / Kimi K3 / Grok 4.6 等每任务重复 5 次,共产出 56160 条轨迹它想回答的问题任务完成能力强,不代表敏感信息流得合规。真值三层保障:39 类属性固定分类 + 三角色一致程序(9 次判断需全票)+ 与隐私政策原文核对
图|流水线四段:法律变契约、契约变任务、任务进智能体、裁判对着属性分类判卷。读图要点:这是一条把抽象隐私原则变成可重复打分的工程链路。

一部隐私法,怎么变成一道题

情境完整性是隐私研究里的老框架,核心一句:信息该不该流,不取决于信息本身多敏感,而取决于它从哪个场景来、到哪个场景去、经谁的手。AgentCIScope 把这句话拆成工程步骤。先是七部法规与政策打底(GDPR、HIPAA、ADA、Privacy Act、GLBA、FCRA、FERPA),抽出 212 个 CI 契约——143 个来自已有基准的公开案例,69 个合成种子;再实例化成 936 个可执行任务,横跨 Gmail、日历、Slack、Salesforce、WhatsApp、PayPal、Expedia、Booking 等 11 个应用环境,平均每个任务串 2.3 个环境,39 种跨环境组合。受保护属性收了 2771 个,归成 10 大类 39 种细粒度类型。

真值怎么立住,论文下了三层功夫:属性分类体系固定;Westin 三类别模型(隐私原教旨、务实派、无所谓)各采样三次共九次判断,要求全票一致;再与隐私政策原文核对。判卷的 GPT-5.4 与人工的一致率 92.0%(κ=0.83),属性级 95.5%。这套配置的意义在于:它把「智能体有没有泄露隐私」从主观吐槽变成了可重复打分的读数。

能力越强,漏得越多,而且漏得很有品味

反直觉的读数一个接一个。先说总量:12 种配置(Claude Code、OpenClaw、OpenAI Agents SDK、Google ADK 四个框架,配 Claude Opus 5、Claude Sonnet 5、GPT-6 Astra、Kimi K3、Grok 4.6、Gemini 3.1 Pro、Gemini 3.7 Flash、Gemini 3.8 Flash 八个骨干)单次运行的任务级泄露率,从 32.5% 横到 94.4%。注意一个错位:任务完成率(BSR)越高的配置,泄露往往越凶——Kimi K3 配 OpenClaw 的 BSR 到了 98.2%,单次泄露率 88.4%。会干活和懂规矩,在这份读数里几乎不相关。

更有意思的是泄露的「品味」。按属性看,个人偏好平均泄露率 84.7%,预订信息 76.5%,而 SSN 只有 29.4%、信用卡信息 17.1%。智能体对「看起来就像敏感」的字段管得严,对偏好、行程、通信记录这类「不那么敏感」的反而随口就说。政策维度是同样的模式:FERPA(教育记录)违规率最高,HIPAA、ADA、FCRA 这些传统高敏感类别反而低。它防的是字段的相,不是信息的流——这恰好是情境完整性想抓、而字段级防护抓不住的那类漏。

单次运行的任务级泄露率:32.5% 到 94.4%按属性看:偏好比信用卡更不设防个人偏好84.7%预订信息76.5%SSN29.4%信用卡17.1%条形长度 = 平均属性泄露率(论文口径)同一个模型,换框架差 11 个点Claude Opus 5 × Claude Code32.5%同一个 Opus 5 × OpenClaw43.6%GPT-6 Astra 在两种框架间也差出 8 个多百分点。还有一个容易被漏掉的读数:同一任务连跑 5 次,泄露率并集再涨 4–19 个百分点跑一次没漏,不代表这个任务安全——它在另一个随机种子里会漏。单次通过率因此不能直接当作生产环境的隐私保证。
图|左图为四类属性的平均泄露率,右图为同模型跨框架差距。读图要点:智能体对「看起来敏感」的字段更谨慎,对偏好与行程反而随手分享。

框架比模型更决定命运

同一块骨头换一锅汤,味道能差出十个点以上。Claude Opus 5 这个骨干,在 Claude Code 下单次泄露 32.5%,挪到 OpenClaw 上变成 43.6%;GPT-6 Astra 在 OpenClaw 与 OpenAI Agents SDK 之间也差出八个多百分点。对正在选型的人,这条比模型榜更实用:隐私表现是「框架 × 模型」的联合属性,只比模型分数会看丢半个变量。

环境维度还有一张容易被忽略的图。作为泄露来源,日历平均泄露率最高;作为泄露目的地,WhatsApp 排头名,Atlassian 对除 Opus 5 与 GPT-6 之外的大多数配置都特别高。且高泄露来源与高泄露目的地并不重合——日历爱漏、WhatsApp 爱收,防御只堵一头等于没堵。论文给企业部署的直接含义:日历类日程数据与即时通讯类出口,应该被当成两个独立的高危面分别评估。

跑五次,比跑一次漏得多

还有一个对生产环境特别要紧的读数:同一任务连跑五遍,泄露率并集会再涨 4 到 19 个百分点,Claude Sonnet 5 配 Claude Code 的涨幅到 19.3 个点。单次测试没漏,不代表这个任务安全——它可能在另一次抽样里漏。这正好接上本站上周立的四道关:Chainguard 那类隔离与证明管的是「关得住」,这份基准补的是另一问——放出来之前,你其实不知道它会在第几次运行说漏嘴。

需要保留的怀疑

边界有四条。基准刚发布,未经独立复现,12 种配置都是快照,框架迭代可能直接改写读数;情境完整性只是隐私规范的一种框架,换成其他文化语境或法域,「合规」的定义本身就会挪位;判卷的是 LLM,92% 一致率不错但不是满分;泄露定义依赖那套 39 类属性分类,分类之外的流出去向不在计分范围内。它是一把新尺子,不是终审判决。

目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。能给团队的三条动作:选型时把泄露率按「框架 × 模型」分开测,别只看模型;上线前把同一任务重复运行,用并集而不是单次通过率说话;日历与 WhatsApp 这类来源—目的地组合,值得一份单独的评估。隐私这门课,智能体才刚刚开始补。