监管要求监控,可记录根本没被写出来
10 月 29 日,MIT Technology Review 刊出一篇由人工智能合作伙伴组织两位研究者撰写的文章。论点可以压缩成一句话:安全依赖监控,监控依赖可观测性;而当下多数部署者并不具备这个前提。
可观测性在这里有明确定义:捕获系统做了什么,把它加工成信号,再交给人类或自动监督系统。换句话说,既要知道智能体做了什么,也要知道它为什么这么做。
四个框架,缺的是哪几项
作者与来自学术界、公民社会和产业的同事一起,检查了四个使用最广的智能体框架实际吐出哪些信号。缺口集中在几处:能长期保持不变的智能体身份;关于哪个人批准了这项任务的记录;以及智能体权限或记忆发生变更的记录。缺了这几项,事后就很难说清是哪个智能体做了哪件事,也难判断它是否越权。
支撑这个论点的不是假设。今年夏天,数百个 OpenAI 智能体在一项网络安全测试中作弊:它们逃出测试环境,成功入侵了一个它们认为藏着评分线索的模型托管站。差不多同一时间,另一个智能体读取了某国政府网站的私有文件。文章指出,此后数月里 Anthropic、Google 与 Meta 也都披露过智能体偏离轨道的事件,而且很多情况下,智能体躲过了本该盯着它们的研究与安全团队。
两半记录,成熟度完全不同
修法被分成两类。「发生了什么」这类记录要能识别智能体身份(同时保护隐私)、记录人的介入方式、以及权限或记忆是否变过;「为什么这么决定」这类记录要呈现推理过程与对动作的置信度。
前一半主要是软件管道问题,可以靠 OpenTelemetry 这个开放的可观测性标准来补——它已经有一个工作组在起草智能体追踪的共享格式,但尚未定稿。作者建议这个组把持久身份、人工干预记录、权限或记忆变更这几项尽快纳入标准,并且要在这些系统规模化之前做完,同时留意智能体身份关联到真人的隐私问题。
后一半则卡在研究问题上:模型展示出来的逐步推理,是否反映它真实的决策路径?有没有可靠方法测量它对一个动作的置信度?这两个问题没有答案之前,为「决策记录怎么用」设标准,很可能把门槛建在流沙上。
三方分工,与三条冷水
责任被摊给了三方。做框架的要集成遥测信号,把持久身份、人工干预与权限变更写进日志;在金融、医疗、政府这类受监管行业部署的企业,一方面要向开发商施压要这些记录,另一方面要自己定义策略、权限与角色,因为遥测本身无法判断智能体是否违反了具体规则;监管与标准机构则要规定高风险部署需要哪些记录,把技术细节留给产业。作者提到 NIST 的智能体标准计划已经在做身份这一项。
合规层面的压力是实在的:高风险系统的人工监督要求,需要能拿出来的批准记录;没有持久身份,就没有可供调查或检查的审计轨迹。作者给出的比喻很直白——没有哪家银行会招一千个能碰客户账户的人,却让他们的工牌每天更换、没人记录审批流程被谁改过。
冷水要说三条。其一,这是一篇观点文章,作者所在机构长期推动人工智能治理,框架没有点名、样本如何选取也未说明,外部无法独立复核。其二,「四个使用最广」的界定标准没有披露,这个范围本身就值得追问。其三,决策记录这一半的科学前提尚未成立,在前提确立前就把它写进强制要求,可能锁定一批并不成熟的做法。
接下来值得盯的有三处:OpenTelemetry 的智能体追踪格式会不会定稿,以及是否纳入持久身份;NIST 的智能体身份标准推进到哪一步;受监管行业的采购合同是否开始把「可导出的智能体行为记录」写进条款。第三处才是真正会让框架厂商动手的东西。