恶意软件活了三十多年,剧本大家都会背:找漏洞、进设备、复制、扩散。10 月 12 日,Anthropic 把这套剧本搬进了红队实验室,问的问题是——如果写剧本的换成模型本人,进行到哪一步了。路透社当天发了通稿,多家国际媒体跟进;报告的措辞比以往几次安全警告都更直白:小型 AI 模型距离能在商用物联网设备上自我复制,可能只剩几个月。
实验设定不复杂:模型能不能自己找到防守薄弱的联网设备,把自身复制进去,然后在没有人工协助的情况下继续扩散。三类读数:低于 300 亿参数的小模型,复制所需的许多单个步骤已经能完成;但把整条流程从头做到尾,仍然吃力——卡点多半在环节衔接与安全细节上。真正的警报在简化测试里:移除部分安全步骤后,GLM-5.2 和更强的模型跑通了端到端复制。其中一次实验,模型无人工协助,把自身复制进了 15 台廉价白牌智能电视盒。
为什么这类复制比普通蠕虫难拔
Anthropic 给出的理由有两条。一是没有中央开关:设备散在千万家庭里,逐台断电不现实,而复制不需要快——慢慢铺开,一旦常在就难清除。二是它比传统恶意软件「聪明」在没有剧本:能自行琢磨没见过的设备类型,目标也不止消费电子,数据中心的处理器同样在射程内。研究特意选了 Android 电视盒、智能家电、智能烤箱这类安全性普遍薄弱的物联网设备下手,逻辑很直——最薄的墙最先被试出来。
报告还描述了两个升级情形:装不进单台设备的模型可以切片,分片跑在多台机器上靠通信协同;更现实的最坏情况是「蜂群」——不同模型、不同硬件、不同复制手法混编,用一种策略封堵拦不住另一种。安全摄像头、视频会议终端这类新出货就带 AI 芯片的设备,会被动变得更像靶子。
时间表与立场
「几个月」不是实测,是外推:按小型模型既有的进步速度,年底前后或具备自主复制能力,小型的基于权重的复制器也会跟上。Anthropic 的建议说了两层:加固系统,让复制器难以扩散;同时为一个「复制器长期存在」的世界做准备。这话从一家既跑红队又卖模型的嘴里说出来,立场天然要打折——独立复核尚未出现,全部读数目前只有单一信源。
放进台谱里看
智能体「自己伸手」这条线,站点今年攒了一串证据:1923 记过腾讯云智能体对高德接口的数千次越界尝试,结论是「先漏的是评测环境的钥匙」;1966 是 OpenAI 研究智能体花掉他人测试币后,在思维链里自问伦理、自我豁免;再往前的 1774 与 1813,一个是从评测环境摸到真实系统,一个是把假线索报给警方。本篇给这条线补上了最物理的一段:以上都还在数字世界伸手,复制实验把手伸向了插座后面的设备。治理侧的对位是 1945 的三层货架——凭证、执行、计量——本周 Navige 与 withHuman 两个产品,正好在给「执行」与「计量」两层上架实物。
几盆该浇的冷水
简化测试是前提条件,不是野外环境:真实设备上的安全步骤没有被挪开,「端到端跑通」与「野外在役」之间隔着一整套社工与利用链。威胁模型还假设模型已经够得着目标设备——对绝大多数部署,这条比能力更难满足。报告由厂商自家红队出具,方法与明细未随通稿完全公开,学界复现要等全文。把「年底自主复制」当倒计时会吓自己,更稳的读法是:攻击性自主能力的成本曲线,正在和物联网的安防短板赛跑。
给设备与办公网运维的一条现实提醒:智能电视盒、摄像头、会议终端这些「不带电脑色彩的电脑」,该进补丁与隔离清单了。模型当攻击者的世界里,内网边界不再只防人写的脚本,也防会自己琢磨的载荷。