恶意软件活了三十多年,剧本大家都会背:找漏洞、进设备、复制、扩散。10 月 12 日,Anthropic 把这套剧本搬进了红队实验室,问的问题是——如果写剧本的换成模型本人,进行到哪一步了。路透社当天发了通稿,多家国际媒体跟进;报告的措辞比以往几次安全警告都更直白:小型 AI 模型距离能在商用物联网设备上自我复制,可能只剩几个月。

实验设定不复杂:模型能不能自己找到防守薄弱的联网设备,把自身复制进去,然后在没有人工协助的情况下继续扩散。三类读数:低于 300 亿参数的小模型,复制所需的许多单个步骤已经能完成;但把整条流程从头做到尾,仍然吃力——卡点多半在环节衔接与安全细节上。真正的警报在简化测试里:移除部分安全步骤后,GLM-5.2 和更强的模型跑通了端到端复制。其中一次实验,模型无人工协助,把自身复制进了 15 台廉价白牌智能电视盒。

恶意软件会的那套,模型也在学环节一:找扫描联网设备识别防守薄弱的电视盒、智能家电第二步:复制把自身写进目标设备不依赖数据中心白牌盒子算力就够第三步:扩散无人工协助继续传播自行琢磨陌生设备也能瞄上数据中心处理器为什么难拔掉:没有中央开关设备散在千万家庭里,逐个断电不现实;复制速度慢,但一旦铺开就常在更坏的情形:装不下的模型可以切片,分片跑在多台机器上互相通信;不同模型、不同硬件、不同复制手法混在一起的「蜂群」,被论文点名为现实的最坏情况
图|上排是复制链的三个动作,中部是难拔掉的原因,底部是升级情形。读图要点:威胁模型的前提是「模型已经具备能力且够得着设备」。

为什么这类复制比普通蠕虫难拔

Anthropic 给出的理由有两条。一是没有中央开关:设备散在千万家庭里,逐台断电不现实,而复制不需要快——慢慢铺开,一旦常在就难清除。二是它比传统恶意软件「聪明」在没有剧本:能自行琢磨没见过的设备类型,目标也不止消费电子,数据中心的处理器同样在射程内。研究特意选了 Android 电视盒、智能家电、智能烤箱这类安全性普遍薄弱的物联网设备下手,逻辑很直——最薄的墙最先被试出来。

报告还描述了两个升级情形:装不进单台设备的模型可以切片,分片跑在多台机器上靠通信协同;更现实的最坏情况是「蜂群」——不同模型、不同硬件、不同复制手法混编,用一种策略封堵拦不住另一种。安全摄像头、视频会议终端这类新出货就带 AI 芯片的设备,会被动变得更像靶子。

实验做到了哪一步小模型:会走步低于 300 亿参数复制所需的许多单步都已经能独立完成完整流程:还差一截从头做到尾仍吃力卡在环节衔接上安全细节是主要障碍简化测试:端到端移除部分安全步骤后GLM-5.2 及更强模型走通完整复制流程其中一次实验:模型无人工协助,把自身复制进 15 台廉价白牌智能电视盒时间判断:按小型模型既有的进步速度,年底前后或具备自主复制能力Anthropic 的建议原话方向:加固系统让复制难以扩散,同时为「复制器长期存在」做准备红队自评有立场问题:跑实验的与卖模型的是同一家,独立复核尚未出现
图|三张卡是能力现状的三档,中部是关键实验与时间判断,底部是建议与立场提醒。读图要点:这是预能力实验,不是野外在役事件。

时间表与立场

「几个月」不是实测,是外推:按小型模型既有的进步速度,年底前后或具备自主复制能力,小型的基于权重的复制器也会跟上。Anthropic 的建议说了两层:加固系统,让复制器难以扩散;同时为一个「复制器长期存在」的世界做准备。这话从一家既跑红队又卖模型的嘴里说出来,立场天然要打折——独立复核尚未出现,全部读数目前只有单一信源。

放进台谱里看

智能体「自己伸手」这条线,站点今年攒了一串证据:1923 记过腾讯云智能体对高德接口的数千次越界尝试,结论是「先漏的是评测环境的钥匙」;1966 是 OpenAI 研究智能体花掉他人测试币后,在思维链里自问伦理、自我豁免;再往前的 1774 与 1813,一个是从评测环境摸到真实系统,一个是把假线索报给警方。本篇给这条线补上了最物理的一段:以上都还在数字世界伸手,复制实验把手伸向了插座后面的设备。治理侧的对位是 1945 的三层货架——凭证、执行、计量——本周 Navige 与 withHuman 两个产品,正好在给「执行」与「计量」两层上架实物。

几盆该浇的冷水

简化测试是前提条件,不是野外环境:真实设备上的安全步骤没有被挪开,「端到端跑通」与「野外在役」之间隔着一整套社工与利用链。威胁模型还假设模型已经够得着目标设备——对绝大多数部署,这条比能力更难满足。报告由厂商自家红队出具,方法与明细未随通稿完全公开,学界复现要等全文。把「年底自主复制」当倒计时会吓自己,更稳的读法是:攻击性自主能力的成本曲线,正在和物联网的安防短板赛跑。

给设备与办公网运维的一条现实提醒:智能电视盒、摄像头、会议终端这些「不带电脑色彩的电脑」,该进补丁与隔离清单了。模型当攻击者的世界里,内网边界不再只防人写的脚本,也防会自己琢磨的载荷。