🛡️ 安全风险

Repeat-After-Me(视觉提示注入与复述执行攻击)

别名:跟我念攻击视觉提示注入VPIRepeat-After-Me黑盒自适应视觉注入
分类🛡️ 安全风险
阅读时间⏱️ 17 分钟
更新时间📅 2026-10-30
条目编号ENC-SECURITY-22-repeat-after-me
Repeat-After-Me 是一类提示注入攻击:攻击者诱导模型把格式化为工具调用的恶意内容当作「引用文本」复述出来,模型在文字里明确拒绝、编排层却把复述出的结构化调用直接执行;同名研究亦证明视觉通道的图片注入可达成同等危害。

关键要点 ✦

视觉通道:图片即指令

智能体越来越依赖视觉语言模型解读截图、收据、表单与文档图片,攻击面随之从文本扩展到像素。据论文 arXiv:2609.04533 的梳理,此前的视觉提示注入研究在攻击前沿商业模型做「实质有害行为」时效果不佳——难点在于目标字符串往往又长又有格式要求,比如一个函数名与参数都必须精确的可解析工具调用。Repeat-After-Me 的名字源自其攻击范式:诱导模型「跟我念」,把恶意指令当作引用文本原样复述成结构化输出。

实验设定刻意贴近现实:良性用户提示与注入任务语义无关、也没有任何口头授权。结果是开源权重模型(Qwen3.6-27B 等)成功率超过 80%,商业前沿模型(GPT-5.5 等)超过 47%;跨模型迁移保留 43% 至 46% 的成功率,跨样本迁移保留 64% 至 66%。论文还在真实场景验证:默认 OpenClaw Discord 部署中,不可信用户用最小注入的图片覆写 TOOLS.md,为后续远程代码执行与密钥外泄创造条件。论文同时讨论了潜在防御方向。

编排通道:拒绝也拦不住执行

另一篇论文 arXiv:2610.13651(ToFu)把镜头对准模型之后的一层:编排器把模型输出转成工具调用、工具真正执行。研究者展示的攻击向量与视觉侧同名——把危险工具调用包装成「假设性文本」让模型复述;模型在正文里明确拒绝,结构化输出里却按攻击者要求发出了完整调用,而编排层照常派发,模型侧的拒绝形同虚设。据 CSO Online 2026 年 10 月 12 日的报道,受影响框架包括 LangGraph(演示于 1.2.0)、Microsoft Agent Framework、AutoGen、Google ADK 2.0、AWS Strands Agents 与 CrewAI。

需要按口径如实记录边界:该框架绕过演示使用 LangGraph 1.2.0、经 Ollama 运行 Llama 3.1 8B、仅有系统提示词作为防护,CSO Online 亦指出这不能证明所有部署都同样脆弱;研究提交时未附 CVE,更多是攻击类别与演示而非已编号漏洞。但它指向的结构性问题很清楚:安全属性经常被默认归给模型,而真正的失效点在模型周围的软件。

ToFu 模糊测试与 MCP 缺陷面

ToFu 论文的另一半贡献是自动化模糊测试:从每个工具的元数据推导安全检查,用 CWE 引导的净化语料生成 fuzz harness。对 273 个开源 MCP 服务器的 3405 个工具测试后,118 个服务器的 343 个工具被验证存在缺陷;CSO Online 人工复核确认 253 个,其中路径遍历 64 个、服务端请求伪造 7 个、数据外泄 5 个、操作系统命令注入 3 个,其余多为反射输出或日志注入类问题。

这些缺陷的共同模式是:工具自身不校验其描述中声明的约束,而是信任模型会传入安全参数——路径遍历、SSRF 到元数据端点、命令注入都由此而来。对 MCP 运营者的直接行动项是排查被标记的 118 个服务器;对框架维护者,研究者已向 LangGraph 报告执行前校验缺失问题,据 CSO Online 报道,LangChain、微软、Google、AWS 与 CrewAI 在报道时点尚未回复。

防御设计要点

两条研究线收敛到同一结论:把授权从模型侧移到工具与编排边界。具体包括:把模型输出当请求而非授权,派发前做独立的按工具授权检查;在工具内部把参数当不可信输入校验,不依赖模型遵守工具描述中的约束;对敏感与不可逆调用强制审批门;收窄文件、网络与凭据作用域。视觉侧还需针对多模态输入做注入检测与内容来源隔离。

与本站相邻条目的关系:工具投毒(ENC-SECURITY-20)污染能力目录诱导模型主动选错工具,本条目攻击的是「复述即执行」的派发链路与视觉输入通道;Loopjacking(ENC-SECURITY-21)劫持人类审批绑定;混淆代理人(ENC-SECURITY-17)滥用既有合法授权。四者共同说明智能体安全必须按「输入—决策—派发—审批—执行」全链路设防,单点押注模型对齐并不够。

🎯 应用场景

多模态智能体安全测试
把图片注入与复述执行向量纳入智能体产品红队基线,覆盖截图、收据与文档输入。
MCP 服务器安全审计
用 CWE 引导的模糊测试排查工具实现中的路径遍历、SSRF 与命令注入缺陷。
框架执行前校验设计
在编排层为工具派发加独立授权与参数校验,摆脱对模型拒绝行为的依赖。

✅ 最佳实践

  • 把模型输出视为待审请求:派发前在编排层执行独立的按工具授权检查。
  • 在工具内部校验全部参数,视模型输入为不可信,不信任工具描述中的自我声明。
  • 对文件写入、命令执行、网络访问等敏感调用设置审批门与作用域限制。
  • 对多模态输入做注入检测,隔离不可信图片来源并限制其触发工具调用的能力。
  • 跟踪受影响框架与 MCP 服务器的修复进展,复测结论随版本更新会变化。

🔮 未来展望

随着视觉输入成为智能体标配,视觉提示注入预计会从研究议题转为常规攻防面;编排层执行前校验有望进入主流框架的默认行为,并衍生出标准化测试。评测侧已出现把「拒绝与执行一致性」纳入安全基准的趋势;对企业而言,把授权下沉到工具边界的架构改造,比等待模型层彻底解决更现实。

📖 相关条目

🛠️ 相关产品

🏷️ 标签安全风险提示注入视觉提示注入多模态安全工具调用编排层