一行 robots.txt,决定你的内容能否「喂给」大模型
过去,网站主若想阻止内容被拿去训练模型,只能依赖各家互不兼容的私有关停开关,或寄望于法律的模糊地带。IETF 草案 draft-kelley-aipref-training-preference-signal-00(作者 Kevin Kelley,由 Anthropic 提交,2026-10-30 发布,计划 2027-05-03 过期,归属「AI Preferences / aipref」工作组)把这件事标准化:在 robots.txt 中加入一行 __usage_ai_training: /,即表示全站内容不应用于模型训练。它复用了已经运行二十多年的 robots.txt 机制,因此不需要网站主部署新基础设施,也不需要逐个和每家实验室谈判。
四家实验室为何罕见同框
OpenAI、Google、Microsoft、Anthropic 同时表态支持,并不是一次普通的产品联动,而是算力与数据两端的头部玩家在「数据权属」议题上达成的罕见共识。它们既是训练数据的「消费者」,也被外界持续追问内容来源的合规性,因此推动一个可被机器读取、可被审计的退出信号,对各方都有减压作用。该草案背后的 aipref 工作组由 Mark Nottingham(Cloudflare)与 Suresh Krishnan(Cisco)共同担任主席,意味着标准制定方并非模型厂商单方面主导,而是引入了网络基础设施与中立机构视角。
它解决什么,又不解决什么
需要澄清的是,这个令牌的边界相当克制:它只覆盖「训练(training)」这一种用途,不涉及爬取(crawling)、检索(grounding)或缓存(caching)。换句话说,写了这行指令,模型下次训练时理论上应当避开你的内容,但你的页面仍可能被搜索引擎收录、仍可能被实时检索引用。更关键的是,它不具「回溯效力」——已经采集进训练集的数据,不会因为这行声明而自动被删除或重训。对内容创作者而言,它是一道「向前生效的软开关」,而非「一键清除历史」的橡皮擦。
各家的落地时间表
四家在表态的同时,给出了差异明显的执行节奏:Anthropic 表示已经在实施;OpenAI 称将在「未来数月内」落地;Microsoft 给出了最明确的时间点——计划于 2027 年 2 月 1 日生效,并取代既有的 NoArchive / NoCache 指令,网站主需要在 2027 年 3 月 1 日前完成迁移;Google 则要到 2027 年才会兑现。Microsoft 的 Krishna Madhavan 与 Google 的 John Mueller 都在各自的公开说明中强调,这一机制是对内容创作者意愿的机器可读回应,而非法律层面的强制合规工具。
为什么值得关注:数据权属的「软开关」
在大模型训练数据来源持续受到监管与版权诉讼审视的背景下,__usage_ai_training 的意义不在于它能否彻底解决数据确权难题,而在于它把「退出权」从各家互不兼容的私有关停开关,统一成了一个可被爬虫、可被审计、可被创作者低成本使用的标准信号。它对媒体、个人博客、开源社区与创作者经济都现实可用:写一行字就能表达态度,而不必依赖事后维权。但它也留下真问题——令牌的遵守依赖厂商自觉,缺少强制约束力;且对已经投喂进模型的历史数据,它无能为力。这更像是行业自我规制的第一步,而非终点。