一行 robots.txt,决定你的内容能否「喂给」大模型

过去,网站主若想阻止内容被拿去训练模型,只能依赖各家互不兼容的私有关停开关,或寄望于法律的模糊地带。IETF 草案 draft-kelley-aipref-training-preference-signal-00(作者 Kevin Kelley,由 Anthropic 提交,2026-10-30 发布,计划 2027-05-03 过期,归属「AI Preferences / aipref」工作组)把这件事标准化:在 robots.txt 中加入一行 __usage_ai_training: /,即表示全站内容不应用于模型训练。它复用了已经运行二十多年的 robots.txt 机制,因此不需要网站主部署新基础设施,也不需要逐个和每家实验室谈判。

四家实验室为何罕见同框

OpenAI、Google、Microsoft、Anthropic 同时表态支持,并不是一次普通的产品联动,而是算力与数据两端的头部玩家在「数据权属」议题上达成的罕见共识。它们既是训练数据的「消费者」,也被外界持续追问内容来源的合规性,因此推动一个可被机器读取、可被审计的退出信号,对各方都有减压作用。该草案背后的 aipref 工作组由 Mark Nottingham(Cloudflare)与 Suresh Krishnan(Cisco)共同担任主席,意味着标准制定方并非模型厂商单方面主导,而是引入了网络基础设施与中立机构视角。

它解决什么,又不解决什么

需要澄清的是,这个令牌的边界相当克制:它只覆盖「训练(training)」这一种用途,不涉及爬取(crawling)、检索(grounding)或缓存(caching)。换句话说,写了这行指令,模型下次训练时理论上应当避开你的内容,但你的页面仍可能被搜索引擎收录、仍可能被实时检索引用。更关键的是,它不具「回溯效力」——已经采集进训练集的数据,不会因为这行声明而自动被删除或重训。对内容创作者而言,它是一道「向前生效的软开关」,而非「一键清除历史」的橡皮擦。

一行 robots.txt,给训练数据一道「软开关」 令牌与机制 __usage_ai_training: / 复用 robots.txt(运行 20+ 年) IETF aipref 工作组标准草案 四家共同支持 OpenAI · Google Microsoft · Anthropic 主席:M. Nottingham / S. Krishnan 覆盖范围(✓ 训练 / ✗ 其他) ✓ 训练用数据排除 ✗ 不影响爬取 ✗ 不影响检索 ✗ 不撤回已采集数据(无回溯效力) ✗ 不改变缓存策略 各家的落地时间表 Anthropic:立即开始实施 OpenAI:未来数月内 Microsoft:2027-02-01 生效(取代 NoArchive/NoCache,2027-03-01 截止) Google:2027 年 来源:IETF 草案(L1)+ 四家官方博客(L1)+ The Verge / AI Weekly(L2)
从「逐家私有关停开关」到一行标准声明:__usage_ai_training 把数据权属的退出权,收敛成了 robots.txt 里人人可读的一行字。它不解决所有争议,但第一次让「我不想被训练」有了机器可识别、平台可审计的统一表达方式。

各家的落地时间表

四家在表态的同时,给出了差异明显的执行节奏:Anthropic 表示已经在实施;OpenAI 称将在「未来数月内」落地;Microsoft 给出了最明确的时间点——计划于 2027 年 2 月 1 日生效,并取代既有的 NoArchive / NoCache 指令,网站主需要在 2027 年 3 月 1 日前完成迁移;Google 则要到 2027 年才会兑现。Microsoft 的 Krishna Madhavan 与 Google 的 John Mueller 都在各自的公开说明中强调,这一机制是对内容创作者意愿的机器可读回应,而非法律层面的强制合规工具。

为什么值得关注:数据权属的「软开关」

在大模型训练数据来源持续受到监管与版权诉讼审视的背景下,__usage_ai_training 的意义不在于它能否彻底解决数据确权难题,而在于它把「退出权」从各家互不兼容的私有关停开关,统一成了一个可被爬虫、可被审计、可被创作者低成本使用的标准信号。它对媒体、个人博客、开源社区与创作者经济都现实可用:写一行字就能表达态度,而不必依赖事后维权。但它也留下真问题——令牌的遵守依赖厂商自觉,缺少强制约束力;且对已经投喂进模型的历史数据,它无能为力。这更像是行业自我规制的第一步,而非终点。

信息来源