OpenAI 将在 robots.txt 里认一个统一的「AI 训练偏好」信号：网站不用再逐家配规则

这次改的是什么

OpenAI 10 月 30 日发公告说，会遵守 robots.txt 里一个通用的 AI 训练偏好信号。这个信号由 IETF 的 AI Preferences 工作组推进，草案编号是 draft-kelley-aipref-training-preference-signal。它的作用很直接：网站运营者不用再为每家 AI 厂商的爬虫分别维护一套规则，写一次就能同时表达「允许训练」「不允许训练」之类的偏好。

为什么网站运营者会在意

现在的 robots.txt 是按爬虫名字逐条写的：GPTBot、ClaudeBot、Google-Extended 各一条，厂商新增一个爬虫，网站就得跟着改一次。共享信号把这件事变成一次配置。对中小站点来说，少维护一份名单就是少一处漏改；对媒体来说，偏好能被更多厂商同时读到，谈判成本也会下降。

还没落地，别提前删旧规则

OpenAI 的原话是「未来几个月内实现」，具体怎么解析、什么时候生效都还没公布。它同时强调，新信号不会替代现有爬虫控制，原来的 robots.txt 规则继续有效。这意味着今天能做的只是「并行声明」：旧规则留着，新信号加上，观察一段时间再决定是否收敛。

对站点运维的实际动作

• 保留现有逐家规则，新增通用信号，两者并存至少一个季度。
• 在日志里单独标记带新信号的请求，确认哪些厂商真的开始遵守。
• 把「训练偏好」和「搜索收录」分开写，别用一条规则同时表达两件事。
• 等 OpenAI 公布实现细节后，再清理重复规则；清理前先备份旧文件。

标准化的价值不在今天多了一条规则，而在明年少维护十份名单。