变了什么

以前，网站运营者要识别不同厂商的爬虫，再为每一家维护一套规则。OpenAI 10 月 30 日宣布，将遵守一个放在 robots.txt 里的通用信号，让网站把同一条 AI 训练偏好一次性表达给多个参与方。这个信号来自 IETF 的 AI Preferences 工作组，相关草案包括训练偏好信号与词表。

OpenAI 明确说，新信号不会取代现有的 robots.txt 控制，现有的爬虫控制继续有效；实现会在“未来几个月”落地，届时会再公布细节。Google、微软、Anthropic 也表示将采用同一信号。

和过去有什么不同

  • 从“按爬虫分别写”变成“写一次，多方读取”，降低网站的表达成本。
  • 从厂商各自约定变成 IETF 工作组里的共同草案，至少有了可讨论的技术文本。
  • 从“默认允许、事后争议”变成“网站可以提前声明偏好”，但仍然是自愿遵守。

它没有解决什么

第一，它是偏好表达，不是许可合同。网站写“不许训练”，并不自动产生可执行的授权或赔偿条款；是否构成合理使用，仍要看各地法律与具体案件。第二，它是自愿的，参与方承诺遵守，但缺少统一的技术强制与第三方审计。第三，它不覆盖已经抓走的数据，也不解决模型输出与训练数据之间的溯源问题。

这也是为什么同一周里，围绕训练数据的诉讼与政策争论并没有降温。标准能把“沟通成本”降下来，但替代不了许可、付费与法律边界。

站点现在能做什么

  • 把 AI 训练偏好写进 robots.txt，并纳入 Git 或配置管理，保留每次修改的时间点。
  • 在服务端日志里记录主流 AI 爬虫的命中情况，核对声明与行为是否一致。
  • 对真正想授权的内容，另走明确许可或 API 合作，不要把 robots.txt 当成合同。
  • 对不希望被检索的私密内容，用登录、签名 URL 和访问控制，而不是只靠 robots。

对 AI 厂商来说，下一步更值得看的是执行报告：谁在读这个信号、读错时怎么处理、多久生效。没有可审计的执行，标准就只是一行更整齐的注释。