11月2日消息，据 mashdigi 报道，openai、谷歌、微软及anthropic联合宣布将共同推动一项面向ai训练的新型偏好信号标准。网站运营方可通过标准 robots.txt 文件添加统一标识，明确声明其内容是否允许被用于生成式ai模型的训练过程，从而避免为每家ai公司单独配置规则。
该方案由Anthropic标准技术负责人Kevin Kelley向IETF AIPREF工作组提交的个人草案发起，核心是引入跨平台通用字段“__usage_ai-training”，该字段完全兼容现有 robots.txt 语法，并支持使用 Allow 指令对特定目录设置例外规则。需注意的是，该信号仅用于表达网站所有者对内容用途的倾向性意见，不干预网络爬虫的实际抓取行为，亦不会影响网页在搜索引擎中的索引状态或搜索排名。微软方面还透露，后续将推出更精细化的AI检索与引用控制功能。
在实施进度上，Anthropic已率先启用该机制；OpenAI表示将在未来数月内完成部署；谷歌与微软则预计于2027年正式支持。需要强调的是，该机制属于行业自愿协作框架，对未签署参与的第三方厂商不具备强制约束力，且不适用于此前已被抓取的历史数据。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
