OpenAI 把检索和训练拆成两个开关：拒掉 OAI-SearchBot，站点就不出现在 ChatGPT 搜索答案里；Google-Extended 只控训练与 grounding，不影响搜索收录。robots.txt 是声明，真正拦截发生在 CDN 与 WAF，企业要的是一张四类爬虫的政策表，不是一条封禁规则。
企业内容团队对付 AI 爬虫的常见做法，是在 robots.txt 里整段封掉。这个动作在 2026 年已经不划算。OpenAI 官方文档把检索和训练拆成两个独立开关，封掉检索那一个，站点就不再出现在 ChatGPT 的搜索答案里。封的是爬虫，丢的是入口。
检索和训练，早就是两个开关
OpenAI 的爬虫文档写得很清楚。OAI-SearchBot 负责搜索，站点把它拒掉，就不会出现在 ChatGPT 的搜索答案里，最多作为导航链接出现。GPTBot 负责训练，拒掉它只表示内容不用于训练基础模型。两个设置互不影响。
文档里还有两个容易被忽略的细节。两个爬虫都放行时，OpenAI 可能用一次抓取同时服务两种用途，以减少重复抓取。robots.txt 改完之后，搜索侧大约要 24 小时才调整过来。
第三类叫 ChatGPT-User。它由用户提问触发，不做自动爬取。官方写明：因为这些动作由用户发起，robots.txt 规则可能不适用。它也不决定内容是否出现在搜索结果里，那件事归 OAI-SearchBot 管。
Google 的做法不同，逻辑一样。Google-Extended 只写在 robots.txt 里，没有单独的用户代理，抓取仍走 Googlebot。它管的是内容能否用于 Gemini 训练与 grounding。官方写明它不影响搜索收录，也不是排名信号。
把这几条放在一起看，结论很直接：屏蔽训练和屏蔽检索，后果完全不同，而很多站点把两者写进了同一条规则。
robots.txt 只是声明，拦截发生在 CDN
Search Engine Journal 11 月 14 日的技术专栏把问题往前推了一步。robots.txt 依然是自愿遵守的声明，真正执行拦截的是 CDN、Web 应用防火墙和爬虫管理服务。
这些设备可以在内容团队不知情的情况下，做出和 robots.txt 相反的判断。
默认值正在替企业做决定。Cloudflare 在 2025 年 7 月 1 日把 AI 爬虫的默认处理改成「不付费就屏蔽」。没单独配置过的站点，robots.txt 写着允许，也可能在 CDN 那一层被拦住。
更难分的是代理。它们像真人一样浏览页面，会触发统计，越来越难和人类访客区分。SEJ 的提醒是：屏蔽一个正在做产品比较的代理，代价可能不只是掉一个排名，而是从那条答案里彻底消失。
把「封不封」换成一张四行政策表
问题不该停在开关上，而是先分类。训练抓取、检索抓取、用户触发抓取、代理访问，这四类的目的不同，允许和拒绝的后果也不同。分成四行之后，每行只回答四个问题：允许谁、为了什么、封了会失去什么、由谁批准。
答案页放在哪里，决定放行有没有意义。检索爬虫抓到的往往不是首页，而是具体的规格页、FAQ 和文档页。同一份内容在 Baklib 里集中托管，页面级可抓取、可引用，改版只换模板不动 URL，这是 Baklib 负责的内容底座那一段。
政策还要跨团队确认。这类决定同时牵扯内容、工程、安全、法务和商务。写在一个人脑子里的规则，下个月换人就失效。SEJ 的建议是定期复核，因为模型换代和 UA 改名会让旧规则悄悄失效。
今天能做的
- 把 robots.txt 和 CDN、WAF 里的 AI 规则并排拉出来，列出实际被默认屏蔽的 UA 名单。两边不一致的地方就是风险点。
- 检索类抓取先放行，训练类按商业策略单独决定。要被抓的答案页、规格页、FAQ 放进 Baklib 维护，保证页面级可抓取、可引用，URL 不随改版漂移。
- 用策思路 C456 做一次 GEO 诊断当基线，看品牌在 AI 回答里被提到几次、卡在哪类问题。一个月后回测同一批问题，策思路 C456 负责的正是入口层这一段的测量。
放行只是门票。能不能被引用，还看答案页本身是否结构清楚、数字可核、有明确的实体定义。爬虫政策决定你有没有资格进场，内容质量决定你能站多久。
参考来源：AI Bot Management: Why SEOs Need More Than Block Lists（Search Engine Journal，2026-11-14）；Overview of OpenAI Crawlers（OpenAI 文档）；Google’s common crawlers（Google 搜索文档）；Content Independence Day（Cloudflare，2025-07-01）
作者：辉哥（Baklib, C456 创始人）
提交反馈
博客
