A1robots.txt 正确放行 AI 爬虫
- 检查什么
- robots.txt 中是否有针对 AI 爬虫的显式放行;精确
Allow规则是否写在User-agent: *之前。 - 合格线
- 以下 6 个爬虫全部显式放行,且通配规则未覆盖正文路径:
Bytespider(字节 / 豆包)、DeepSeekBot(深度求索)、QwenBot(阿里 / 通义)、GPTBot(OpenAI)、ClaudeBot(Anthropic)、PerplexityBot(Perplexity)。 - 为什么重要
- 被 robots.txt 屏蔽的爬虫不会产生任何请求,网站内容从未进入 AI 索引,后续所有优化归零。这是代价最大的常见错误。
- 如何自查
- 访问
你的域名/robots.txt;或在服务器日志中检索上述 UA,长期为 0 即说明入口被堵。