本期结论
在已检测的 17 个域名中，A1（robots.txt 正确放行 AI 爬虫）通过的只有 1 个（6%）。数据来自每份报告的逐项判定表，任何人可用同一工具重跑复核。
在已检测的 17 个域名中，A1（robots.txt 正确放行 AI 爬虫）通过的只有 1 个（6%）。数据来自每份报告的逐项判定表，任何人可用同一工具重跑复核。
通过 / 未通过明细
| 站点 | 结果 | 站点给出的证据 |
|---|---|---|
| anqiweb.com | 通过 | 已显式放行：Bytespider、DeepSeekBot、QwenBot、GPTBot、ClaudeBot、PerplexityBot，且均在 User-agent: * 之前 |
| anqicms.com | 未通过 | 未声明 Bytespider、DeepSeekBot、QwenBot、GPTBot等 |
| oncevisual.com | 未通过 | 未声明 Bytespider、DeepSeekBot、QwenBot、GPTBot等 |
| gongguan.top | 未通过 | 未声明 DeepSeekBot、QwenBot；声明了但位置在 User-agent: * 之后：Bytespider、GPTBot、ClaudeBot、PerplexityBot |
| exb1.com | 未通过 | 未声明 DeepSeekBot、QwenBot；声明了但位置在 User-agent: * 之后：Bytespider、GPTBot、ClaudeBot、PerplexityBot |
| cnipan.cn | 未通过 | 未声明 Bytespider、DeepSeekBot、QwenBot、GPTBot等 |
| gtzxhk.com | 未通过 | 未声明 DeepSeekBot |
| seowhy.com | 未通过 | 未声明 Bytespider、DeepSeekBot、QwenBot、GPTBot等 |
| xueag.com | 未通过 | 未声明 DeepSeekBot、QwenBot |
| dzping.com | 未通过 | 未声明 Bytespider、DeepSeekBot、QwenBot、GPTBot等 |
| kmcoscraft.com | 未通过 | 未声明 Bytespider、DeepSeekBot、QwenBot |
| sfyu.org | 未通过 | 未声明 Bytespider、DeepSeekBot、QwenBot、GPTBot等 |
| lianbei66.com | 未通过 | 未声明 Bytespider、DeepSeekBot、QwenBot、GPTBot等 |
| lianbei66.com | 未通过 | 未声明 Bytespider、DeepSeekBot、QwenBot、GPTBot等 |
| ledpings.com | 未通过 | 未声明 Bytespider、DeepSeekBot、QwenBot、GPTBot等 |
| www.shidianguwen.com | 未通过 | 未声明 Bytespider、DeepSeekBot、QwenBot、GPTBot等 |
| jewechina.cn | 未通过 | 未声明 Bytespider、DeepSeekBot、QwenBot、GPTBot等 |
未通过的站点
www.shidianguwen.com、anqicms.com、seowhy.com、kmcoscraft.com、xueag.com、oncevisual.com、gongguan.top、cnipan.cn、exb1.com、sfyu.org、jewechina.cn、dzping.com、ledpings.com、gtzxhk.com、lianbei66.com、lianbei66.com
为什么这一项重要
被 robots.txt 屏蔽的 AI 爬虫不会产生任何请求，内容从未进入 AI 索引——这一项不通过，后面 14 项的优化都不会被 AI 看到。
怎么改（可直接复制）
可直接复制的修复
放到：站点根目录 /robots.txt（一个纯文本文件，整份替换即可）
① AI 爬虫必须逐个显式声明，且放在 User-agent: * 之前
爬虫只匹配第一条命中自己的规则组，写在 * 后面等于没写
User-agent: Bytespider
Allow: /
对应产品：豆包
User-agent: DeepSeekBot
Allow: /
对应产品：DeepSeek
User-agent: QwenBot
Allow: /
对应产品：通义千问
User-agent: GPTBot
Allow: /
对应产品：ChatGPT
② 本次检测显示以下爬虫你已经声明过，无需重复：
ClaudeBot、PerplexityBot
③ 通用规则放最后
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
④ 声明站点地图
Sitemap: https://你的域名/sitemap.xml
本次检测里，这个文件缺少 Bytespider、DeepSeekBot、QwenBot、GPTBot（对应 豆包、DeepSeek、通义千问、ChatGPT）。