安企GEO
榜单 · 实测数据

AI 爬虫放行榜：哪些网站真的对豆包、DeepSeek 打开了门

按《GEO 就绪度标准 v1.0》A1 项逐站复核：robots.txt 里有没有显式放行 AI 爬虫，以及规则有没有写在 User-agent: * 之前。附正确写法与自查命令。

实时更新15 项 / 3 组发布方 安企 GEO

← 返回《中文网站 GEO 就绪度榜》总榜

已检测域名36个
未通过33个
通过率8%3 / 36

在已检测的 36 个域名中，A1（robots.txt 正确放行 AI 爬虫）通过的只有 3 个（8%）。数据来自每份报告的逐项判定表，任何人可用同一工具重跑复核。

本页更新于 2026-11-04 12:05 —— 与总榜同源，随新报告与复检自动重排。

这一项为什么重要

被 robots.txt 屏蔽的 AI 爬虫**不会产生任何请求**，内容从未进入 AI 索引——这一项不通过，后面 14 项的优化都不会被 AI 看到。

判定口径见 《GEO 就绪度标准 v1.0》A1；下方「站点给出的证据」是检测时抓到的原始信息，不是我们的评价。

未通过的 33 个站点

站点总分站点给出的证据
liwenbianji.cn检测于 2026-10-1314本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
anqicms.com检测于 2026-10-1913本站定位：外贸/多语言站点（声明了 hreflang、英文字符占比不低（英文 657 / 中文 1646）），国外核心 6 个为硬门槛；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot；未声明（国外核心）：GPTBot、OAI-SearchBot
cnipan.cn检测于 2026-10-1913本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot；声明了但位置在 User-agent: * 之后：Bytespider
exbsy.com检测于 2026-10-2013本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot；声明了但位置在 User-agent: * 之后：Bytespider
worldwayhk.com检测于 2026-10-2013本站定位：外贸/多语言站点（声明了 hreflang、出现海外渠道：whatsapp），国外核心 6 个为硬门槛；未声明（国内）：DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot；声明了但位置在 User-agent: * 之后：Bytespider、GPTBot、OAI-Searc
buchina.net检测于 2026-10-2012本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
gongguan.top检测于 2026-10-1912本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot；声明了但位置在 User-agent: * 之后：Bytespider
gongguan.top检测于 2026-10-2012本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot；声明了但位置在 User-agent: * 之后：Bytespider
leddxs.com检测于 2026-10-2012本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
oncevisual.com检测于 2026-10-1912本站定位：外贸/多语言站点（声明了 hreflang、英文字符占比不低（英文 1281 / 中文 3364）、出现海外渠道：wa、whatsapp），国外核心 6 个为硬门槛；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot；未声明（国外核心）：
cplastics.net检测于 2026-10-2011本站定位：外贸/多语言站点（声明了 hreflang、英文字符占比不低（英文 909 / 中文 2969）、出现海外渠道：facebook、linkedin、wa），国外核心 6 个为硬门槛；未声明（国内）：DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot；未声明（国外核心）：Cla
gtzxhk.com检测于 2026-10-2011本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：DeepSeekBot、KimiBot、Kimi-SearchBot
okmao.com检测于 2026-10-2011本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
shxinxinyun.com检测于 2026-10-2011本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：KimiBot、Kimi-SearchBot
www.304-316.com检测于 2026-10-2111本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
xueag.com检测于 2026-10-1911本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：QwenBot、KimiBot、Kimi-SearchBot；声明了但位置在 User-agent: * 之后：Bytespider、DeepSeekBot
dzping.com检测于 2026-10-1910本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
kmcoscraft.com检测于 2026-10-1910本站定位：外贸/多语言站点（声明了 hreflang、页面语言标记为外语、正文以英文为主（英文 8759 / 中文 0 字符）），国外核心 6 个为硬门槛；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot；未声明（国外核心）：OAI-Search
qiandougeo.com检测于 2026-10-2110本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
senximachinery.ru检测于 2026-10-3110本站定位：外贸/多语言站点（页面语言标记为外语、出现海外渠道：wa、whatsapp、标题为纯英文），国外核心 6 个为硬门槛；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot；未声明（国外核心）：GPTBot、OAI-SearchBot、Cla
seowhy.com检测于 2026-10-1910本站定位：国内站点，国外组为建议项（做外贸时必需）；User-agent: * 下写着 Disallow: /（全站屏蔽）
catpull.com检测于 2026-10-309本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
geoecho.ai检测于 2026-10-209本站定位：外贸/多语言站点（声明了 hreflang、页面语言标记为外语、正文以英文为主（英文 4929 / 中文 4 字符）），国外核心 6 个为硬门槛；未声明（国内）：DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot；未声明（国外核心）：OAI-SearchBot、Claude-
lianbei66.com检测于 2026-10-209本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
sfyu.org检测于 2026-10-199本站定位：国内站点，国外组为建议项（做外贸时必需）；显式屏蔽了 AI 爬虫：Bytespider、KimiBot、GPTBot、ClaudeBot、meta-externalagent
zixunhk.com检测于 2026-10-209本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
jewechina.cn检测于 2026-10-198本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
ledpings.com检测于 2026-10-208本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
qq.com检测于 2026-10-207本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
shidianguwen.com检测于 2026-10-197本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
tianyundazl.cn检测于 2026-10-217本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot
www.chng.com.cn检测于 2026-10-207本站定位：国内站点，国外组为建议项（做外贸时必需）；robots.txt 返回 HTTP 404
www.zt-yp.cn检测于 2026-10-205本站定位：国内站点，国外组为建议项（做外贸时必需）；未声明（国内）：Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot

已通过的 3 个站点

站点总分站点给出的证据
anqiweb.com检测于 2026-10-1914国内 5 个（硬门槛）均已显式放行且位于 User-agent: * 之前；定位判定：国内站点（首页未见多语言或海外信号）；国外组已覆盖 4/17，建议补齐核心 6 个；用途令牌已声明 无
exb1.com检测于 2026-10-1914国内 5 个（硬门槛）均已显式放行且位于 User-agent: * 之前；定位判定：国内站点（首页未见多语言或海外信号）；国外组已覆盖 17/17（其中核心 6 个均覆盖）；用途令牌已声明 Google-Extended、Applebot-Extended
exb1.com检测于 2026-10-2214国内 5 个（硬门槛）均已显式放行且位于 User-agent: * 之前；定位判定：国内站点（首页未见多语言或海外信号）；国外组已覆盖 17/17（其中核心 6 个均覆盖）；用途令牌已声明 Google-Extended、Applebot-Extended

怎么改（可直接复制）

A1 · 可直接复制的修复（整份替换即可）
放到：站点根目录 /robots.txt（一个纯文本文件，整份替换即可）

# 【1】AI 爬虫（下面按 国内 / 国外核心 / 国外建议 / 用途令牌 分组，逐个显式声明）
#       爬虫只匹配第一条命中自己的规则组，写在 * 后面等于没写

# ① 国内 AI 爬虫（中文 AI 流量的入口，硬门槛）

User-agent: Bytespider
Allow: /
# 对应：豆包

User-agent: DeepSeekBot
Allow: /
# 对应：DeepSeek

User-agent: QwenBot
Allow: /
# 对应：通义千问 / 元宝

User-agent: KimiBot
Allow: /
# 对应：Kimi（模型训练）

User-agent: Kimi-SearchBot
Allow: /
# 对应：Kimi 搜索

# ② 国外 AI 爬虫 · 核心（外贸站点最关键，硬门槛）

User-agent: GPTBot
Allow: /
# 对应：ChatGPT（训练）  # 你已声明过，这里保持一致

User-agent: OAI-SearchBot
Allow: /
# 对应：ChatGPT（搜索索引）  # 你已声明过，这里保持一致

User-agent: ClaudeBot
Allow: /
# 对应：Claude（训练）  # 你已声明过，这里保持一致

User-agent: Claude-SearchBot
Allow: /
# 对应：Claude（搜索索引）  # 你已声明过，这里保持一致

User-agent: PerplexityBot
Allow: /
# 对应：Perplexity  # 你已声明过，这里保持一致

User-agent: meta-externalagent
Allow: /
# 对应：Meta AI  # 你已声明过，这里保持一致

# ③ 国外 AI 爬虫 · 建议（覆盖越全越好，不作硬门槛）

User-agent: ChatGPT-User
Allow: /
# 对应：ChatGPT（用户触发）

User-agent: Claude-User
Allow: /
# 对应：Claude（用户触发）

User-agent: Perplexity-User
Allow: /
# 对应：Perplexity（用户触发）

User-agent: Google-CloudVertexBot
Allow: /
# 对应：Google Vertex AI

User-agent: meta-externalfetcher
Allow: /
# 对应：Meta（用户触发）

User-agent: FacebookBot
Allow: /
# 对应：Meta / Facebook

User-agent: Amazonbot
Allow: /
# 对应：Amazon / Alexa

User-agent: Applebot
Allow: /
# 对应：Apple Siri / Spotlight

User-agent: CCBot
Allow: /
# 对应：Common Crawl（众多模型的训练语料）

User-agent: DuckAssistBot
Allow: /
# 对应：DuckDuckGo AI

User-agent: MistralAI-User
Allow: /
# 对应：Mistral（用户触发）

# ④ AI 用途令牌（不会单独来抓，只在 robots.txt 生效）
#    Allow 表示你授权 AI 使用你的内容；要保留内容可改成 Disallow。

User-agent: Google-Extended
Allow: /
# 对应：Gemini / Vertex AI

User-agent: Applebot-Extended
Allow: /
# 对应：Apple Intelligence

# ② 本次检测显示以下爬虫你已经声明过，无需重复：
#    GPTBot、OAI-SearchBot、ClaudeBot、Claude-SearchBot、PerplexityBot、meta-externalagent

# 【2】通用规则放最后
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/

# 【3】声明站点地图
Sitemap: https://你的域名/sitemap.xml
本次检测里，这个文件缺少 Bytespider、DeepSeekBot、QwenBot、KimiBot、Kimi-SearchBot（对应 豆包、DeepSeek、通义千问 / 元宝、Kimi（模型训练）、Kimi 搜索）。

相关页面