Kimi 收录怎么做：三个爬虫要分开放行，只放行 KimiBot 没用
Kimi 官方把爬虫按用途拆成三个：KimiBot 管训练、Kimi-User 管用户触发抓取、Kimi-SearchBot 构建搜索索引。决定「能不能出现在 Kimi 搜索结果里」的是 Kimi-SearchBot，只放行 KimiBot 等于没做。本文给出可直接复制的 robots.txt 写法、三步自查方法，以及只放行 KimiBot、WAF 按 UA 拦截、屏蔽 IP 段这三个真实踩坑点；并用 16 个站点的实测数据说明 A1 通过率现状。
阅读全文 →
DeepSeek 收录怎么做：11 份实测里 9 份漏了 DeepSeekBot，顺序还写反了
实测 12 个中文网站，11 个没有正确放行 AI 爬虫，其中 9 个明确漏掉了 DeepSeekBot。本文给出正确的 robots.txt 顺序与写法、自查命令，以及让 DeepSeek 真正愿意引用你需要补的三件事（JSON-LD、服务端渲染、llms.txt）。
阅读全文 →
豆包收录怎么弄：robots.txt 放行 Bytespider 是第一步（12 站实测仅 1 站做到）
在按《GEO 就绪度标准 v1.0》检测的 12 个中文网站中，robots.txt 正确放行 AI 爬虫（A1）的通过率只有 8%，明确未放行豆包爬虫 Bytespider 的有 7 个。本文给出正确的 robots.txt 写法、自查命令与 5 个按顺序执行的动作，让豆包、DeepSeek 能正常抓取并引用你的网站。
阅读全文 →
robots.txt 怎么正确放行 AI 爬虫（完整配置 + 一个我们踩到的坑）
A1 是 GEO 就绪度 15 项里失败率最高的一项（实测通过率 5%）。含可直接复制的 robots.txt 配置、顺序规则、注释陷阱、日志验证方法与三个常见误区。
阅读全文 →