智能体模板 · 搜索智能体
AI 爬虫访问检查
确认哪些 AI 系统能读取你的网站。它会对照你的 robots.txt、页面标签和服务器响应头测试 14 个 AI 爬虫，每处拦截都配上具体的修复方法。
免费 · 由人审核
交给 Flow AI 运行
Flow AI 在你的网站上运行这个智能体，Amber 审核结果，两个工作日内发到你的邮箱。
开源 · MIT
自己安装
在你自己电脑上的 Claude Code 中运行。
npx skills add Amberlanqinyun/geo-seo-claude --skill geo-crawlers
运行步骤
逐步运行，最后由人检查。
- 01读取 robots.txt用每条规则测试 14 个 AI 爬虫，分为三个层级：答案引擎、更广泛的 AI 平台，以及只用于训练的爬虫。
- 02检查页面标签检查 meta robots 标签，它们可能逐页悄悄拦截 AI 系统。
- 03检查响应头检查 X-Robots-Tag 响应头，它的优先级高于其他所有设置。
- 04查找 AI 文件确认 llms.txt 和站点地图是否到位，把 AI 系统引向你最好的页面。
- 05检查渲染确认你的内容是否要靠 JavaScript 才能显示，而很多 AI 爬虫并不运行 JavaScript。
- 06由营销工程师审核每次由 Flow AI 运行，Amber 都会在结果发给你之前亲自检查。
输入与输出
它需要什么，又交回什么。
需要提供
- 你的网站地址
你会收到
- 全部 14 个爬虫的访问情况表
- 满分 100 的 AI 可见度评分
- 严重拦截逐一点名
- 可直接粘贴的 robots.txt 建议
一次真实运行
flowai.co.nz，2026年10月2日检查
全部 14 个爬虫都能读取这个网站。其中 9 个在 robots.txt 中明确列出，5 个由默认规则放行。没有任何页面标签或响应头拦截它们。站点地图和 llms.txt 都已就位。
| 爬虫 | 运营方 | 层级 | 状态 | 方式 |
|---|---|---|---|---|
| GPTBot | OpenAI | 1 | 允许 | 在 robots.txt 中列出 |
| OAI-SearchBot | OpenAI | 1 | 允许 | 在 robots.txt 中列出 |
| ChatGPT-User | OpenAI | 1 | 允许 | 在 robots.txt 中列出 |
| ClaudeBot | Anthropic | 1 | 允许 | 在 robots.txt 中列出 |
| PerplexityBot | Perplexity | 1 | 允许 | 在 robots.txt 中列出 |
| Google-Extended | 2 | 允许 | 在 robots.txt 中列出 | |
| GoogleOther | 2 | 允许 | 默认规则 | |
| Applebot-Extended | Apple | 2 | 允许 | 默认规则 |
| Amazonbot | Amazon | 2 | 允许 | 默认规则 |
| FacebookBot | Meta | 2 | 允许 | 默认规则 |
| CCBot | Common Crawl | 3 | 允许 | 在 robots.txt 中列出 |
| anthropic-ai | Anthropic | 3 | 允许 | 在 robots.txt 中列出 |
| Bytespider | ByteDance | 3 | 允许 | 在 robots.txt 中列出 |
| cohere-ai | Cohere | 3 | 允许 | 默认规则 |
让搜索智能体每月持续运行。
模板只运行一次。冲刺会在一周内把这个智能体安装到你的业务里，附上文档，并交接给你的团队。之后由 Flow Engine 每月运行。