Menu
AI爬虫访问分析。检查robots.txt、meta标签和HTTP头，确定哪些AI爬虫可以访问网站。提供完整的访问图谱，以及在保持适当控制的同时最大化AI可见性的建议。专注于中国LLM平台（豆包、元宝、DeepSeek、文心一言、通义千问）及国际平台。
Install with Codex or Claude Copy this prompt, paste it into Codex, Claude, or another assistant, and let it review the skill page and install it for you.
面向中国大语言模型平台的GEO分析工具。针对豆包、元宝（腾讯混元）、DeepSeek、 文心一言（百度）、通义千问（阿里云）等国内AI搜索引擎优化网站内容，同时保持 传统SEO基础。执行完整GEO审计、可引用性评分、AI爬虫分析、llms.txt生成、 品牌提及扫描、平台专项优化、结构化数据标记、技术SEO、内容质量（E-E-A-T） 以及客户GEO报告生成。当用户说"geo"、"seo"、"审计"、"AI搜索"、"AI可见性"、 "优化"、"可引用性"、"llms.txt"、"结构化数据"、"品牌提及"、"GEO报告"， 或提供任何URL进行分析时触发。
面向中国LLM平台的完整网站GEO+SEO审计，支持并行子代理委派。编排针对AI可引用性、平台分析（豆包/元宝/DeepSeek/文心一言/通义千问）、技术基础、内容质量和结构化数据的全面生成式引擎优化审计。生成0-100综合GEO得分并附优先行动计划。
面向AI可见性的品牌提及与权威扫描器。分析品牌在中国AI模型用于实体识别和引用决策的平台上的存在情况。生成品牌权威得分（0-100），并提供平台专项建议。专注于知乎、B站、微博、百度百科、小红书等中国平台。
AI可引用性评分与优化。分析网页内容，确定中国AI系统（豆包、元宝、DeepSeek、文心一言、通义千问）引用或摘录段落的可能性。提供0-100的可引用性得分和具体改写建议。
面向GEO客户的月度进度跟踪和报告。比较两次GEO审计（基准vs当前），计算所有类别的得分改进， 跟踪行动项完成情况，并生成"看看您的进展"客户报告。面向中国LLM平台优化。
面向AI可引用性的内容质量与E-E-A-T评估——评估经验、专业知识、权威性、可信度以及内容结构。针对中国市场，特别关注中文内容原创性、权威作者资质和国内平台权威信号。
Based on SOC occupation classification
| name | geo-crawlers |
| description | AI爬虫访问分析。检查robots.txt、meta标签和HTTP头，确定哪些AI爬虫可以访问网站。提供完整的访问图谱，以及在保持适当控制的同时最大化AI可见性的建议。专注于中国LLM平台（豆包、元宝、DeepSeek、文心一言、通义千问）及国际平台。 |
| allowed-tools | ["Read","Grep","Glob","Bash","WebFetch","Write"] |
本技能分析网站对AI爬虫的可访问性——AI公司用来发现、索引和训练网络内容的机器人。如果AI爬虫被屏蔽，网站内容无论质量多高都无法出现在AI生成的响应中。爬虫访问是GEO的基础技术要求。
截至2026年初，许多网站无意中通过过于激进的robots.txt规则屏蔽了AI爬虫——这些规则是从旧版SEO配置继承下来的。屏蔽AI爬虫是在AI生成搜索结果中变得不可见的最快途径。对于面向中国市场的网站，还需特别注意针对国内AI平台爬虫的配置。
这些爬虫驱动着中国用户主动寻找答案的AI搜索产品。屏蔽它们直接降低在AI生成响应中的可见性。
BytespiderMozilla/5.0 (compatible; Bytespider; spider-feedback@bytedance.com) AppleWebKit/537.36BaiduspiderMozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)Sogou web spiderQwant / 阿里巴巴相关爬虫DeepSeekBot / deepseekGPTBotClaudeBotPerplexityBotGoogle-ExtendedGooglebot| 爬虫 | 级别 | 建议 | 原因 |
|---|---|---|---|
| Bytespider | 1（中国） | 允许 | 豆包（1亿+用户） |
| Baiduspider | 1（中国） | 允许 | 百度+文心一言（最大中国搜索） |
| Sogou web spider | 1（中国） | 允许 | 元宝+腾讯生态 |
| DeepSeekBot | 1（中国） | 允许 | DeepSeek AI搜索 |
| GPTBot | 2（国际） | 允许 | ChatGPT全球（3亿+用户） |
| ClaudeBot | 2（国际） | 允许 | Claude网络搜索 |
| PerplexityBot | 2（国际） | 允许 | 最佳推荐流量AI搜索 |
| Google-Extended | 2（国际） | 允许 | Gemini功能；不影响搜索排名 |
| Googlebot | 2（国际） | 允许 | Google搜索（必须） |
| CCBot | 3 | 视情况 | 仅训练数据 |
| anthropic-ai | 3 | 视情况 | 仅训练数据 |
适用于希望最大化AI搜索可见性的网站：
# 中国AI爬虫 - 允许访问AI搜索可见性
User-agent: Bytespider
Allow: /
User-agent: Baiduspider
Allow: /
User-agent: Sogouwebspider
Allow: /
User-agent: DeepSeekBot
Allow: /
# 国际AI爬虫 - 允许
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Googlebot
Allow: /
# 传统训练爬虫 - 视情况
# User-agent: CCBot
# Disallow: /
[domain]/robots.txtUser-agent: *）块Crawl-delay指令Sitemap指令（AI爬虫用于发现内容）<meta name="robots" content="noindex"> — 屏蔽所有爬虫<meta name="robots" content="noai"> — 新兴AI使用屏蔽标签<meta name="robots" content="noimageai"> — 屏蔽AI图像训练X-Robots-Tag: noindex — meta noindex的HTTP头等效物X-Robots-Tag: noai — 屏蔽AI使用的HTTP头/llms.txt（AI爬虫指导的新兴标准）/.well-known/ai-plugin.json（OpenAI插件清单）生成文件 GEO-CRAWLER-ACCESS.md：
# AI爬虫访问报告：[域名]
**分析日期：** [日期]
**域名：** [域名]
**robots.txt状态：** [找到/未找到/错误]
---
## 爬虫访问摘要
| 爬虫 | 运营商 | 级别 | 状态 | 影响 |
|---|---|---|---|---|
| Bytespider | 字节跳动 | 1（中国） | [允许/已屏蔽/未提及] | [影响描述] |
| Baiduspider | 百度 | 1（中国） | [状态] | [影响] |
| Sogou爬虫 | 腾讯/搜狗 | 1（中国） | [状态] | [影响] |
| DeepSeekBot | DeepSeek | 1（中国） | [状态] | [影响] |
| GPTBot | OpenAI | 2（国际） | [状态] | [影响] |
| ClaudeBot | Anthropic | 2（国际） | [状态] | [影响] |
| PerplexityBot | Perplexity | 2（国际） | [状态] | [影响] |
| Google-Extended | Google | 2（国际） | [状态] | [影响] |
## AI可见性得分：[X]/100
**中国一级访问：** [X/4爬虫允许]
**国际二级访问：** [X/4爬虫允许]
---
## 严重问题
[列出任何被屏蔽的中国一级爬虫]
## 建议
### 立即行动
[所需的具体robots.txt变更]
### robots.txt推荐配置
[AI爬虫完整推荐robots.txt内容]
### 其他技术发现
- **Meta Robots标签：** [发现]
- **X-Robots-Tag头：** [发现]
- **JavaScript渲染：** [评估]
- **llms.txt：** [存在/缺失]
- **站点地图可访问性：** [评估]
AI爬虫访问得分计算方式：
| 组件 | 权重 | 评分 |
|---|---|---|
| 中国一级爬虫允许 | 50% | 每个中国一级爬虫允许25分（4个=100分，缩放至50） |
| 国际二级爬虫允许 | 25% | 每个国际二级爬虫允许25分（4个=100分，缩放至25） |
| 无全面AI屏蔽 | 15% | 若无User-agent: * Disallow: /且无noai meta标签则满分 |
| AI专用文件存在 | 10% | llms.txt 5分，站点地图可被AI爬虫访问5分 |
最终得分 = 所有加权组件之和，上限100。