메뉴
AI爬虫访问分析。检查robots.txt、meta标签和HTTP头，确定哪些AI爬虫可以访问网站。提供完整的访问图谱，以及在保持适当控制的同时最大化AI可见性的建议。专注于中国LLM平台（豆包、元宝、DeepSeek、文心一言、通义千问）及国际平台。
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
面向中国大语言模型平台的GEO分析工具。针对豆包、元宝（腾讯混元）、DeepSeek、 文心一言（百度）、通义千问（阿里云）等国内AI搜索引擎优化网站内容，同时保持 传统SEO基础。执行完整GEO审计、可引用性评分、AI爬虫分析、llms.txt生成、 品牌提及扫描、平台专项优化、结构化数据标记、技术SEO、内容质量（E-E-A-T） 以及客户GEO报告生成。当用户说"geo"、"seo"、"审计"、"AI搜索"、"AI可见性"、 "优化"、"可引用性"、"llms.txt"、"结构化数据"、"品牌提及"、"GEO报告"， 或提供任何URL进行分析时触发。
面向中国LLM平台的完整网站GEO+SEO审计，支持并行子代理委派。编排针对AI可引用性、平台分析（豆包/元宝/DeepSeek/文心一言/通义千问）、技术基础、内容质量和结构化数据的全面生成式引擎优化审计。生成0-100综合GEO得分并附优先行动计划。
面向AI可见性的品牌提及与权威扫描器。分析品牌在中国AI模型用于实体识别和引用决策的平台上的存在情况。生成品牌权威得分（0-100），并提供平台专项建议。专注于知乎、B站、微博、百度百科、小红书等中国平台。
AI可引用性评分与优化。分析网页内容，确定中国AI系统（豆包、元宝、DeepSeek、文心一言、通义千问）引用或摘录段落的可能性。提供0-100的可引用性得分和具体改写建议。
面向GEO客户的月度进度跟踪和报告。比较两次GEO审计（基准vs当前），计算所有类别的得分改进， 跟踪行动项完成情况，并生成"看看您的进展"客户报告。面向中国LLM平台优化。
面向AI可引用性的内容质量与E-E-A-T评估——评估经验、专业知识、权威性、可信度以及内容结构。针对中国市场，特别关注中文内容原创性、权威作者资质和国内平台权威信号。
SOC 직업 분류 기준
| name | geo-crawlers |
| description | AI爬虫访问分析。检查robots.txt、meta标签和HTTP头，确定哪些AI爬虫可以访问网站。提供完整的访问图谱，以及在保持适当控制的同时最大化AI可见性的建议。专注于中国LLM平台（豆包、元宝、DeepSeek、文心一言、通义千问）及国际平台。 |
| allowed-tools | ["Read","Grep","Glob","Bash","WebFetch","Write"] |
本技能分析网站对AI爬虫的可访问性——AI公司用来发现、索引和训练网络内容的机器人。如果AI爬虫被屏蔽，网站内容无论质量多高都无法出现在AI生成的响应中。爬虫访问是GEO的基础技术要求。
截至2026年初，许多网站无意中通过过于激进的robots.txt规则屏蔽了AI爬虫——这些规则是从旧版SEO配置继承下来的。屏蔽AI爬虫是在AI生成搜索结果中变得不可见的最快途径。对于面向中国市场的网站，还需特别注意针对国内AI平台爬虫的配置。
这些爬虫驱动着中国用户主动寻找答案的AI搜索产品。屏蔽它们直接降低在AI生成响应中的可见性。
BytespiderMozilla/5.0 (compatible; Bytespider; spider-feedback@bytedance.com) AppleWebKit/537.36BaiduspiderMozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)Sogou web spiderQwant / 阿里巴巴相关爬虫DeepSeekBot / deepseekGPTBotClaudeBotPerplexityBotGoogle-ExtendedGooglebot| 爬虫 | 级别 | 建议 | 原因 |
|---|---|---|---|
| Bytespider | 1（中国） | 允许 | 豆包（1亿+用户） |
| Baiduspider | 1（中国） | 允许 | 百度+文心一言（最大中国搜索） |
| Sogou web spider | 1（中国） | 允许 | 元宝+腾讯生态 |
| DeepSeekBot | 1（中国） | 允许 | DeepSeek AI搜索 |
| GPTBot | 2（国际） | 允许 | ChatGPT全球（3亿+用户） |
| ClaudeBot | 2（国际） | 允许 | Claude网络搜索 |
| PerplexityBot | 2（国际） | 允许 | 最佳推荐流量AI搜索 |
| Google-Extended | 2（国际） | 允许 | Gemini功能；不影响搜索排名 |
| Googlebot | 2（国际） | 允许 | Google搜索（必须） |
| CCBot | 3 | 视情况 | 仅训练数据 |
| anthropic-ai | 3 | 视情况 | 仅训练数据 |
适用于希望最大化AI搜索可见性的网站：
# 中国AI爬虫 - 允许访问AI搜索可见性
User-agent: Bytespider
Allow: /
User-agent: Baiduspider
Allow: /
User-agent: Sogouwebspider
Allow: /
User-agent: DeepSeekBot
Allow: /
# 国际AI爬虫 - 允许
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Googlebot
Allow: /
# 传统训练爬虫 - 视情况
# User-agent: CCBot
# Disallow: /
[domain]/robots.txtUser-agent: *）块Crawl-delay指令Sitemap指令（AI爬虫用于发现内容）<meta name="robots" content="noindex"> — 屏蔽所有爬虫<meta name="robots" content="noai"> — 新兴AI使用屏蔽标签<meta name="robots" content="noimageai"> — 屏蔽AI图像训练X-Robots-Tag: noindex — meta noindex的HTTP头等效物X-Robots-Tag: noai — 屏蔽AI使用的HTTP头/llms.txt（AI爬虫指导的新兴标准）/.well-known/ai-plugin.json（OpenAI插件清单）生成文件 GEO-CRAWLER-ACCESS.md：
# AI爬虫访问报告：[域名]
**分析日期：** [日期]
**域名：** [域名]
**robots.txt状态：** [找到/未找到/错误]
---
## 爬虫访问摘要
| 爬虫 | 运营商 | 级别 | 状态 | 影响 |
|---|---|---|---|---|
| Bytespider | 字节跳动 | 1（中国） | [允许/已屏蔽/未提及] | [影响描述] |
| Baiduspider | 百度 | 1（中国） | [状态] | [影响] |
| Sogou爬虫 | 腾讯/搜狗 | 1（中国） | [状态] | [影响] |
| DeepSeekBot | DeepSeek | 1（中国） | [状态] | [影响] |
| GPTBot | OpenAI | 2（国际） | [状态] | [影响] |
| ClaudeBot | Anthropic | 2（国际） | [状态] | [影响] |
| PerplexityBot | Perplexity | 2（国际） | [状态] | [影响] |
| Google-Extended | Google | 2（国际） | [状态] | [影响] |
## AI可见性得分：[X]/100
**中国一级访问：** [X/4爬虫允许]
**国际二级访问：** [X/4爬虫允许]
---
## 严重问题
[列出任何被屏蔽的中国一级爬虫]
## 建议
### 立即行动
[所需的具体robots.txt变更]
### robots.txt推荐配置
[AI爬虫完整推荐robots.txt内容]
### 其他技术发现
- **Meta Robots标签：** [发现]
- **X-Robots-Tag头：** [发现]
- **JavaScript渲染：** [评估]
- **llms.txt：** [存在/缺失]
- **站点地图可访问性：** [评估]
AI爬虫访问得分计算方式：
| 组件 | 权重 | 评分 |
|---|---|---|
| 中国一级爬虫允许 | 50% | 每个中国一级爬虫允许25分（4个=100分，缩放至50） |
| 国际二级爬虫允许 | 25% | 每个国际二级爬虫允许25分（4个=100分，缩放至25） |
| 无全面AI屏蔽 | 15% | 若无User-agent: * Disallow: /且无noai meta标签则满分 |
| AI专用文件存在 | 10% | llms.txt 5分，站点地图可被AI爬虫访问5分 |
最终得分 = 所有加权组件之和，上限100。