Run any Skill in Manus with one click

$pwd:

web-crawler

Name: Web Crawler
Author: yaklang

// Web 爬虫与目标发现技能。定义渗透测试中 Web 爬虫的使用方法论，覆盖爬取策略、 URL/参数/表单/API 端点的发现与提取、JavaScript 渲染页面处理、爬取结果分析，以及与后续漏洞测试的衔接。是侦查(Recon)阶段的核心技能之一。

Run Skill in Manus

$ git log --oneline --stat

stars:552

forks:69

updated:March 13, 2026 at 01:02

SKILL.md

readonly

related-skills.json

same repository

pentest-task-design.md

from "yaklang/yaklang"

渗透测试安全测试任务设计与执行总指导。作为渗透测试的顶层编排技能，将抽象的安全测试方法论映射到可直接调用的工具链，定义从目标接收到报告输出的完整决策流程。覆盖侦查、爬虫、漏洞测试、利用验证的每一步具体操作，串联 recon-planning、web-crawler、xss-testing、 sql-injection、command-injection、template-injection、code-review 等全部子技能。当用户要求进行渗透测试、安全测试或安全评估时，应首先参考此技能进行任务设计。

2026-03-27552

authorization-bypass.md

from "yaklang/yaklang"

Web 应用越权漏洞测试技能。覆盖水平越权(IDOR)、垂直越权(权限提升)、业务逻辑绕过三大类测试场景。提供基于 HTTP 请求篡改的系统化测试方法论，包括参数替换、Cookie/Token 交换、角色 ID 篡改、隐藏字段操控、HTTP 方法变换、路径遍历、请求头伪造等具体技术。每种技术都映射到可直接调用的工具(do_http_request, send_http_request_packet, use_browser)，确保 AI 可以自动化执行越权测试。参考 OWASP WSTG-ATHZ-02/03/04 和 OWASP Top 10 A01。

2026-03-19552

how-to-use-browser.md

from "yaklang/yaklang"

Browser automation skill for web page interaction. Two strategies: (1) Snapshot + refs for simple static pages; (2) JavaScript-first for login forms, SPA, and dynamic pages (PREFERRED). Covers opening URLs, snapshots, clicking, filling forms, evaluating JS, screenshots, tab management, and navigation. Built on go-rod/CDP with headless Chrome. If snapshot returns 0 element refs, DO NOT retry -- switch to JavaScript strategy immediately.

2026-03-19552

command-injection.md

from "yaklang/yaklang"

操作系统命令注入漏洞测试技能。覆盖 Linux 和 Windows 环境下的命令注入检测与验证，提供多种注入操作符、盲注检测方法、编码绕过策略和分步测试流程，适用于 Web 应用中命令执行类漏洞的发现与确认(CWE-77/CWE-78)。

2026-03-13552

recon-planning.md

from "yaklang/yaklang"

渗透测试侦查与任务规划技能。定义渗透测试的完整工作流程：从信息收集(Recon)到范围确定、任务规划和漏洞测试执行。覆盖端口扫描、子域名枚举、Web 搜索、服务识别等侦查手段，提供 OWASP Top 10 检查矩阵和任务编排策略。

2026-03-13552

sql-injection.md

from "yaklang/yaklang"

SQL 注入漏洞测试技能。覆盖联合注入、布尔盲注、时间盲注、报错注入、堆叠查询等攻击向量，提供 MySQL/PostgreSQL/MSSQL/Oracle/SQLite 多数据库的特征 Payload，包含 WAF 绕过策略和系统化测试流程，适用于 Web 应用 SQL 注入漏洞的发现与确认。

2026-03-13552

package.json

"author": "yaklang"

"repository": "yaklang/yaklang"

View GitHub Repository View Creator Repositories

$ install --global

$ download --local

Run Skill in Manus

$ useful --forSOC

Computer Occupations, All OtherComputer and Mathematical Occupations15-1299L4

Information Security AnalystsL4

name	web-crawler
description	Web 爬虫与目标发现技能。定义渗透测试中 Web 爬虫的使用方法论，覆盖爬取策略、 URL/参数/表单/API 端点的发现与提取、JavaScript 渲染页面处理、爬取结果分析，以及与后续漏洞测试的衔接。是侦查(Recon)阶段的核心技能之一。

Web 爬虫与目标发现

在渗透测试的侦查阶段，Web 爬虫是发现攻击面的核心手段。通过系统化的页面爬取和内容分析，提取 URL、参数、表单、API 端点等信息，为后续的漏洞测试提供完整的目标列表。

1. 爬虫在渗透测试中的位置

侦查阶段
├── 被动侦查
│   ├── 子域名枚举
│   ├── DNS 记录收集
│   └── 搜索引擎 Dork
├── 主动侦查
│   ├── 端口扫描 ← 确定 Web 服务端口
│   ├── Web 爬虫 ← 发现页面和参数 (本技能)
│   ├── 目录扫描 ← 发现隐藏路径
│   └── 指纹识别 ← 确定技术栈
└── 产出: 攻击面地图

爬虫产出直接驱动后续测试：

URL + 参数 → 注入测试（SQL/XSS/命令注入等）
表单 → CSRF 测试、文件上传测试
API 端点 → 认证绕过、越权测试
JavaScript 文件 → 敏感信息泄露、DOM XSS 分析

2. 爬取策略

2.1 广度优先 vs 深度优先

广度优先（推荐用于初始侦查）

先爬取所有顶层页面，再逐层深入
快速覆盖整个站点结构
适合发现不同功能模块

深度优先（用于深入分析）

沿一个路径深入到底，再回溯
适合发现深层嵌套的功能
可能长时间停留在某个功能模块

推荐混合策略

第一轮：广度优先，depth=2-3，快速了解站点结构
第二轮：对感兴趣的模块进行深度爬取
第三轮：带认证状态的爬取（登录后）

2.2 爬取范围控制

域名范围

同域爬取：只爬取目标域名下的页面
子域爬取：包含目标域名的所有子域
注意排除第三方服务（CDN、统计、社交平台）

路径范围

避免爬取登出链接（/logout, /signout）
避免爬取删除操作（/delete, /remove）
排除静态资源目录（/static/, /assets/, /images/）
排除无限循环路径（日历、分页等）

频率控制

设置请求间隔，避免触发 WAF 或被封禁
建议初始间隔 100-500ms
对生产环境目标适当降低频率

2.3 认证处理

未认证爬取

首先进行未认证爬取，发现公开页面
记录登录表单位置和参数

认证后爬取

使用有效凭据登录后爬取
通过 Cookie 或 Token 维持会话
对比认证前后的页面差异，发现需要认证的功能

多角色爬取

使用不同权限的账户分别爬取
对比各角色可访问的页面
发现越权访问的候选测试点

3. 信息提取

3.1 URL 与参数提取

从爬取结果中提取：

完整的 URL 列表（去重后）
每个 URL 的查询参数名和示例值
URL 路径中的动态段（如 /user/123/profile 中的 123）
RESTful API 的资源路径模式

参数分类

参数类型	示例	测试重点
ID 类	`id=123`, `uid=456`	IDOR、SQL 注入
搜索/过滤	`q=keyword`, `filter=xxx`	SQL 注入、XSS
文件路径	`file=report.pdf`, `path=/data`	路径穿越、文件包含
URL/重定向	`url=http://...`, `redirect=...`	SSRF、开放重定向
模版/渲染	`template=xxx`, `view=xxx`	SSTI
命令/操作	`cmd=ping`, `action=export`	命令注入
排序/列名	`sort=name`, `order=desc`	SQL 注入（ORDER BY）

3.2 表单发现

提取所有表单信息：

表单 action URL 和 method
所有 input 字段的 name、type、value
隐藏字段（可能包含 CSRF Token、内部参数）
文件上传字段（type="file"）
enctype 属性（multipart/form-data 表示可上传文件）

高价值表单

登录表单 → 暴力破解、SQL 注入
注册表单 → SQL 注入、XSS（存储型）
搜索表单 → SQL 注入、XSS（反射型）
评论/反馈表单 → 存储型 XSS
文件上传表单 → 文件上传漏洞
密码修改表单 → CSRF
管理功能表单 → 越权、命令注入

3.3 API 端点发现

从 HTML/JS 中提取

JavaScript 文件中的 API URL
AJAX 请求的端点
前端路由配置

常见 API 模式

/api/v1/users
/api/v1/users/{id}
/api/v1/users/{id}/profile
/graphql
/graphql/playground
/.well-known/openapi.json
/swagger.json
/swagger-ui.html
/api-docs

API 文档发现

Swagger/OpenAPI: /swagger.json, /v2/api-docs, /openapi.yaml
GraphQL: /graphql (introspection query)
WADL: /application.wadl

3.4 敏感信息发现

在爬取过程中关注：

注释中的敏感信息（）
JavaScript 中硬编码的 API Key、Token
错误页面泄露的技术栈信息
robots.txt 和 sitemap.xml 中的隐藏路径
.env、.git、.svn 等配置文件暴露
备份文件（.bak, .old, .swp, ~）

4. JavaScript 分析

4.1 JS 文件收集

爬虫应收集所有引用的 JavaScript 文件：

<script src="..."> 引用的外部 JS
内联 <script> 块中的代码
动态加载的 JS（通过 XHR/Fetch）

4.2 JS 中的信息提取

从 JavaScript 文件中提取：

API 端点 URL（fetch('/api/...'), axios.get('/api/...')）
路由定义（前端路由配置）
硬编码的凭据或密钥
WebSocket 端点
第三方服务集成信息

正则提取模式

# API 端点
("|')(/api/[a-zA-Z0-9/_-]+)("|')
("|')(https?://[^"']+)("|')

# 密钥
(api[_-]?key|apikey|secret|token|password)\s*[:=]\s*["'][^"']+["']

# AWS Key
AKIA[0-9A-Z]{16}

4.3 JavaScript 渲染页面

对于 SPA (Single Page Application)：

需要使用无头浏览器（Headless Browser）执行 JavaScript
等待异步加载完成后再提取 DOM
模拟用户交互（点击、滚动）触发动态内容加载
监听网络请求捕获 API 调用

5. 爬取结果分析

5.1 站点地图构建

将爬取结果组织为树形结构：

target.com
├── / (首页)
├── /login (登录)
├── /register (注册)
├── /user/
│   ├── /user/profile (个人资料)
│   └── /user/settings (设置)
├── /api/
│   ├── /api/v1/users
│   ├── /api/v1/posts
│   └── /api/v1/upload
├── /admin/ (管理后台)
│   ├── /admin/dashboard
│   └── /admin/users
└── /search (搜索)

5.2 攻击面评估

对每个发现的功能点评估潜在风险：

功能点	输入参数	潜在漏洞	测试优先级
/search?q=	q (搜索词)	SQL 注入, XSS	高
/api/v1/users/{id}	id (用户ID)	IDOR, SQL 注入	高
/upload	file (文件)	文件上传漏洞	高
/user/profile	name, bio	存储型 XSS	中
/admin/*	-	未授权访问	高

5.3 与漏洞测试的衔接

爬取完成后，将结果按漏洞类型分组，传递给对应的测试技能：

注入测试组：所有带参数的 URL → sql-injection, command-injection, template-injection
XSS 测试组：所有参数在响应中有反射的 URL → xss-testing
认证测试组：登录/注册/密码功能 → 暴力破解、Session 测试
越权测试组：带 ID 参数的 API → IDOR 测试
文件操作组：上传/下载功能 → 文件上传、路径穿越
SSRF 测试组：接受 URL 参数的端点 → SSRF 测试

6. 目录扫描补充

爬虫可能遗漏的路径通过字典扫描补充：

6.1 常见敏感路径

/.git/config
/.svn/entries
/.env
/.env.production
/.env.local
/backup/
/backup.sql
/database.sql
/wp-config.php.bak
/config.yml
/config.json
/.htaccess
/server-status
/server-info
/phpinfo.php
/info.php
/test.php
/debug/
/console/
/actuator/
/actuator/env
/actuator/health
/metrics
/trace
/heapdump

6.2 管理后台路径

/admin/
/administrator/
/manage/
/management/
/backend/
/dashboard/
/portal/
/cp/
/controlpanel/
/webmaster/

web-crawler

More from this repository

Web 爬虫与目标发现

1. 爬虫在渗透测试中的位置

2. 爬取策略

2.1 广度优先 vs 深度优先

2.2 爬取范围控制

2.3 认证处理

3. 信息提取

3.1 URL 与参数提取

3.2 表单发现

3.3 API 端点发现

3.4 敏感信息发现

4. JavaScript 分析

4.1 JS 文件收集

4.2 JS 中的信息提取

4.3 JavaScript 渲染页面

5. 爬取结果分析

5.1 站点地图构建

5.2 攻击面评估

5.3 与漏洞测试的衔接

6. 目录扫描补充

6.1 常见敏感路径

6.2 管理后台路径

7. 爬虫检查清单

Web 爬虫与目标发现

1. 爬虫在渗透测试中的位置

2. 爬取策略

2.1 广度优先 vs 深度优先

2.2 爬取范围控制

2.3 认证处理

3. 信息提取

3.1 URL 与参数提取

3.2 表单发现

3.3 API 端点发现

3.4 敏感信息发现

4. JavaScript 分析

4.1 JS 文件收集

4.2 JS 中的信息提取

4.3 JavaScript 渲染页面

5. 爬取结果分析

5.1 站点地图构建

5.2 攻击面评估

5.3 与漏洞测试的衔接

6. 目录扫描补充

6.1 常见敏感路径

6.2 管理后台路径

7. 爬虫检查清单

More from this repository