katana-crawl

name	katana-crawl
description	使用 katana 进行 Web 爬虫和 URL 发现。当需要爬取目标网站的所有页面和端点、发现隐藏的 API 路径、JavaScript 中的端点、表单提取时使用。katana 是 ProjectDiscovery 出品的下一代爬虫框架，支持标准模式和 Headless 浏览器模式，能解析 JavaScript 发现动态端点。任何涉及 Web 爬虫、URL 发现、JS 端点提取、表单发现、站点地图的场景都应使用此技能
metadata	{"tags":"katana,crawl,spider,爬虫,URL发现,JS解析,endpoint,表单,projectdiscovery,headless","category":"tool"}

katana Web 爬虫方法论

katana 是 ProjectDiscovery 出品的下一代 Web 爬虫框架。核心优势：JavaScript 解析（发现动态端点）+ Headless 模式（渲染 SPA）+ 管道友好 + 表单自动填充。

项目地址：https://github.com/projectdiscovery/katana

Phase 1: 基本爬取

# 爬取单个目标（默认深度 3）
katana -u http://target.com

# 指定爬取深度
katana -u http://target.com -d 5

# 静默输出（只显示 URL）
katana -u http://target.com -silent

# 输出到文件
katana -u http://target.com -silent -o urls.txt

Phase 2: JavaScript 解析（关键能力）

现代 Web 应用大量使用 JS 框架，传统爬虫无法发现 JS 中硬编码的 API 端点：

# 启用 JS 端点解析（推荐始终开启）
katana -u http://target.com -jc

# 启用 jsluice 深度 JS 解析（更全面，内存消耗大）
katana -u http://target.com -jsluice

# Headless 模式（渲染页面后爬取，适合 SPA/React/Vue）
katana -u http://target.com -headless

# Headless + 使用系统 Chrome
katana -u http://target.com -headless -system-chrome

Phase 3: 批量爬取

# 从文件读取目标
katana -list urls.txt -silent

# 从 stdin 管道
cat urls.txt | katana -silent

# 配合其他工具
subfinder -d target.com -silent | httpx -silent | katana -silent -jc

Phase 4: 输出过滤

# 只输出特定扩展名
katana -u http://target.com -em php,jsp,asp -silent

# 排除静态资源
katana -u http://target.com -ef png,jpg,css,gif,svg,woff -silent

# 正则匹配（只输出包含 api 的 URL）
katana -u http://target.com -mr "api|admin|login" -silent

# 正则过滤（排除包含 logout 的 URL）
katana -u http://target.com -fr "logout|static" -silent

# 提取表单元素
katana -u http://target.com -form-extraction -jsonl

Phase 5: 范围控制

# 限制在同一域名内（默认行为）
katana -u http://target.com

# 显示外部端点（不爬取，只显示）
katana -u http://target.com -display-out-scope

# 自定义范围（正则）
katana -u http://target.com -crawl-scope "target\.com|api\.target\.com"

# 排除特定路径
katana -u http://target.com -crawl-out-scope "logout|signout"

# 无范围限制（危险，慎用）
katana -u http://target.com -no-scope

Phase 6: 高级配置

# 限时爬取（比赛场景重要）
katana -u http://target.com -crawl-duration 60s

# 控制并发和速率
katana -u http://target.com -c 20 -rl 100

# 自定义 Header（带 Cookie 访问需要认证的页面）
katana -u http://target.com -H "Cookie: session=abc123"

# 使用代理
katana -u http://target.com -proxy http://127.0.0.1:8080

# JSONL 输出（包含完整请求信息）
katana -u http://target.com -jsonl -o results.jsonl

# 已知文件扫描（robots.txt, sitemap.xml）
katana -u http://target.com -known-files all -d 3

# 技术检测
katana -u http://target.com -tech-detect

# XHR 请求提取（Headless 模式）
katana -u http://target.com -headless -xhr-extraction

Phase 7: 管道集成

# 爬虫 → 漏洞扫描
katana -u http://target.com -jc -silent | nuclei -severity critical,high

# 爬虫 → 筛选 JS 文件 → 敏感信息提取
katana -u http://target.com -jc -silent -em js | while read url; do
  curl -s "$url" | grep -iE "api_key|password|secret|token"
done

# 爬虫 → 参数提取 → SQLi 测试
katana -u http://target.com -jc -silent | grep "?" | sort -u > params.txt

# 子域名 → 存活 → 爬虫 → 漏洞扫描（完整链）
subfinder -d target.com -silent | httpx -silent | katana -jc -silent | nuclei

爬取策略选择

场景	策略	命令
快速发现（比赛）	浅爬 + JS	katana -u URL -d 2 -jc -silent
全面爬取	深爬 + Headless	katana -u URL -d 5 -headless -jc
API 端点发现	JS 解析 + 过滤	katana -u URL -jc -em js,json -silent
认证后爬取	带 Cookie	katana -u URL -H "Cookie: ..." -jc
SPA 应用	Headless 必须	katana -u URL -headless -system-chrome