메뉴
从任意 URL 提取干净正文（Markdown 格式）。三层降级策略：Jina Reader → Scrapling + html2text → web_fetch。触发关键词：「抓取网页」「提取正文」「读取文章」「网页内容」「fetch article」「extract web」「读取 URL」「抓文章」「web extract」「网页提取」。当用户给出一个 URL 并要求获取/阅读/提取其内容时自动触发。
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
| name | web-extract |
| description | 从任意 URL 提取干净正文（Markdown 格式）。三层降级策略：Jina Reader → Scrapling + html2text → web_fetch。触发关键词：「抓取网页」「提取正文」「读取文章」「网页内容」「fetch article」「extract web」「读取 URL」「抓文章」「web extract」「网页提取」。当用户给出一个 URL 并要求获取/阅读/提取其内容时自动触发。 |
从任意 URL 提取干净的 Markdown 正文，自动选择最优方案。统一 maxChars=30000。
用户提供的 URL 在 $ARGUMENTS 中。如果没有提供 URL，询问用户。
| 域名模式 | 直接走 | 原因 |
|---|---|---|
mp.weixin.qq.com | Scrapling | Jina 403，不浪费配额 |
github.com | web_fetch | 静态页，无需 Jina |
raw.githubusercontent.com | web_fetch | 原始文件 |
docs.* / *.readthedocs.io | web_fetch | 技术文档，静态 |
第一层：Jina Reader（优先）
使用 WebFetch 工具访问: https://r.jina.ai/{原始URL}
设置 maxChars=30000
Jina 自动渲染、抽取正文、去噪，返回干净 Markdown。速度约 1.4 秒。
第二层：Scrapling + html2text（降级）
~/.claude/skills/web-extract/.venv/bin/python3 ~/.claude/skills/web-extract/scrapling_fetch.py "<URL>" 30000
依赖已安装在 skill 自带的 venv 中，无需额外操作。
特点：
第三层：web_fetch 直接抓（兜底）
使用 WebFetch 工具直接访问原始 URL
设置 maxChars=30000
注意：
当以上三层返回的内容包含以下特征时，判定为被验证拦截：
mp.weixin.qq.com 等已知需验证站点检测到拦截后，必须告知用户并请求确认：
该网站需要人机验证，常规提取方式无法获取正文。 我可以尝试使用你本地浏览器（Chrome/Safari）中已有的 cookie 来绕过验证。 这会读取你浏览器中该站点的 cookie（仅用于本次请求，不会存储或外传）。
是否允许使用浏览器 cookie 提取？
用户确认后，使用 --cookie 标志调用：
~/.claude/skills/web-extract/.venv/bin/python3 ~/.claude/skills/web-extract/scrapling_fetch.py "<URL>" 30000 --cookie
用户拒绝时，告知替代方案：
| 域名 | 原因 |
|---|---|
mp.weixin.qq.com | 微信公众号文章，2026 年起要求 PoC 验证码 |
遇到新的需验证站点时，同样走「检测 → 提示 → 确认 → cookie」流程。
提取成功后，向用户展示：
Scrapling、html2text、browser-cookie3 已安装在 skill 自带的 venv 中：~/.claude/skills/web-extract/.venv/
如需重装：
~/.claude/skills/web-extract/.venv/bin/pip install scrapling html2text browser-cookie3
Jina 和 web_fetch 层无需额外依赖。