메뉴
기본적으로 소스를 먼저 확인하는 Prompt가 선택됩니다. 직접 명령으로 전환하거나 로컬 사본을 다운로드할 수도 있습니다.
설치 여부를 결정하기 전에 SKILL.md와 SkillsMP에 표시된 보조 파일을 읽어 보세요.
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
직접 명령은 검토 Prompt를 거치지 않습니다. 실행하기 전에 소스를 확인하세요.
npx skills add https://github.com/publisher-skill/claude-skill --skill web-crawler명령은 한 줄로 유지됩니다. 복사하기 전에 가로로 스크롤해 전체 내용을 확인하세요.
로컬 사본을 원하시나요? SkillsMP에서 현재 제공할 수 있는 파일을 다운로드하세요.
SKILL.md 표시 중
SOC 직업 분류 기준
| name | web-crawler |
| description | 基于requests和BeautifulSoup的网页爬虫skill，支持抓取网页内容、提取链接、下载图片等功能 |
| metadata | {"type":"custom"} |
一个功能强大的网页爬虫工具，基于requests和BeautifulSoup4构建。
from claude_skills.web_crawler import WebCrawler
# 创建爬虫实例
crawler = WebCrawler()
# 抓取网页
html = crawler.fetch("https://example.com")
# 提取所有链接
links = crawler.extract_links(html)
# 下载图片
crawler.download_image("https://example.com/image.jpg", "output/image.jpg")
# 使用CSS选择器提取内容
titles = crawler.select(html, "h1.title")
# 自定义请求头
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
crawler = WebCrawler(headers=headers, timeout=30)
__init__(headers=None, timeout=10)初始化爬虫实例。
参数:
headers (dict, optional): 自定义HTTP请求头timeout (int, optional): 请求超时时间（秒）fetch(url, params=None)获取网页HTML内容。
参数:
url (str): 目标URLparams (dict, optional): URL查询参数返回:
str: HTML内容extract_links(html, base_url=None)从HTML中提取所有链接。
参数:
html (str): HTML内容base_url (str, optional): 基础URL，用于补全相对链接返回:
list: 链接列表extract_text(html)从HTML中提取纯文本内容。
参数:
html (str): HTML内容返回:
str: 纯文本内容select(html, selector)使用CSS选择器提取元素。
参数:
html (str): HTML内容selector (str): CSS选择器返回:
list: 匹配的元素文本列表download_image(url, save_path)下载图片到本地。
参数:
url (str): 图片URLsave_path (str): 保存路径get_soup(html)获取BeautifulSoup对象，进行更复杂的解析。
参数:
html (str): HTML内容返回:
BeautifulSoup: Soup对象