Menü
基于requests和BeautifulSoup的网页爬虫skill，支持抓取网页内容、提取链接、下载图片等功能
Mit Codex oder Claude installieren Kopieren Sie diesen Prompt, fügen Sie ihn in Codex, Claude oder einen anderen Assistant ein und lassen Sie die Skill-Seite prüfen und installieren.
Basierend auf der SOC-Berufsklassifikation
图片下载器 - 从网站批量下载图片，支持单张图片、HTML页面、网站全站爬取
图片处理器 - 批量压缩、格式转换、尺寸调整、加水印
PDF 工具 - 合并、拆分、提取文本、加密解密、加水印等
SFTP/SSH 远程文件管理工具 - 上传下载、列表、重命名、删除、执行命令等
FFmpeg 视频/音频处理工具 - 格式转换、裁剪、合并、水印、字幕、GIF转换等
批量重命名器 - 支持正则、序号、前缀后缀、替换文本等多种重命名方式
| name | web-crawler |
| description | 基于requests和BeautifulSoup的网页爬虫skill，支持抓取网页内容、提取链接、下载图片等功能 |
| metadata | {"type":"custom"} |
一个功能强大的网页爬虫工具，基于requests和BeautifulSoup4构建。
from claude_skills.web_crawler import WebCrawler
# 创建爬虫实例
crawler = WebCrawler()
# 抓取网页
html = crawler.fetch("https://example.com")
# 提取所有链接
links = crawler.extract_links(html)
# 下载图片
crawler.download_image("https://example.com/image.jpg", "output/image.jpg")
# 使用CSS选择器提取内容
titles = crawler.select(html, "h1.title")
# 自定义请求头
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
crawler = WebCrawler(headers=headers, timeout=30)
__init__(headers=None, timeout=10)初始化爬虫实例。
参数:
headers (dict, optional): 自定义HTTP请求头timeout (int, optional): 请求超时时间（秒）fetch(url, params=None)获取网页HTML内容。
参数:
url (str): 目标URLparams (dict, optional): URL查询参数返回:
str: HTML内容extract_links(html, base_url=None)从HTML中提取所有链接。
参数:
html (str): HTML内容base_url (str, optional): 基础URL，用于补全相对链接返回:
list: 链接列表extract_text(html)从HTML中提取纯文本内容。
参数:
html (str): HTML内容返回:
str: 纯文本内容select(html, selector)使用CSS选择器提取元素。
参数:
html (str): HTML内容selector (str): CSS选择器返回:
list: 匹配的元素文本列表download_image(url, save_path)下载图片到本地。
参数:
url (str): 图片URLsave_path (str): 保存路径get_soup(html)获取BeautifulSoup对象，进行更复杂的解析。
参数:
html (str): HTML内容返回:
BeautifulSoup: Soup对象