基于 SOC 职业分类
用 Codex 或 Claude 帮你安装 复制这段 Prompt,粘贴到 Codex、Claude 或其他助手里,让它检查 Skill 页面并帮你完成安装。
直接命令不会经过审查 Prompt;运行前请先检查来源。
npx skills add https://github.com/ptreezh/sscisubagent-skills --skill trusted-web-scraper命令会保持在同一行。复制前请横向滚动并检查完整内容。
想先保存到本地?可下载 SkillsMP 当前能够提供的文件。
正在显示 SKILL.md
| name | trusted-web-scraper |
| description | 专门用于爬取可信网站(企业官网、教育网、政务网)信息的爬虫技能,确保数据来源的可靠性 |
| version | 1.0.0 |
| author | socienceAI.com |
| license | MIT |
| tags | ["web-scraping","trusted-sources","data-collection","research","enterprise-websites","educational-sites","government-sites"] |
| compatibility | Claude 3.5 Sonnet and above |
| metadata | {"domain":"data-collection","methodology":"web-scraping","complexity":"advanced","integration_type":"data_collection_tool","last_updated":"2025-12-27"} |
| allowed-tools | ["python","bash","read_file","write_file","web_fetch"] |
可信网站爬虫技能专门用于从可信网站(企业官网、教育网、政务网)收集信息,确保数据来源的可靠性和权威性。该技能采用多种技术手段来验证网站可信度,并使用适当的爬取策略来获取所需信息。
当用户请求以下操作时使用此技能:
当用户请求爬取可信网站信息时:
url: 要爬取的网站URLcontent_type: 要提取的内容类型(text, images, tables, documents等)data_fields: 指定要提取的数据字段verification_level: 验证级别(basic, standard, thorough)rate_limit: 请求频率限制(requests per minute)timeout: 请求超时时间(秒)retry_attempts: 重试次数output_format: 输出格式(json, csv, markdown等)methodology: 爬取方法(static, dynamic, api)cultural_context: 文化背景考虑(特别是中文网站)User: "收集某知名科技公司的产品信息和最新公告" Response: 验证网站可信度,提取产品目录和新闻公告,生成结构化数据。
User: "提取某大学计算机科学专业的课程信息" Response: 验证教育网站可信度,提取课程列表、描述和要求,整理成结构化格式。
User: "获取最新的教育政策文件" Response: 验证政府网站可信度,提取政策文件和相关内容,提供结构化摘要。
{
"summary": {
"url": "https://example.com",
"status_code": 200,
"trust_level": "high",
"content_extracted": 15,
"processing_time": 2.5
},
"details": {
"extracted_data": [...],
"metadata": {...},
"verification_info": {...}
},
"metadata": {
"timestamp": "2025-12-27T10:30:00",
"version": "1.0.0"
}
}
完成高质量的可信网站爬取应包括:
此技能为研究提供可靠的网络数据收集支持,确保数据来源的可信度和提取过程的合规性。