boss-zhipin-scraper

Scrape BOSS直聘 (job listing site) via Chrome CDP. Searches jobs by keyword/city/filters, fetches JD details, outputs structured JSON/CSV with plaintext salary, and can summarize scraped results into a job-market prompt. Use when user wants to search/analyze jobs on BOSS直聘 or zhipin.com.

Zur Installation springen

Repository: eatmoreduck/boss-zhipin-scraper
Letzte Quellaktivität: 14. August 2026 um 16:18
Erkannte Sprache von SKILL.md: Chinesisch
Sterne: 1.255
Forks: 157

Installationsoptionen

Standardmäßig ist der Prompt ausgewählt, der zuerst die Quelle prüft. Sie können zu einem direkten Befehl wechseln oder eine lokale Kopie herunterladen.

Mit Codex oder Claude installieren Kopieren Sie diesen Prompt, fügen Sie ihn in Codex, Claude oder einen anderen Assistant ein und lassen Sie die Skill-Seite prüfen und installieren.

Ein direkter Befehl überspringt den Prüf-Prompt. Prüfen Sie die Quelle, bevor Sie ihn ausführen.

npx skills add https://github.com/eatmoreduck/boss-zhipin-scraper --skill boss-zhipin-scraper

Der Befehl bleibt in einer Zeile. Scrollen Sie horizontal, um ihn vor dem Kopieren vollständig zu prüfen.

Sie bevorzugen eine lokale Kopie? Laden Sie die Dateien herunter, die SkillsMP derzeit vorliegen.

Quelldateien prüfen

Lesen Sie SKILL.md und alle von SkillsMP angezeigten Begleitdateien, bevor Sie sich für eine Installation entscheiden.

SKILL.md

Quellanweisungen · Schreibgeschützte Vorschau

Zurück zur Suche Zurück zur Installation

name	boss-zhipin-scraper
description	Scrape BOSS直聘 (job listing site) via Chrome CDP. Searches jobs by keyword/city/filters, fetches JD details, outputs structured JSON/CSV with plaintext salary, and can summarize scraped results into a job-market prompt. Use when user wants to search/analyze jobs on BOSS直聘 or zhipin.com.
version	2.2.0
author	eatmoreduck
license	MIT
platforms	["macos","linux"]
metadata	{"hermes":{"tags":["scraper","jobs","career","cdp","chrome","zhipin","boss直聘"]}}

BOSS直聘职位抓取工具 v2.2

通过 Chrome CDP 协议抓取 BOSS直聘 (zhipin.com) 职位数据，输出结构化 JSON/CSV（含明文薪资），并可对已抓取结果生成聚合摘要和求职材料优化提示词。

前置条件

Chrome 浏览器已安装
Python 3.10+
用户已登录 zhipin.com（或愿意手动登录）

脚本位置

本 skill 的脚本在 skill 目录下：

scripts/boss_cdp_raw.py：抓取主脚本
scripts/job_summary.py：抓取后摘要和提示词脚本

运行任何命令前，必须先确定脚本的绝对路径。

用以下方式找到脚本（macOS 自带的 readlink 不支持 -f，用 Python 解析路径更通用）：

# 方法 1：已知 skill 安装目录（推荐，macOS/Linux 通用）
SKILL_DIR="$(python3 -c "import os,sys;print(os.path.dirname(os.path.realpath(sys.argv[1])))" "$0")"
SCRIPT_PATH="$SKILL_DIR/scripts/boss_cdp_raw.py"
SUMMARY_PATH="$SKILL_DIR/scripts/job_summary.py"

# 方法 2：搜索 hermes skills 目录
SCRIPT_PATH=$(find ~/.hermes/skills -name "boss_cdp_raw.py" -type f 2>/dev/null | head -1)
SUMMARY_PATH=$(find ~/.hermes/skills -name "job_summary.py" -type f 2>/dev/null | head -1)

如果找不到脚本，说明 skill 未正确安装，需要重新安装。

依赖安装（首次使用必须执行）

脚本依赖 websocket-client 和 requests。在用户项目的 venv 中安装：

uv add websocket-client requests
# 或
pip install websocket-client requests

自动化流程

当用户要求搜索/抓取 BOSS直聘职位时，严格按以下顺序执行：

第 1 步：检查环境

python3 "$SCRIPT_PATH" --check --cdp-port 9222

检查三项：Python 依赖 → CDP 连通性 → 登录态。

全部通过 → 跳到第 3 步
CDP 不通 → 继续第 2 步
依赖缺失 → 先装依赖（见上方依赖安装），再重新 --check
未登录 → 告诉用户打开 Chrome 登录 zhipin.com，然后重新 --check

第 2 步：启动 Chrome CDP（仅在 --check CDP 不通时）

python3 "$SCRIPT_PATH" --setup-chrome --cdp-port 9222

这会自动完成：

创建或复用持久隔离 Chrome profile
- ~/.boss-zhipin-scraper/chrome-profile
只关闭使用该隔离 profile 的旧 BOSS CDP Chrome，不关闭用户主 Chrome
以 CDP 模式启动 Chrome（--remote-debugging-port=9222）
等待 CDP 端口就绪（最多 30 秒）
打开 BOSS 登录页并等待登录完成，直到搜索接口返回明文 salaryDesc

默认不复制主 Chrome 的 Cookie、密码、历史记录或扩展；首次启动和后续重复启动都只是创建或复用该专用 profile。首次使用时告诉用户：请在弹出的 BOSS 专用 Chrome 浏览器中访问 zhipin.com 并登录。脚本会等待登录完成并确认接口能返回明文薪资。该专用 profile 是持久目录，机器重启后登录态仍保留，重复运行 --setup-chrome 不会清空它。

仅当用户明确要求从主 Chrome 手动导入 BOSS 登录态时，可使用：

python3 "$SCRIPT_PATH" --setup-chrome --copy-login-state --cdp-port 9222

--copy-login-state 每次运行都会覆盖隔离 profile 内对应的 Cookie 相关文件；日常启动不要加这个参数。它只复制 Local State 和 Default/Cookies*、Default/Network/Cookies* 这类 Cookie 数据库相关文件，不复制密码库或完整 profile。不要默认使用该参数，也不要告诉用户首次启动会自动导入主 Chrome 登录态。

等用户确认后，重新运行 --check 验证。

第 3 步：运行抓取

# 基础搜索
python3 "$SCRIPT_PATH" --keyword "关键词" --city 城市 --pages 3 --output ~/.boss-zhipin-scraper/job-result/jobs.json

# 带 CSV 输出
python3 "$SCRIPT_PATH" --keyword "关键词" --city 城市 --pages 3 --format csv --output ~/.boss-zhipin-scraper/job-result/jobs.json

# 带详情 + 分析报告
python3 "$SCRIPT_PATH" --keyword "关键词" --city 城市 --pages 3 --detail --max-details 8 --analysis --format csv --output ~/.boss-zhipin-scraper/job-result/jobs.json

# 抓取后摘要 + 求职材料优化提示词（默认读取最新抓取结果）
python3 "$SUMMARY_PATH" --top 15

# 真实浏览器/API smoke test（不写结果文件）
python3 "$SCRIPT_PATH" --smoke-test --cdp-port 9222

# 合并多次抓取（去重）
python3 "$SCRIPT_PATH" --keyword "关键词" --city 北京 --pages 3 --merge ~/.boss-zhipin-scraper/job-result/jobs.json --output ~/.boss-zhipin-scraper/job-result/jobs_merged.json

默认输出到 ~/.boss-zhipin-scraper/job-result/ 目录，--format csv 会给列表和详情都额外生成 .csv 文件。--smoke-test 只验证真实 Chrome/CDP 能否拿到 API 明文薪资，不写结果文件。

抓取结束后专用 Chrome 不会自动关闭（默认保留登录态，方便连跑多条）。确认不再使用时收尾：

# 关闭 BOSS 专用 Chrome（只关隔离 profile，不碰主 Chrome）
python3 "$SCRIPT_PATH" --stop-chrome --cdp-port 9222

# 或：让本次抓取正常结束就自动关闭
python3 "$SCRIPT_PATH" --keyword "关键词" --city 城市 --pages 3 --close-chrome

--stop-chrome 按 --user-data-dir 精准匹配，绝不按端口/进程名 kill，因此不会误伤用户主 Chrome。--close-chrome 默认关闭，且只在抓取成功路径触发，异常/登录失败不关闭以保留登录态。

摘要脚本只读取 boss_jobs_*.json 和 boss_details_*.json，不读取本地简历文件，不引入 PDF 依赖，也不给个人与岗位做分数判断。需要指定文件时使用：

python3 "$SUMMARY_PATH" \
  --input ~/.boss-zhipin-scraper/job-result/boss_jobs_20260625_1200.json \
  --details ~/.boss-zhipin-scraper/job-result/boss_details_20260625_1200.json \
  --top 15

参数速查

参数	默认值	说明
`--keyword`	AI Agent	搜索关键词
`--city`	上海	城市名（中文）或 9 位代码；没传时默认上海，无法识别的城市名会报错退出
`--pages`	3	抓取页数（上限 10，每页 30 条）
`--output`	~/.boss-zhipin-scraper/job-result/...	列表输出路径
`--detail-output`	~/.boss-zhipin-scraper/job-result/...	详情输出路径
`--format`	json	输出格式: json / csv；csv 同时导出列表和详情 CSV
`--detail`	开启（默认）	抓取详情页 JD
`--no-detail`	-	不抓取详情页（关闭默认行为）
`--max-details`	全部	详情页数量上限
`--analysis`	关闭	输出分析报告
`--allow-dom-fallback`	关闭	API 无数据时允许降级 DOM 提取；默认关闭，薪资可能不可信
`--merge FILE`	-	合并已有 JSON（按 job_id 去重）
`--cdp-port`	9222	CDP 端口
`--setup-chrome`	关闭	一键启动 Chrome CDP（持久隔离 profile）
`--copy-login-state`	关闭	手动导入主 Chrome 的 Local State + Cookie 相关文件到隔离 profile；默认、首次启动、重复启动都不复制
`--reset-chrome-profile`	关闭	重建 BOSS 专用 profile，会清除此专用浏览器登录态
`--no-wait-login`	关闭	`--setup-chrome` 启动后不等待 BOSS 登录完成
`--login-timeout`	300	`--setup-chrome` 等待登录完成的秒数
`--stop-chrome`	关闭	关闭 BOSS 专用 CDP Chrome（按隔离 profile 精准匹配，不碰主 Chrome）
`--close-chrome`	关闭	抓取正常结束后自动关闭专用 Chrome（默认不关；异常退出不触发，保留登录态）

筛选参数

参数	值
`--scale`	301=0-20人 302=20-99 303=100-499 304=500-999 305=1000-9999 306=10000+
`--salary`	402=3K以下 403=3-5K 404=5-10K 405=10-20K 406=20-50K 407=50K+
`--experience`	108=在校生 102=应届生 101=经验不限 103=1年内 104=1-3年 105=3-5年 106=5-10年 107=10年+
`--degree`	209=初中及以下 208=中专/中技 206=高中 202=大专 203=本科 204=硕士 205=博士

城市代码

全国 100010000 | 北京 101010100 | 上海 101020100 | 广州 101280100 | 深圳 101280600 | 杭州 101210100 | 成都 101270100 | 武汉 101200100 | 南京 101190100 | 厦门 101230200

输出格式

JSON

{
  "keyword": "AI Agent",
  "city": "上海",
  "total": 60,
  "jobs": [
    {
      "job_id": "c4420e8bce3a6e25",
      "title": "AI Agent工程师",
      "salary": "30-60K·15薪",
      "location": "上海·闵行区·虹桥",
      "tags": "5-10年 | 本科",
      "boss_name": "SHEIN",
      "boss_title": "招聘者",
      "company_scale": "10000人以上",
      "company_stage": "D轮及以上",
      "company_industry": "电子商务",
      "skills"

CSV

--format csv 时自动在同目录生成 .csv 文件：列表 CSV 跟随 --output，详情 CSV 跟随 --detail-output 或默认详情 JSON 路径。CSV 使用 UTF-8 BOM 编码，Excel 直接打开无乱码。

工作原理

通过 Chrome DevTools Protocol (CDP) 连接到已打开的 Chrome 浏览器
在 BOSS直聘页面内注入 JS，用同步 XHR 调用 /wapi/zpgeek/search/joblist.json API
API 返回明文 salaryDesc（如 30-60K·15薪），绕过前端字体反爬
列表 API 保留 securityId / lid 等上下文，进入详情页时带上这些参数
默认禁用 DOM fallback，避免把字体反爬后的薪资写入结果；只有显式 --allow-dom-fallback 才降级
每页 30 条，每页抓完立即写入文件，异常退出不丢数据
按 job_id（job_link 的 MD5 哈希前 16 位）去重

数据安全策略

--setup-chrome 默认使用持久隔离 profile，不软链接、不读取、不复制主 Chrome profile。首次启动和后续重复启动都只会创建或复用 ~/.boss-zhipin-scraper/chrome-profile，不会清空其中的 BOSS 登录态。setup 会等待登录完成，并用多组关键词/城市 probe，要求搜索接口返回明文薪资；如果一直拿不到 salaryDesc，不要继续抓取并把 DOM 薪资当成可信数据。这样 CDP 只暴露 BOSS 专用浏览器里的数据，不影响用户主 Chrome、Gmail、GitHub 等账号。

--input ... --analysis --no-detail 会优先加载 --detail-output，其次加载与输入列表同目录、同时间戳的 boss_details_*.json，最后查找 ~/.boss-zhipin-scraper/job-result 下最新详情文件。

需要清空 BOSS 专用浏览器登录态时使用：

python3 "$SCRIPT_PATH" --setup-chrome --reset-chrome-profile --cdp-port 9222

常见问题

--check CDP 不通 → 运行 --setup-chrome
--check 未登录 → 在专用 Chrome 中访问 zhipin.com 登录，或重新运行 --setup-chrome
薪资空白 → 通常是未登录、登录态失效或接口未返回 salaryDesc；先重新登录，不要优先做字体解密或 DOM fallback
抓取中断 → 重新运行即可，增量写入 + 自动去重
端口占用 → --cdp-port 9223 换端口
Chrome 启动失败 → --cdp-port 9223 换端口，或用 --reset-chrome-profile 重建专用 profile

注意事项

仅用于个人求职研究
单次最多 10 页（300 条），防封号
翻页间隔 12-22 秒随机延迟，3 页约 1 分钟
详情页每条 10-25 秒，10 条约 3-5 分钟
BOSS直聘可能更新 API 路径，失效时需更新脚本中 API_JOB_LIST_PATH 常量

安装本 Skill

本 Skill 需手动安装到 Hermes skills 目录（hermes skills install 因网络问题可能失败）：

# 推荐：curl 一键安装
mkdir -p ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts && \
curl -sL https://raw.githubusercontent.com/eatmoreduck/boss-zhipin-scraper/master/SKILL.md \
  -o ~/.hermes/skills/data-science/boss-zhipin-scraper/SKILL.md && \
curl -sL https://raw.githubusercontent.com/eatmoreduck/boss-zhipin-scraper/master/scripts/boss_cdp_raw.py \
  -o ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts/boss_cdp_raw.py && \
curl -sL https://raw.githubusercontent.com/eatmoreduck/boss-zhipin-scraper/master/scripts/job_summary.py \
  -o ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts/job_summary.py && \
mkdir -p ~/.hermes/skills/data-science/boss-zhipin-scraper/data && \
curl -sL https://raw.githubusercontent.com/eatmoreduck/boss-zhipin-scraper/master/data/city_codes.json \
  -o ~/.hermes/skills/data-science/boss-zhipin-scraper/data/city_codes.json

或克隆后手动复制：

git clone https://github.com/eatmoreduck/boss-zhipin-scraper.git
mkdir -p ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts
cp boss-zhipin-scraper/SKILL.md ~/.hermes/skills/data-science/boss-zhipin-scraper/
cp boss-zhipin-scraper/scripts/boss_cdp_raw.py ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts/
cp boss-zhipin-scraper/scripts/job_summary.py ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts/
mkdir -p ~/.hermes/skills/data-science/boss-zhipin-scraper/data
cp boss-zhipin-scraper/data/city_codes.json ~/.hermes/skills/data-science/boss-zhipin-scraper/data/

boss-zhipin-scraper

Quellinformationen

Installationsoptionen

Quelldateien prüfen

BOSS直聘职位抓取工具 v2.2

前置条件

脚本位置

依赖安装（首次使用必须执行）

自动化流程

第 1 步：检查环境

第 2 步：启动 Chrome CDP（仅在 --check CDP 不通时）

第 3 步：运行抓取

参数速查

筛选参数

城市代码

输出格式

JSON

CSV

工作原理

数据安全策略

常见问题

注意事项

安装本 Skill

BOSS直聘职位抓取工具 v2.2

前置条件

脚本位置

依赖安装（首次使用必须执行）

自动化流程

第 1 步：检查环境

第 2 步：启动 Chrome CDP（仅在 --check CDP 不通时）

第 3 步：运行抓取

参数速查

筛选参数

城市代码

输出格式

JSON

CSV

工作原理

数据安全策略

常见问题

注意事项

安装本 Skill