| name | scansci-sort |
| description | 大型文献清单分类摸底(嗅探优先)。当用户拿到数百篇以上的文献清单(WOS导出/Excel/DOI列表),要求分类、摸底、区分"哪些是OA开源、哪些Sci-Hub/灰色源有、哪些需机构权限"、为批量下载做路由规划时使用。先30分钟嗅探全分类,再分桶下载,不对全清单跑慢速竞速。 |
ScanSci Sort — 大清单文献分类摸底
核心原则:先嗅探、后下载;分类一次、路由到底。4000 篇实测嗅探 ≈30 分钟,之后每层下载只处理属于自己的桶。
环境检查
工具列表有 scansci_pdf_* → 可用 MCP(嗅探主要靠自写并发脚本,MCP 非必需);否则用 CLI scansci-pdf check 确认依赖。
嗅探阶段(只查不载)
0. 数据卫生
- 去重、去空、规范化 DOI:剥
https://doi.org/ 前缀、小写、trim;正则 ^10\.\d{4,9}/.+ 校验。
- WOS 导出约 5–6% 行缺 DOI → 提前分离单独文件,不进主流程。
1. OA 判定(全量,不碰灰色源)
- 首选 OpenAlex:50 DOI/请求、10 并发、~3 min/4000 篇。⚠️ 免费配额按 IP 每日计,共享 IP 可能 429(
$0 remaining)。
- 兜底 Unpaywall 单点并发:10 并发、3 次重试、每 500 条落盘 JSON 断点续传,~17 min/4000 篇。⚠️ 批量端点
POST /v2/dois 经常 500,不可依赖。
- 查不到的 DOI 用 Crossref
api.crossref.org/works/{doi} 验证:404 = 未注册(中文刊常见),不代表 Sci-Hub 没有。
2. 灰色源嗅探(只对非 OA 子集,请求量天然减半)
- Sci-Hub 三镜像轮测:
sci-hub.vg / sci-hub.al / sci-hub.ee(国内可达性 2026-08 实测;se/ru/st/ws/wf 不通,ru 返回反爬页)。
- 15 并发、每篇 3 次重试轮换域名。四分类:hit(HTML 含
(embed|iframe) src="...pdf,命中页 ~8KB)/ miss / turnstile(含 challenges.cloudflare.com/turnstile 或 Verification - Sci-Hub,按 IP 频率随机插入,假 DOI 也会触发)/ blocked(403/503)。
- ⚠️ HTTP 200 ≠ 成功,验证页也是 200,必须看内容。
- LibGen 不用测:scimag 库与 Sci-Hub 同源,全部镜像国内不可达(16 域名实测)。
- 三镜像全 miss = 灰色源确认无。
3. 合法 OA 补捞(对 Sci-Hub miss 子集)
- OpenAIRE:
api.openaire.eu/search/publications?doi={doi}&format=json,8 并发,递归提取 webresource.url 过滤 doi.org。实测 837 篇 miss 捞回 136 条记录、5 篇确定直链。
- 链接分型:
.pdf 直链→命中;PubMed 页→NCBI elink 查 PMC(多数无);Scopus/Lens→无用;机构库 landing→GET 页面找 .pdf 链接。
- DOAJ API:
doaj.org/api/search/articles/{doi} 补期刊官网直链。
- 403/超时 ≠ 无全文(反爬/网络),标注"记录存在但连通受限"。
4. 分类落库
- 分类值:
OA-开源 / Sci-Hub有 / 仓库有全文 / 需机构权限 / 缺DOI。
- 写回原 Excel 加一列(按 DOI 匹配);输出 UTF-8 BOM CSV 报告;生成分桶文件
oa.txt / scihub.txt / repo.txt / institution.txt。
下载路由(分类完成后移交)
| 层 | 对象 | 渠道 | 速度 | 详见 skill |
|---|
| L1 | OA-开源 | Unpaywall best_oa_location.pdf_url 直链 | <1s/篇 | — |
| L2 | Sci-Hub有 | scansci-pdf batch --scihub | 竞速 10–30s/篇 | scansci-batch |
| L3 | 需机构∩DOI前缀10.1016 | Elsevier API(key+校园网,无需 insttoken) | 1–2s/篇 | scansci-institution |
| L4 | 需机构其余 | WebVPN/CARSI | 10–30s/篇 | scansci-institution |
| — | 仓库有全文 | 报告里仓储直链 | <1s/篇 | — |
路由原则:按 DOI 前缀把 L3 插到 L4 之前(实测需机构桶 Elsevier 占 56%)。
关键坑速查
| 坑 | 处理 |
|---|
| OpenAlex 429 配额耗尽 | 切 Unpaywall 单点并发 |
| Unpaywall 批量端点 500 | 单点 + 并发 + 断点续传 |
| Turnstile 混入探测 | 四分类 + 重试 + 轮换域名 |
| 本机代理 127.0.0.1:7890 可能未启动 | 探测前先测代理连通 |
| 无效 DOI(Crossref 404) | 以 Sci-Hub 探测结果为准归类 |
耗时基线(4000 篇实测)
嗅探全程 ~30 min(OpenAlex 可用时);L1 ~10 min;L2 1–3 h(并发);L3 ~15 min/500 篇;L4 每篇需浏览器登录态。
