name: Dedup & Screening Prep
description: 完成去重、标准化与初筛包生成。 Use when: raw_exports 已到位. Do not use when: screening_pack.csv 已存在.
version: 2.0.0
Identity
- Skill ID: S05
- Slug: dedup-screening-prep
- Directory: .agents/skills/S05-dedup-screening-prep/
- Name: Dedup & Screening Prep
- 中文角色: 文献去重与初筛准备
- Stage: A_scoping_search
- Skill Type: business
- Human Gate: G1
- Required QA Hooks: - Q03
Mission
完成去重、标准化与初筛包生成。
此 skill 在综述生产流水线中的角色：文献去重与初筛准备。它在"A_scoping_search"阶段运行，
生成结构化产物供下游 skill 消费，并在 G1 处接受人工审核。
Scientific Role in the Workflow
- 所处阶段: 检索后处理阶段——合并多数据库结果、去重、标准化、生成初筛包
- 产出形式: master_records.csv + screening_pack.csv + prisma_seed.json
- 人机协同点: 产物在 G1 处需人工审签；关键决策记录在 decision_log.md 中
- 对下游的价值: 为 Gate 1 审核提供初筛材料，为 S06 提供 master_records
Scope of Responsibility
- 本 skill 仅负责 多格式解析、多轮去重、字段标准化、PRISMA 数据种子
- 不负责 全文筛选（那是人机协同在 Gate 1 后的工作）
- 不负责 全文精读（那是 S09 的职责）
Trigger When
raw_exports 已到位
Do Not Trigger When
screening_pack.csv 已存在
Required Inputs
- retrieval_manifest.json
- raw_exports/
Optional Inputs
- 之前运行的 dedup_report.md（增量去重）
Output Contract
- 所有输出文件写入
/artifacts/run-<ts>/stage-1/ 目录下
- 结构化输出（.json / .csv）优先于叙述性输出（.md），必须通过 schemas/ 下对应 JSON Schema 校验
- 每个输出产物在 artifact registry 中注册时，须记录其上游依赖、生成时间、生成器和版本号
- 产物格式优先级：结构化数据 (.json) > 表格 (.csv) > 叙述性 Markdown (.md) > 自由文本
- 产物路径和命名遵循
configs/artifact_registry_rules.json 中定义的规范
Expected Outputs
- master_records.csv
- screening_pack.csv
- prisma_seed.json
Operational Steps
- 验证所有 Required Inputs 存在且可读，缺失则立即停止并报告
- 加载相关 Schema 和契约文件（schemas/ 目录下）
- 仅执行 Purpose 与 Scope of Responsibility 中定义的任务，不漂移到相邻 skill 的职责
- 先产出结构化数据（.json / .csv），再生成叙述性说明（.md）
- 记录所有假设、未解决的歧义和失败追踪信息
- 若置信度不足（如关键数据缺失导致无法做出科学判断），停止执行并升级给人工，不得猜测或编造
Decision / Writing / Validation Principles
- 结构化字段优先：先填满 schema 的 required 字段，再补充 optional 字段
- 证据三元组：每个科学论断必须包含 (source_id, finding_direction, evidence_strength)
- 冲突分类：如发现证据方向矛盾，标记为 direction_conflict 而非强行选边
- 术语一致性：同一实体在全文中使用统一的 canonical term（参见 configs/ontology/）
- 保守推断：不在证据不足时声称"clearly" "definitively" "proves"
Hard Constraints
- 不得编造 DOI、PMID、样本量、统计值、期刊身份或研究结论
- 不得静默覆盖已有高版本 artifact（必须 version incrementally，参见 AGENTS.md）
- 不得删除上游可审计痕迹（raw exports、screening decisions、extraction logs 必须保留）
- 不得绕过 Gate 或把 QA 结论写成"已人工确认"（除非真正通过了人工审核）
- 不自动合并 potential_duplicate——必须保留供人工审核
- 不删除任何 raw_exports 文件
- 去重逻辑必须可复现
QA Hooks
Human-in-the-Loop Checkpoint
- 产出物完成后，进入 G1 等待人工审核
- 审核通过前，下游 skill 不得启动
- 若人工审核要求修订，返回上游 skill（参见
orchestrator/state_machine/transitions.yaml）
Acceptance Checklist (Self-Verification Before Declaring Done)
Failure Handling
- 缺少输入: 发出 blocking error，立即停止，不继续执行
- Schema 校验失败: 重试一次（带错误上下文修正）；若第二次仍失败，升级给 checkpoint manager
- 下游污染风险: 如果当前产物可能影响下游 skill 的正确性，标记为
status: blocked，阻止流水线继续
- 领域特定失败: 若 master_records.csv 为空，致命错误 → BLOCKED
- 重试耗尽: 若达到 orchestrator/retry_policies/ 中定义的最大重试次数，升级给人工
Logging and Observability
每个 skill 必须产出以下日志文件（写入 /artifacts/run-<ts>/logs/S05/）：
input_manifest.json — 所有输入的路径和校验和output_manifest.json — 所有输出的路径和校验和validation_result.json — Schema 校验结果decision_log.md — 关键决策及其理由failure_trace.md — 失败时的错误堆栈（如有）
Collaboration Notes for Codex / Orchestrator
- 执行前先读取
AGENTS.md 获取项目级非协商规则
- 执行前先读取
configs/skills_manifest.json 确认本 skill 的上下游依赖
- 产物注册使用
orchestrator/artifact_registry/registry_v2.py 的统一接口
Definition of Done
- 所有 Expected Outputs 已写入磁盘并通过 Schema 校验
- 所有 Required QA Hooks 已触发并获得非 blocking 结果
- 产物已在 artifact registry 中注册，具备完整的 provenance 记录
Examples
Examples
dedup_report.md (excerpt)
## Dedup Summary
- Total raw: 1,247
- R1 (DOI): 89 dupes removed
- R2 (PMID): 34 dupes removed
- R3 (title 0.85): 12 potential flagged
- R4 (author+year): 5 potential flagged
- Unique in master: 1,107
- Duplicate rate: 11.2%
## Potential Duplicates for Review
1. PMID:12345678 ↔ DOI:10.xxx/yyy (title similarity: 0.87)
- Ver A (PubMed): full abstract
- Ver B (Scopus): funding info
→ Recommend: merge, keep Ver A + append Ver B funding
