dedup-screening-prep

name	Dedup & Screening Prep
description	完成去重、标准化与初筛包生成。 Use when: raw_exports 已到位. Do not use when: screening_pack.csv 已存在.

Identity

• Skill ID: S05
• Slug: dedup-screening-prep
• Directory: .agents/skills/S05-dedup-screening-prep/
• Name: Dedup & Screening Prep
• 中文角色: 文献去重与初筛准备
• Stage: A_scoping_search
• Skill Type: business
• Human Gate: G1
• Required QA Hooks: - Q03

Mission

完成去重、标准化与初筛包生成。

此 skill 在综述生产流水线中的角色：文献去重与初筛准备。它在"A_scoping_search"阶段运行， 生成结构化产物供下游 skill 消费，并在 G1 处接受人工审核。

Scientific Role in the Workflow

• 所处阶段: 检索后处理阶段——合并多数据库结果、去重、标准化、生成初筛包
• 产出形式: master_records.csv + screening_pack.csv + prisma_seed.json
• 人机协同点: 产物在 G1 处需人工审签；关键决策记录在 decision_log.md 中
• 对下游的价值: 为 Gate 1 审核提供初筛材料，为 S06 提供 master_records

Scope of Responsibility

• 本 skill 仅负责 多格式解析、多轮去重、字段标准化、PRISMA 数据种子
• 不负责 全文筛选（那是人机协同在 Gate 1 后的工作）
• 不负责 全文精读（那是 S09 的职责）

Trigger When

raw_exports 已到位

Do Not Trigger When

screening_pack.csv 已存在

Required Inputs

• retrieval_manifest.json
• raw_exports/

Optional Inputs

• 之前运行的 dedup_report.md（增量去重）

Output Contract

1. 所有输出文件写入 /artifacts/run-<ts>/stage-1/ 目录下
2. 结构化输出（.json / .csv）优先于叙述性输出（.md），必须通过 schemas/ 下对应 JSON Schema 校验
3. 每个输出产物在 artifact registry 中注册时，须记录其上游依赖、生成时间、生成器和版本号
4. 产物格式优先级：结构化数据 (.json) > 表格 (.csv) > 叙述性 Markdown (.md) > 自由文本
5. 产物路径和命名遵循 configs/artifact_registry_rules.json 中定义的规范

Expected Outputs

• master_records.csv
• screening_pack.csv
• prisma_seed.json

Operational Steps

1. 验证所有 Required Inputs 存在且可读，缺失则立即停止并报告
2. 加载相关 Schema 和契约文件（schemas/ 目录下）
3. 仅执行 Purpose 与 Scope of Responsibility 中定义的任务，不漂移到相邻 skill 的职责
4. 先产出结构化数据（.json / .csv），再生成叙述性说明（.md）
5. 记录所有假设、未解决的歧义和失败追踪信息
6. 若置信度不足（如关键数据缺失导致无法做出科学判断），停止执行并升级给人工，不得猜测或编造

Decision / Writing / Validation Principles

• 结构化字段优先：先填满 schema 的 required 字段，再补充 optional 字段
• 证据三元组：每个科学论断必须包含 (source_id, finding_direction, evidence_strength)
• 冲突分类：如发现证据方向矛盾，标记为 direction_conflict 而非强行选边
• 术语一致性：同一实体在全文中使用统一的 canonical term（参见 configs/ontology/）
• 保守推断：不在证据不足时声称"clearly" "definitively" "proves"

Hard Constraints

• 不得编造 DOI、PMID、样本量、统计值、期刊身份或研究结论
• 不得静默覆盖已有高版本 artifact（必须 version incrementally，参见 AGENTS.md）
• 不得删除上游可审计痕迹（raw exports、screening decisions、extraction logs 必须保留）
• 不得绕过 Gate 或把 QA 结论写成"已人工确认"（除非真正通过了人工审核）
• 不自动合并 potential_duplicate——必须保留供人工审核
• 不删除任何 raw_exports 文件
• 去重逻辑必须可复现

QA Hooks

• Q03

Human-in-the-Loop Checkpoint

• 产出物完成后，进入 G1 等待人工审核
• 审核通过前，下游 skill 不得启动
• 若人工审核要求修订，返回上游 skill（参见 orchestrator/state_machine/transitions.yaml）

Acceptance Checklist (Self-Verification Before Declaring Done)

• 所有 Required Inputs 已加载且完整
• 所有 Expected Outputs 已生成且非空
• 结构化输出通过对应 JSON Schema 校验
• 产物已在 artifact registry 中注册（含 checksum + version）
• QA hooks 中列出的所有 QA skill 已触发
• decision_log.md 记录了关键决策及其理由

Failure Handling

• 缺少输入: 发出 blocking error，立即停止，不继续执行
• Schema 校验失败: 重试一次（带错误上下文修正）；若第二次仍失败，升级给 checkpoint manager
• 下游污染风险: 如果当前产物可能影响下游 skill 的正确性，标记为 status: blocked，阻止流水线继续
• 领域特定失败: 若 master_records.csv 为空，致命错误 → BLOCKED
• 重试耗尽: 若达到 orchestrator/retry_policies/ 中定义的最大重试次数，升级给人工

Logging and Observability

每个 skill 必须产出以下日志文件（写入 /artifacts/run-<ts>/logs/S05/）：

• input_manifest.json — 所有输入的路径和校验和
• output_manifest.json — 所有输出的路径和校验和
• validation_result.json — Schema 校验结果
• decision_log.md — 关键决策及其理由
• failure_trace.md — 失败时的错误堆栈（如有）

Collaboration Notes for Codex / Orchestrator

• 执行前先读取 AGENTS.md 获取项目级非协商规则
• 执行前先读取 configs/skills_manifest.json 确认本 skill 的上下游依赖
• 产物注册使用 orchestrator/artifact_registry/registry_v2.py 的统一接口

Definition of Done

1. 所有 Expected Outputs 已写入磁盘并通过 Schema 校验
2. 所有 Required QA Hooks 已触发并获得非 blocking 结果
3. 产物已在 artifact registry 中注册，具备完整的 provenance 记录

Examples

Examples

dedup_report.md (excerpt)

## Dedup Summary
- Total raw: 1,247
- R1 (DOI): 89 dupes removed
- R2 (PMID): 34 dupes removed
- R3 (title 0.85): 12 potential flagged
- R4 (author+year): 5 potential flagged
- Unique in master: 1,107
- Duplicate rate: 11.2%

## Potential Duplicates for Review
1. PMID:12345678 ↔ DOI:10.xxx/yyy (title similarity: 0.87)
   - Ver A (PubMed): full abstract
   - Ver B (Scopus): funding info
   → Recommend: merge, keep Ver A + append Ver B funding