eni-scraper-workflow

name	eni-scraper-workflow
description	Unified structured web collection workflow using request-first Scrapy-style crawling and Playwright-style browser fallback, with schema, retry, deduplication, and quality gates.

结构化采集工作流 2.1

适用场景

• 网页数据的结构化采集与入库
• 目录型站点、列表页、详情页的批量抓取
• 需要渲染才能出数据的页面

工作流阶段

1. 采集契约

动手前先定义：

• 允许采集的源站与路径范围
• 输出 schema：字段、类型、必填、格式
• 新鲜度：全量还是增量，更新周期
• 身份键：哪组字段唯一标识一条记录
• 质量阈值：空值率、类型错误率、计数偏差的可接受上限

契约写进配置，不放在代码注释里。

2. 请求优先策略

• 首选直接 HTTP 或 Scrapy 风格爬虫：快、省资源、易并发
• 页面需要渲染、JS 生成内容或复杂交互时，才升级到 Playwright 风格浏览器自动化
• 升级决策要有明确理由，记录在案

3. 采集执行

• 原始响应按需要落盘，保留排障现场
• 记录归一化：字段清洗、类型转换、缺失处理
• 按身份键去重，冲突时按配置的优先级合并
• 分页 checkpoint：中断后从断点继续，不重爬

4. 重试与退避

• 网络错误用指数退避重试
• 业务限流（429）用更长退避并降并发
• 重试次数与最终放弃策略写进契约

5. 质量门禁

导出前过五道闸：

• 计数闸：预期总量 vs 实际入库
• 类型闸：字段类型错误率
• 空值闸：必填字段空值率
• 唯一性闸：身份键重复率
• 抽检闸：随机样本人工核对

任一闸不过，不导出。

6. 导出与留痕

• 导出格式与字段顺序固定
• 附元数据：采集时间、源站、配置快照、质量报告
• 证据与日志按 eni-universal-workflow 的要求归档