| name | v26-harvest |
| description | V26.1 production-grade data harvesting pipeline with zero defects. Use when running data collection, monitoring pipeline health, or managing batch processing for football prediction system. |
V26.1 收割流水线技能
技能概述
V26.1 生产级"零缺陷"收割流水线，专为足球预测系统设计的高性能、容错、可监控的数据采集架构。
核心能力
- 自动分批收割: 内存监控、断点续传、失败重试
- 全量收割: 4进程并行提取、特征剪枝、幂等性保证
- 流水线监控: 健康评分、吞吐量统计、告警机制
- 特征工程: 48维 → 12061维自适应提取
- 数据质量: 稀疏度过滤、维度硬限制(8000维)
当前版本信息
- 版本: V26.1 (生产级"零缺陷"收割流水线)
- 基线准确率: 65.52% (V19.4.1)
- 数据量: 13,129+ 场历史比赛
- 特征维度: 48 → 12061 维 (V25.1 自适应引擎)
快速开始
方式一：自动分批收割（推荐）
python scripts/auto_harvest_batches.py
python scripts/auto_harvest_batches.py --batch-size 100
tail -f logs/auto_harvest.log
方式二：全量收割
python scripts/run_v26_full_harvest.py
python scripts/run_v26_full_harvest.py --limit 100
python scripts/run_v26_full_harvest.py --workers 4
方式三：监控流水线健康
cat data/monitoring/pipeline_health.json | jq '.health_status'
cat data/monitoring/pipeline_health.json | jq '.health_score'
cat data/monitoring/pipeline_health.json | jq '.alerts'
核心脚本说明
1. auto_harvest_batches.py（自动分批收割）
用途: 生产环境推荐使用，支持大规模数据处理
核心特性:
- 批次大小: 200场/批
- 内存监控: 超过7GB自动等待
- 断点续传: 进度持久化
- 失败重试: 最多2次
参数说明:
--batch-size 批次大小（默认: 200）
--memory-limit 内存限制（默认: 7GB）
--max-retries 最大重试次数（默认: 2）
--resume 从上次中断处继续
2. run_v26_full_harvest.py（全量收割）
用途: 大规模数据处理，性能优先
核心特性:
- 4进程并行提取
- 动态批次大小（内存自适应）
- 特征剪枝（控制在8000维）
- 幂等性保证（可重启不重不漏）
参数说明:
--limit 处理比赛数量限制
--workers 并行进程数（默认: 4）
--max-features 最大特征维度（默认: 8000）
3. run_v26_full_pipeline.py（完整流水线）
用途: 端到端测试
核心功能:
- L1数据采集
- L2特征解析
- L3特征提取
- 模型训练
流水线健康监控
健康指标说明
{
"health_score": 85,
"health_status": "healthy",
"pipeline_stats": {
"throughput_per_hour": 1200,
"feature_dimension_counts": {
"min": 48,
"max": 8000,
"avg": 3500
}
},
"alerts": [
{
"level": "warning",
"message": "内存使用率超过80%"
}
]
}
监控命令
tail -f logs/auto_harvest.log
tail -f logs/pipeline.log
ls -la logs/v26_batch*.log
./scripts/monitor_pipeline.sh
./scripts/check_v26_progress.sh
V25.1 万能自适应特征提取引擎
核心突破
- 零硬编码: 自动发现并提取所有数值型特征
- 递归打平: 处理任意深度的嵌套 JSON 结构
- 全量吞噬: 48维 → 12061维（251倍增长）
- 动态类型发现: 自动转换 int/float/百分比/布尔值
- 特征对齐: NaN 填充确保特征矩阵一致性
使用方式
python main_production.py l2-parse --extractor-version V25.1
python main_production.py l2-parse --batch --limit 50
python main_production.py l2-parse --match-id 123456
核心文件
src/processors/v25_production_extractor.py - V25.1 自适应提取器
数据文件说明
| 文件路径 | 说明 | 格式 |
|---|
data/processed/V26_Baseline_40D.parquet | V26 基线特征数据（40维） | Parquet |
data/processed/V26_Gold_9305.parquet | V26 黄金数据集（9305场） | Parquet |
data/processed/V26_Feature_Distribution.png | 特征分布可视化 | PNG |
data/monitoring/pipeline_health.json | 流水线健康状态 | JSON |
收割脚本对比
| 脚本 | 用途 | 特性 | 推荐场景 |
|---|
auto_harvest_batches.py | 自动分批收割 | 内存监控、断点续传、失败重试 | 生产环境（推荐） |
run_v26_full_harvest.py | 全量收割 | 4进程并行、特征剪枝、幂等性 | 大规模数据处理 |
run_v26_full_pipeline.py | 完整流水线 | L1+L2+训练一体化 | 端到端测试 |
V26.1 数据流架构
┌─────────────────────────────────────────────────────────────┐
│ V26.1 数据流架构 │
├─────────────────────────────────────────────────────────────┤
│ │
│ ┌───────────────────────────────────────────────────────┐ │
│ │ L1: FotMob API 数据采集 │ │
│ │ - v50_autonomous_season_discoverer.py (赛季发现) │ │
│ │ - v50_rich_l1_scanner.py (Rich L1 扫描) │ │
│ │ - 输出: matches 表 (match_id, home_score, status) │ │
│ └───────────────────────────────────────────────────────┘ │
│ ↓ │
│ ┌───────────────────────────────────────────────────────┐ │
│ │ L2: Schema-Agnostic 递归解析 │ │
│ │ - v25_production_extractor.py (自适应提取) │ │
│ │ - 输出: raw_match_data 表 (JSON 原始数据) │ │
│ └───────────────────────────────────────────────────────┘ │
│ ↓ │
│ ┌───────────────────────────────────────────────────────┐ │
│ │ L3: 特征提取 + 数据收割 │ │
│ │ - auto_harvest_batches.py (自动分批) │ │
│ │ - run_v26_full_harvest.py (全量收割) │ │
│ │ - 输出: 特征文件 (parquet/csv) │ │
│ └───────────────────────────────────────────────────────┘ │
│ ↓ │
│ ┌───────────────────────────────────────────────────────┐ │
│ │ L4: 模型训练 + 预测 │ │
│ │ - pipeline_v19_4.py (V19.4 流水线) │ │
│ │ - XGBoost 2.0+ 训练 │ │
│ │ - 输出: 模型文件 (.pkl) │ │
│ └───────────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────┘
常见工作流
新赛季数据采集
python main_production.py l1-harvest --season 2425 --target 500
python main_production.py l2-parse --batch --limit 500
python scripts/auto_harvest_batches.py --batch-size 200
cat data/monitoring/pipeline_health.json | jq '.health_status'
断点续传
python scripts/auto_harvest_batches.py --resume
cat data/monitoring/pipeline_health.json | jq '.progress'
故障排查
内存不足
python scripts/auto_harvest_batches.py --batch-size 100
python scripts/auto_harvest_batches.py --memory-limit 6
特征维度过高
python scripts/run_v26_full_harvest.py --max-features 6000
处理速度慢
python scripts/run_v26_full_harvest.py --workers 8
相关技能
data-collection: FotMob API 数据采集data-engineering: ETL 数据管道feature-engineering: 特征工程专项machine-learning-engineering: ML 模型优化
最佳实践
- 生产环境: 优先使用
auto_harvest_batches.py
- 大规模数据: 使用
run_v26_full_harvest.py
- 监控: 定期检查
pipeline_health.json
- 内存: 批次大小不超过 200 场
- 容错: 启用断点续传和失败重试
Last updated: 2025-12-28
Version: V26.1
Target: 生产级"零缺陷"收割流水线
