| name | v26-harvest |
| description | V26.1 production-grade data harvesting pipeline with zero defects. Use when running data collection, monitoring pipeline health, or managing batch processing for football prediction system. |
V26.1 ๆถๅฒๆตๆฐด็บฟๆ่ฝ
ๆ่ฝๆฆ่ฟฐ
V26.1 ็ไบง็บง"้ถ็ผบ้ท"ๆถๅฒๆตๆฐด็บฟ๏ผไธไธบ่ถณ็้ขๆต็ณป็ป่ฎพ่ฎก็้ซๆง่ฝใๅฎน้ใๅฏ็ๆง็ๆฐๆฎ้้ๆถๆใ
ๆ ธๅฟ่ฝๅ
- ่ชๅจๅๆนๆถๅฒ: ๅ
ๅญ็ๆงใๆญ็น็ปญไผ ใๅคฑ่ดฅ้่ฏ
- ๅ
จ้ๆถๅฒ: 4่ฟ็จๅนถ่กๆๅใ็นๅพๅชๆใๅน็ญๆงไฟ่ฏ
- ๆตๆฐด็บฟ็ๆง: ๅฅๅบท่ฏๅใๅๅ้็ป่ฎกใๅ่ญฆๆบๅถ
- ็นๅพๅทฅ็จ: 48็ปด โ 12061็ปด่ช้ๅบๆๅ
- ๆฐๆฎ่ดจ้: ็จ็ๅบฆ่ฟๆปคใ็ปดๅบฆ็กฌ้ๅถ(8000็ปด)
ๅฝๅ็ๆฌไฟกๆฏ
- ็ๆฌ: V26.1 (็ไบง็บง"้ถ็ผบ้ท"ๆถๅฒๆตๆฐด็บฟ)
- ๅบ็บฟๅ็กฎ็: 65.52% (V19.4.1)
- ๆฐๆฎ้: 13,129+ ๅบๅๅฒๆฏ่ต
- ็นๅพ็ปดๅบฆ: 48 โ 12061 ็ปด (V25.1 ่ช้ๅบๅผๆ)
ๅฟซ้ๅผๅง
ๆนๅผไธ๏ผ่ชๅจๅๆนๆถๅฒ๏ผๆจ่๏ผ
python scripts/auto_harvest_batches.py
python scripts/auto_harvest_batches.py --batch-size 100
tail -f logs/auto_harvest.log
ๆนๅผไบ๏ผๅ
จ้ๆถๅฒ
python scripts/run_v26_full_harvest.py
python scripts/run_v26_full_harvest.py --limit 100
python scripts/run_v26_full_harvest.py --workers 4
ๆนๅผไธ๏ผ็ๆงๆตๆฐด็บฟๅฅๅบท
cat data/monitoring/pipeline_health.json | jq '.health_status'
cat data/monitoring/pipeline_health.json | jq '.health_score'
cat data/monitoring/pipeline_health.json | jq '.alerts'
ๆ ธๅฟ่ๆฌ่ฏดๆ
1. auto_harvest_batches.py๏ผ่ชๅจๅๆนๆถๅฒ๏ผ
็จ้: ็ไบง็ฏๅขๆจ่ไฝฟ็จ๏ผๆฏๆๅคง่งๆจกๆฐๆฎๅค็
ๆ ธๅฟ็นๆง:
- ๆนๆฌกๅคงๅฐ: 200ๅบ/ๆน
- ๅ
ๅญ็ๆง: ่ถ
่ฟ7GB่ชๅจ็ญๅพ
- ๆญ็น็ปญไผ : ่ฟๅบฆๆไน
ๅ
- ๅคฑ่ดฅ้่ฏ: ๆๅค2ๆฌก
ๅๆฐ่ฏดๆ:
--batch-size ๆนๆฌกๅคงๅฐ๏ผ้ป่ฎค: 200๏ผ
--memory-limit ๅ
ๅญ้ๅถ๏ผ้ป่ฎค: 7GB๏ผ
--max-retries ๆๅคง้่ฏๆฌกๆฐ๏ผ้ป่ฎค: 2๏ผ
--resume ไปไธๆฌกไธญๆญๅค็ปง็ปญ
2. run_v26_full_harvest.py๏ผๅ
จ้ๆถๅฒ๏ผ
็จ้: ๅคง่งๆจกๆฐๆฎๅค็๏ผๆง่ฝไผๅ
ๆ ธๅฟ็นๆง:
- 4่ฟ็จๅนถ่กๆๅ
- ๅจๆๆนๆฌกๅคงๅฐ๏ผๅ
ๅญ่ช้ๅบ๏ผ
- ็นๅพๅชๆ๏ผๆงๅถๅจ8000็ปด๏ผ
- ๅน็ญๆงไฟ่ฏ๏ผๅฏ้ๅฏไธ้ไธๆผ๏ผ
ๅๆฐ่ฏดๆ:
--limit ๅค็ๆฏ่ตๆฐ้้ๅถ
--workers ๅนถ่ก่ฟ็จๆฐ๏ผ้ป่ฎค: 4๏ผ
--max-features ๆๅคง็นๅพ็ปดๅบฆ๏ผ้ป่ฎค: 8000๏ผ
3. run_v26_full_pipeline.py๏ผๅฎๆดๆตๆฐด็บฟ๏ผ
็จ้: ็ซฏๅฐ็ซฏๆต่ฏ
ๆ ธๅฟๅ่ฝ:
- L1ๆฐๆฎ้้
- L2็นๅพ่งฃๆ
- L3็นๅพๆๅ
- ๆจกๅ่ฎญ็ป
ๆตๆฐด็บฟๅฅๅบท็ๆง
ๅฅๅบทๆๆ ่ฏดๆ
{
"health_score": 85,
"health_status": "healthy",
"pipeline_stats": {
"throughput_per_hour": 1200,
"feature_dimension_counts": {
"min": 48,
"max": 8000,
"avg": 3500
}
},
"alerts": [
{
"level": "warning",
"message": "ๅ
ๅญไฝฟ็จ็่ถ
่ฟ80%"
}
]
}
็ๆงๅฝไปค
tail -f logs/auto_harvest.log
tail -f logs/pipeline.log
ls -la logs/v26_batch*.log
./scripts/monitor_pipeline.sh
./scripts/check_v26_progress.sh
V25.1 ไธ่ฝ่ช้ๅบ็นๅพๆๅๅผๆ
ๆ ธๅฟ็ช็ ด
- ้ถ็กฌ็ผ็ : ่ชๅจๅ็ฐๅนถๆๅๆๆๆฐๅผๅ็นๅพ
- ้ๅฝๆๅนณ: ๅค็ไปปๆๆทฑๅบฆ็ๅตๅฅ JSON ็ปๆ
- ๅ
จ้ๅๅฌ: 48็ปด โ 12061็ปด๏ผ251ๅๅข้ฟ๏ผ
- ๅจๆ็ฑปๅๅ็ฐ: ่ชๅจ่ฝฌๆข int/float/็พๅๆฏ/ๅธๅฐๅผ
- ็นๅพๅฏน้ฝ: NaN ๅกซๅ
็กฎไฟ็นๅพ็ฉ้ตไธ่ดๆง
ไฝฟ็จๆนๅผ
python main_production.py l2-parse --extractor-version V25.1
python main_production.py l2-parse --batch --limit 50
python main_production.py l2-parse --match-id 123456
ๆ ธๅฟๆไปถ
src/processors/v25_production_extractor.py - V25.1 ่ช้ๅบๆๅๅจ
ๆฐๆฎๆไปถ่ฏดๆ
| ๆไปถ่ทฏๅพ | ่ฏดๆ | ๆ ผๅผ |
|---|
data/processed/V26_Baseline_40D.parquet | V26 ๅบ็บฟ็นๅพๆฐๆฎ๏ผ40็ปด๏ผ | Parquet |
data/processed/V26_Gold_9305.parquet | V26 ้ป้ๆฐๆฎ้๏ผ9305ๅบ๏ผ | Parquet |
data/processed/V26_Feature_Distribution.png | ็นๅพๅๅธๅฏ่งๅ | PNG |
data/monitoring/pipeline_health.json | ๆตๆฐด็บฟๅฅๅบท็ถๆ | JSON |
ๆถๅฒ่ๆฌๅฏนๆฏ
| ่ๆฌ | ็จ้ | ็นๆง | ๆจ่ๅบๆฏ |
|---|
auto_harvest_batches.py | ่ชๅจๅๆนๆถๅฒ | ๅ
ๅญ็ๆงใๆญ็น็ปญไผ ใๅคฑ่ดฅ้่ฏ | ็ไบง็ฏๅข๏ผๆจ่๏ผ |
run_v26_full_harvest.py | ๅ
จ้ๆถๅฒ | 4่ฟ็จๅนถ่กใ็นๅพๅชๆใๅน็ญๆง | ๅคง่งๆจกๆฐๆฎๅค็ |
run_v26_full_pipeline.py | ๅฎๆดๆตๆฐด็บฟ | L1+L2+่ฎญ็ปไธไฝๅ | ็ซฏๅฐ็ซฏๆต่ฏ |
V26.1 ๆฐๆฎๆตๆถๆ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ V26.1 ๆฐๆฎๆตๆถๆ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ L1: FotMob API ๆฐๆฎ้้ โ โ
โ โ - v50_autonomous_season_discoverer.py (่ตๅญฃๅ็ฐ) โ โ
โ โ - v50_rich_l1_scanner.py (Rich L1 ๆซๆ) โ โ
โ โ - ่พๅบ: matches ่กจ (match_id, home_score, status) โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ L2: Schema-Agnostic ้ๅฝ่งฃๆ โ โ
โ โ - v25_production_extractor.py (่ช้ๅบๆๅ) โ โ
โ โ - ่พๅบ: raw_match_data ่กจ (JSON ๅๅงๆฐๆฎ) โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ L3: ็นๅพๆๅ + ๆฐๆฎๆถๅฒ โ โ
โ โ - auto_harvest_batches.py (่ชๅจๅๆน) โ โ
โ โ - run_v26_full_harvest.py (ๅ
จ้ๆถๅฒ) โ โ
โ โ - ่พๅบ: ็นๅพๆไปถ (parquet/csv) โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ L4: ๆจกๅ่ฎญ็ป + ้ขๆต โ โ
โ โ - pipeline_v19_4.py (V19.4 ๆตๆฐด็บฟ) โ โ
โ โ - XGBoost 2.0+ ่ฎญ็ป โ โ
โ โ - ่พๅบ: ๆจกๅๆไปถ (.pkl) โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
ๅธธ่งๅทฅไฝๆต
ๆฐ่ตๅญฃๆฐๆฎ้้
python main_production.py l1-harvest --season 2425 --target 500
python main_production.py l2-parse --batch --limit 500
python scripts/auto_harvest_batches.py --batch-size 200
cat data/monitoring/pipeline_health.json | jq '.health_status'
ๆญ็น็ปญไผ
python scripts/auto_harvest_batches.py --resume
cat data/monitoring/pipeline_health.json | jq '.progress'
ๆ
้ๆๆฅ
ๅ
ๅญไธ่ถณ
python scripts/auto_harvest_batches.py --batch-size 100
python scripts/auto_harvest_batches.py --memory-limit 6
็นๅพ็ปดๅบฆ่ฟ้ซ
python scripts/run_v26_full_harvest.py --max-features 6000
ๅค็้ๅบฆๆ
ข
python scripts/run_v26_full_harvest.py --workers 8
็ธๅ
ณๆ่ฝ
data-collection: FotMob API ๆฐๆฎ้้data-engineering: ETL ๆฐๆฎ็ฎก้feature-engineering: ็นๅพๅทฅ็จไธ้กนmachine-learning-engineering: ML ๆจกๅไผๅ
ๆไฝณๅฎ่ทต
- ็ไบง็ฏๅข: ไผๅ
ไฝฟ็จ
auto_harvest_batches.py
- ๅคง่งๆจกๆฐๆฎ: ไฝฟ็จ
run_v26_full_harvest.py
- ็ๆง: ๅฎๆๆฃๆฅ
pipeline_health.json
- ๅ
ๅญ: ๆนๆฌกๅคงๅฐไธ่ถ
่ฟ 200 ๅบ
- ๅฎน้: ๅฏ็จๆญ็น็ปญไผ ๅๅคฑ่ดฅ้่ฏ
Last updated: 2025-12-28
Version: V26.1
Target: ็ไบง็บง"้ถ็ผบ้ท"ๆถๅฒๆตๆฐด็บฟ
