| name | quant-data |
| description | 灵台量化数据管道——股票/加密币行情采集、清洗、存储与质量检查。含 Yahoo Finance + Kraken (CCXT) 双数据源,支持日线/1h 自动增量更新。 |
| version | 1.0.0 |
| agent | data_engineer |
| created | "2026-04-25T00:00:00.000Z" |
Quant Data Pipeline — 灵台量化数据管道
概述
股票(Yahoo Finance)与加密货币(Kraken/CCXT)行情数据的采集、清洗、存储工具集。
数据源
| 源 | 类型 | 标的 | 限制 |
|---|
| Yahoo Finance | 美股日线/1h | SPY, QQQ, IWM, GLD, TLT, AAPL, MSFT, GOOGL, AMZN, NVDA | 日内深度 ~90 天 |
| Kraken (CCXT) | 加密币日线/1h | BTC/USD, ETH/USD | 1h 回溯上限 ~720 条 |
| Binance | ❌ 不可用 | — | 美国地区 HTTP 451 |
存储结构
data/raw/{TICKER}/ ← Parquet 文件,按标的分目录
data/processed/ ← 清洗后数据(待建)
data/features/ ← 特征工程输出(待建)
文件命名:{TICKER}_{freq}_{开始日期}_{结束日期}.parquet
快速开始
查看数据状态
cd /Users/huangzesen/work/lingtai-projects/quant_company
python3 scripts/ingest_all.py --status
批量采集
python3 scripts/ingest_all.py --all
python3 scripts/ingest_all.py --daily
python3 scripts/ingest_all.py --intraday
python3 scripts/ingest_all.py --daily --tickers SPY QQQ AAPL
数据质量检查
python3 scripts/ingest_all.py --quality
python3 scripts/ingest_all.py --quality daily
python3 scripts/ingest_all.py --quality intraday
API 参考
shared_lib/data_fetcher.py — 数据获取层
from shared_lib.data_fetcher import fetch_yahoo, fetch_ccxt, load_local, list_local_data
df = fetch_yahoo('SPY', interval='1d', start=..., end=...)
df = fetch_ccxt('BTC/USD', exchange='kraken', timeframe='1d', limit=500)
df = load_local('SPY')
files = list_local_data('SPY')
shared_lib/features.py — 技术指标
from shared_lib.features import add_all_indicators
df = add_all_indicators(df)
数据质量说明
美股日线
- 日期范围:2024-04 ~ 2026-04(~2 年)
- 各标的各 501 行,无缺失值
- 跳空均为美股法定假日,非数据问题
加密币日线/1h
- 日期范围:2024-12 起(日线) / 最近 30 天(1h)
- 7×24 连续交易,无跳空
- Kraken 公开 API 1h 回溯上限约 720 条
管道维护
增量更新策略
ingest_all.py --daily 会:
- 检查已有数据
- 只补拉缺失区间
- 合并去重后保存
定时更新建议
设置每日收盘后运行:
30 20 * * 1-5 cd /path/to/quant_company && python3 scripts/ingest_all.py --daily
已知限制
- Binance: 美国地区不可用(HTTP 451)
- Kraken 1h 回溯: 公开 API 仅返回最近 ~720 条
- Yahoo 日内: 约 90 天回溯限制
- 依赖环境: 需
/opt/anaconda3/bin/python3