ingestion-skill

name	ingestion-skill
description	Skill hỗ trợ thu thập dữ liệu (ingestion): tạo sample, chạy fetch scripts, xuất mẫu sang OneLake. Dùng khi cần viết/khắc phục ingestion scripts, tạo sample dữ liệu để test local, hoặc xuất sample lên OneLake.

Mục đích

• Cung cấp các script tái sử dụng để lấy dữ liệu mẫu, lưu CSV/Parquet, và hướng dẫn nhanh cách export sample lên OneLake.

Khi sử dụng

• Khi cần viết hoặc debug ingestion script (API fetch, batch jobs).
• Khi cần tạo sample dữ liệu nhỏ để chạy dbt/tests local.
• Khi cần xuất sample vào OneLake Files để tải xuống bằng OneLake File Explorer.

Bundled resources

• scripts/fetch_open_meteo.py: script ví dụ để fetch dữ liệu Open-Meteo và lưu sample CSV.
• references/usage.md: hướng dẫn nhanh cách chạy và chỉnh sửa sample.

Quick usage

1. Chạy script lấy sample (local Python):

   python builtin/skills/ingestion-skill/scripts/fetch_open_meteo.py --output data/sample_weather.csv

2. Mở data/sample_weather.csv hoặc upload lên OneLake Files.

Notes

• Script là Python tiêu chuẩn (pandas, requests). Trong Fabric Notebook, import từ builtin/skills/ingestion-skill/scripts bằng cách thêm đường dẫn vào sys.path.
• Nếu chạy trên Spark in Fabric, chuyển logic sang DataFrame API (xem references nếu cần).